ORACLE使用WITH AS和HINT MATERIALIZE最佳化SQL解決FILTER效率低下，hintmaterialize

ORACLE使用WITH AS和HINT MATERIALIZE最佳化SQL解決FILTER效率低下，hintmaterialize


在做項目的過程中，一個頁面使用類似如下的SQL查詢資料，為了保密和使用方便，我把項目中有關的表名和欄位替換使用ORACLE資料庫中的系統資料表和欄位。

在我所做的項目中，類似ALL_TABLES的表中大概有8W多條資料，下面這個查詢SQL很慢。

WITH PARAMS AS (SELECT '' USER_ID, '' SDATE, '%' || '' || '%' SNAME FROM DUAL)SELECT AU.USERNAME, AU.USER_ID  FROM ALL_USERS AU INNER JOIN PARAMS PA    ON 1 = 1 INNER JOIN DBA_USERS DU    ON AU.USERNAME = DU.USERNAME WHERE ((PA.SDATE IS NULL AND PA.USER_ID IS NOT NULL AND       AU.USER_ID = PA.USER_ID) OR              (PA.SDATE IS NULL AND PA.USER_ID IS NULL AND       AU.USERNAME NOT IN       (SELECT AU.USERNAME            FROM ALL_USERS AU           INNER JOIN DBA_USERS DEV              ON AU.USERNAME = DEV.USERNAME           INNER JOIN (SELECT OWNER AS USERNAME                        FROM ALL_TABLES T                       WHERE T.LAST_ANALYZED = TRUNC(SYSDATE)) ATA              ON AU.USERNAME = ATA.USERNAME)) OR       (PA.SDATE IS NOT NULL AND       AU.USERNAME IN       (SELECT AU.USERNAME            FROM ALL_USERS AU           INNER JOIN DBA_USERS PA              ON AU.USERNAME = PA.USERNAME           INNER JOIN ALL_TABLES ATA              ON PA.USERNAME = ATA.OWNER           WHERE TO_CHAR(ATA.LAST_ANALYZED, 'YYYY-MM-DD') = PA.SDATE) AND       AU.USER_ID = PA.USER_ID))   AND DU.PROFILE LIKE 'D%'   AND AU.USERNAME LIKE PA.SNAME

針對上面的SQL語句執行慢的問題，我做了如下的分析：

               第一步，把語句的WHERE條件後的三個OR都分別和主查詢一塊執行，執行速度都很快，放到一塊就很慢。

               第二步，對比上面SQL和三個OR拆分出來的三個SQL的執行計畫，如所示。發現上面SQL的執行中有一個FILTER，過濾器謂詞中用到了NOT EXISTS，是導致這條SQL跑的慢的原因。

原因找到了，就得想辦法把執行計畫的FILTER去掉。開始想加HINT，但是實驗了很多HINT，都不起作用。最後的結果還一樣，後來想到WITH AS 能提高SQL的查詢速度，就把影響SQL執行的那段SQL放到WITH AS裡面，結果還是一樣。後來嘗試把HINTMATERIALIZE和WITH AS結合使用，修改成如下的SQL，查詢速度立即提升了很多。如所示，執行計畫中FILTER的NOT EXISTS不存在了。

WITH PARAMS AS (SELECT '' USER_ID, '' SDATE, '%' || '' || '%' SNAME FROM DUAL),USERNAMEDATA AS (SELECT /*+ materialize */   AU.USERNAME    FROM ALL_USERS AU   INNER JOIN DBA_USERS DEV      ON AU.USERNAME = DEV.USERNAME   INNER JOIN (SELECT OWNER AS USERNAME                FROM ALL_TABLES T               WHERE T.LAST_ANALYZED = TRUNC(SYSDATE)) ATA      ON AU.USERNAME = ATA.USERNAME)SELECT AU.USERNAME, AU.USER_ID  FROM ALL_USERS AU INNER JOIN PARAMS PA    ON 1 = 1 INNER JOIN DBA_USERS DU    ON AU.USERNAME = DU.USERNAME WHERE ((PA.SDATE IS NULL AND PA.USER_ID IS NOT NULL AND       AU.USER_ID = PA.USER_ID) OR              (PA.SDATE IS NULL AND PA.USER_ID IS NULL AND       AU.USERNAME NOT IN (SELECT USERNAME FROM USERNAMEDATA)) OR       (PA.SDATE IS NOT NULL AND       AU.USERNAME IN       (SELECT AU.USERNAME            FROM ALL_USERS AU           INNER JOIN DBA_USERS PA              ON AU.USERNAME = PA.USERNAME           INNER JOIN ALL_TABLES ATA              ON PA.USERNAME = ATA.OWNER           WHERE TO_CHAR(ATA.LAST_ANALYZED, 'YYYY-MM-DD') = PA.SDATE) AND       AU.USER_ID = PA.USER_ID))   AND DU.PROFILE LIKE 'D%'   AND AU.USERNAME LIKE PA.SNAME

總結：

在FILTER中，NOT EXISTS後的SQL語句多次執行，本來資料量就很大，每次都要執行一遍，結果可想而知。但是使用HINTMATERIALIZE和WITH AS結合使用，把內聯視圖實體化，執行過程中會建立基於視圖的暫存資料表。這樣就不會每次NOT EXISTS都去執行一遍大資料表的掃描，只需要掃描一次即可。

但是是不是可以在WITHAS中的每個語句都實體化那？如果WITH AS中的語句只被調用一次的話，最好還是不要使用HINTMATERIALIZE，因為使用HINTMATERIALIZE第一次查詢會建立基於視圖結果的暫存資料表，這也耗費一些時間。多次使用的話可以使用HINTMATERIALIZE。

sql with優勢

WITH AS短語，也叫做子查詢部分（subquery factoring），可以讓你做很多事情，定義一個SQL片斷，該SQL片斷會被整個SQL語句所用到。有的時候，是為了讓SQL語句的可讀性更高些，也有可能是在UNION ALL的不同部分，作為提供資料的部分。
特別對於UNION ALL比較有用。因為UNION ALL的每個部分可能相同，但是如果每個部分都去執行一遍的話，則成本太高，所以可以使用WITH AS短語，則只要執行一遍即可。如果WITH AS短語所定義的表名被調用兩次以上，則最佳化器會自動將WITH AS短語所擷取的資料放入一個TEMP表裡，如果只是被調用一次，則不會。而提示materialize則是強制將WITH AS短語裡的資料放入一個全域暫存資料表裡。很多查詢通過這種方法都可以提高速度。
 
為何update多表的語句在oracle/DB2與Sql server的寫法不一樣？

oracle是基於列的 sql server是基於行的