資料庫有十萬條資料,比較的規則是,第一條和第二條後面的所有資料進行比較,第二條和後第三條後面的所有資料進行比較,以此類推。。。比較所有的資料.不想使用多重迴圈,想在一個迴圈內全部搞定,請問有比較好的演算法嗎?
回複內容:
資料庫有十萬條資料,比較的規則是,第一條和第二條後面的所有資料進行比較,第二條和後第三條後面的所有資料進行比較,以此類推。。。比較所有的資料.不想使用多重迴圈,想在一個迴圈內全部搞定,請問有比較好的演算法嗎?
看到你的情境說是,找重複。
SELECT id from table GROUP BY id HAVING COUNT(*)>1
這樣擷取回來的就是含重複資料。
如果是如題所說的兩兩比較,如果限定 "兩兩比較" 必然是 O(n^2),既然確定了時間複雜度,那麼就不用演算法效率了。剩下的就是考慮在那計算了。
如果資料規模不夠大,記憶體裡計算完全可以了,前提是資料規模不大。
詳述情境~~~~~~~~~~~~~~~~
先排序,後比較
不建議在資料庫中操作,最方便的就是把這10w 條資料取出來,放到 php 記憶體中來操作.
代碼如下
$sql = "select id,data from table order by data asc";$result = [ 0=> ['id'=>3, 'data'=>1], 1=> ['id'=>1, 'data'=>2], 2=> ['id'=>4, 'data'=>2], 3=> ['id'=>5, 'data'=>2], 4=> ['id'=>2, 'data'=>5],];//遍曆小於//小於當前元素下標的元素//遍曆大於//大於當前元素下標的元素//相同,有點複雜,代碼如下$same = array();$current = 0;$next = $current + 1;//遍曆一遍數組while(isset($result[ $next ])) { $data = $result[ $current ][ 'data' ]; //如果當前元素值和下一個元素值一樣,放到值數組中 if ($data == $result[ $next ][ 'data' ]) { $same[ $data ][] = $result[ $next ]; $next ++; }else{ //如果不一樣,當前元素指向 當下標為$next的元素 $current = $next; $next = $current+1; }}var_export($same);//結果array ( 2 => array ( 0 => array ( 'id' => 4, 'data' => 2, ), 1 => array ( 'id' => 5, 'data' => 2, ), ),)
有幾個問題是需要注意的:
1,資料要在記憶體中做排序或對比,不要在資料庫內執行;
2,兩兩比較的目的是什嗎?要從這10W+資料中取出最大的N個?還是做排序?建議在記憶體中用一個索引數組儲存排序後的所有資料;
3,排序演算法使用快排;