php二分法在IP地址查詢中的應用

資料庫大概儲存幾十萬條IP記錄，記錄集如下：

+----------+----------+------------+---------+---------+--------+--------+
| ip_begin | ip_end | country_id | prov_id | city_id | isp_id | netbar |
+----------+----------+------------+---------+---------+--------+--------+
| 0 | 16777215 | 2 | 0 | 0 | 0 | 0 |
| 16777216 | 33554431 | 2 | 0 | 0 | 0 | 0 |
| 33554432 | 50331647 | 2 | 0 | 0 | 0 | 0 |
| 50331648 | 67108863 | 3 | 0 | 0 | 0 | 0 |
| 67108864 | 67829759 | 3 | 0 | 0 | 0 | 0 |
+----------+----------+------------+---------+---------+--------+--------+
　　這樣做查詢需要用到如下SQL：
<?php
$sql = 'SELECT * FROM i_m_ip WHERE ip_begin <= $client_ip AND ip_end >= $client_ip';
?>
　　這樣的檢索顯然用不到索引，即使用到，MySQL查詢效率也不大可能達到每秒500次以上，我做了很多並發最佳化，最終平均查詢效率也只有每秒200次左右，實在是頭痛。一開始我也有想到借鑒純真IP庫的檢索方法，但是我一直對演算法有抵觸，也以為二分法很難，所以就沒有嘗試使用，直到最後沒有辦法了，才最終實現了二分法的IP地址檢索。
　　從上表可以看到IP庫是從0到4294967295的一個連續數值，這個數值要是拆開儲存，會有幾百G的資料，所以沒辦法使用索引也沒辦法雜湊。最終我使用PHP將這些東東轉為二進位儲存，拋棄了資料庫的檢索。可以看到IP起止長度為一個4位元組的長整型，後面的國家ID、省份ID等，可以使用2個位元組的短整型來儲存，總共一行資料就有18個位元組，總共31萬條資料，算起來也就5M的樣子。具體IP庫產生代碼如下：
<?php
/*
IP檔案格式：
3741319168 3758096383 182 0 0 0 0
3758096384 3774873599 3 0 0 0 0
3774873600 4026531839 182 0 0 0 0
4026531840 4278190079 182 0 0 0 0
4294967040 4294967295 312 0 0 0 0
*/
set_time_limit(0);
$handle = fopen('./ip.txt', 'rb');
$fp = fopen("./ip.dat", 'ab');
if ($handle) {
while (!feof($handle)) {
$buffer = fgets($handle);
$buffer = trim($buffer);
$buffer = explode("\t", $buffer);
foreach ($buffer as $key => $value) {
$buffer[$key] = (float) trim($value);
}
$str = pack('L', $buffer[0]);
$str .= pack('L', $buffer[1]);
$str .= pack('S', $buffer[2]);
$str .= pack('S', $buffer[3]);
$str .= pack('S', $buffer[4]);
$str .= pack('S', $buffer[5]);
$str .= pack('S', $buffer[6]);
fwrite($fp, $str);
}
}
?>

　　這樣IP就按照順序每18位元組一個單位排列了，所以很容易就使用二分法來檢索出IP資訊：
function getip($ip, $fp) {
fseek($fp, 0);
$begin = 0;
$end = filesize('./ip.dat');
$begin_ip = implode('', unpack('L', fread($fp, 4)));
fseek($fp, $end - 14);
$end_ip = implode('', unpack('L', fread($fp, 4)));
$begin_ip = sprintf('%u', $begin_ip);
$end_ip = sprintf('%u', $end_ip);

do {
if ($end - $begin <= 18) {
fseek($fp, $begin + 8);
$info = array();
$info[0] = implode('', unpack('S', fread($fp, 2)));
$info[1] = implode('', unpack('S', fread($fp, 2)));
$info[2] = implode('', unpack('S', fread($fp, 2)));
$info[3] = implode('', unpack('S', fread($fp, 2)));
$info[4] = implode('', unpack('S', fread($fp, 2)));
return $info;
}

$middle_seek = ceil((($end - $begin) / 18) / 2) * 18 + $begin;

fseek($fp, $middle_seek);
$middle_ip = implode('', unpack('L', fread($fp, 4)));
$middle_ip = sprintf('%u', $middle_ip);

if ($ip >= $middle_ip) {
$begin = $middle_seek;
} else {
$end = $middle_seek;
}
} while (true);
}

　　以上$fp為開啟ip.dat的檔案控制代碼，由於是迴圈檢索，所以寫在函數外面，免得每次檢索都要開啟一次檔案，30W行資料二分法最多也只需要迴圈7次(2^7)左右即可找到準確的IP資訊。之後本來還想將ip.dat放在記憶體中加快檢索速度，後來發現，字串定位函數的效率，根本和檔案指標的位移定位不是在一個數量級的，所以還是放棄使用記憶體來存放IP庫。
　　這個實現，使IP檢索效率提高了近百倍，只是一個簡單的二分法的應用，從此演算法在WEB應用中不重要的觀念徹底打消了。其實要實現這個，我還請教了金狐，我一開始是請他幫我產生一個純真格式的IP庫，然後用Discuz的IP查詢函數來檢索，不過他不肯幫我，最後造就了我的這個實踐和學習。有時候，求人不如求己。