微博縮短網址的實現

 　　隨著類似Twitter的微型部落格網站的出現，由於字元數的限制，網址縮短服務日漸增多。加上網址縮短服務提供者提供網址追蹤等服務，這一業務日漸興起。知名網址縮短服務商Bit.ly的主要業務便是為微博Twitter提供網址縮短服務。 比如sina微博的sinaurl.cn，騰訊微博的url.cn等。

　　實現原理很簡單，主要是將使用者提交的 url 地址轉化成一個唯一的字串，這個字串就對應著真實的 url，怎麼樣實現這種轉換呢。

　　url 的轉換摘自：http://www.cnblogs.com/sunli/archive/2010/03/25/1696183.html

　　資料庫只有兩個欄位seq（自增長數字）和url（數位url地址，建立索引）。

　　使用者輸入一個url地址，查詢表是否包含此url，如果存在，則返回seq的數字，

　　如果不存在，則插入資料庫，得到一個新增加的自增seq數字，為了縮短數字佔用的字元數，我們可以把abc等字母的大小寫用上。這樣10個數字，26個小寫字母，26個大小字母就組成了一個62進位了。比如數字10000000000（100億）轉換後就是aUKYOA，只有6位了，這樣就能縮短很多的網址了。

<?php //十進位轉到其他制 function dec2any($num, $base=62, $index=false) { if (!$base) { $base = strlen($index); } elseif(!$index) { $index = substr("0123456789abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ", 0, $base ); } $out = ""; for ($t = floor(log10($num) / log10($base )); $t >= 0; $t-- ) { $a = floor( $num / pow( $base, $t ) ); $out = $out . substr( $index, $a, 1 ); $num = $num - ( $a * pow( $base, $t ) ); } return $out; } function any2dec($num, $base=62, $index=false) { if (!$base) { $base = strlen( $index ); } elseif(!$index) { $index = substr("0123456789abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ", 0, $base); } $out = 0; $len = strlen($num) - 1; for ($t = 0; $t <= $len; $t++) { $out = $out + strpos($index, substr($num, $t, 1 )) * pow($base, $len - $t); } return $out; } ?>

　　得到縮短的網址以後，怎樣實現網址的轉寄呢。可以利用 ttserver，將縮短網縮字串當作key，真實的 url 地址當作 value，存入ttserver中。ttserver本身就提供 http 訪問，只需要稍加修改就可以直接利用 ttserver 進行縮短網址的轉寄：

　　在 ttserver 源碼目錄下找到 ttserver.c 這個檔案，這裡我用的是 tokyotyrant-1.1.39 ，跳到第 2981 行，將下面的幾行改成圖中所示：

　　儲存退出，編譯安裝 ttserver，網上有很多安裝教程，可以參考。

 

　　啟動 ttserver，並向裡面寫入一條 key 為 aaaaaa，value為 http://www.baidu.com 的值。

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"

　　主要目的是用 http 訪問 ttserver 時直接取得到真實的 url 並做轉寄。這樣做很方便，但不安全，ttserver 的 http 還支援刪除、修改、插入資料（當然也可以修改 ttserver 的 http 訪問入口，屏蔽掉這幾種操作）。負載平衡方面，可以通過添加多條 A 記錄隨機轉寄到不同的 ttserver 機器上，但這樣每台機器上存放的資料必須相同，網上也有說過ttserver  存過千萬左右的資料以後不太穩定。

　　利用 nginx 就能很好解決直接用 ttserver 的問題，用 nginx 過濾掉 http 訪問 ttserver 的刪除、修改、插入的操作，並為多台 ttserver 提供反向 Proxy的功能。如下圖所示：

　　安裝 nginx，我這裡採用的是 nginx-0.8.36.tar.gz。安裝 nginx 請參考：http://blog.s135.com/nginx_php_v6。

　　開啟 nginx.conf 設定檔：

#user nobody; #啟動 8 個 nginx 進程 worker_processes 8; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { # 用 epoll，最大串連數 use epoll; worker_connections 65535; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; # 由於只做轉寄，將逾時時間設為 0 keepalive_timeout 0; #gzip on; # 反向 Proxy ttserver 1 號機，這裡我放在一台機器上開了三個不同連接埠 upstream backend_1 { server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s; } # 反向 Proxy ttserver 2 號機 upstream backend_2 { server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s; } # 反向 Proxy ttserver 3 號機 upstream backend_3 { server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s; } server { listen 80; server_name url.cn; #charset koi8-r; #access_log logs/host.access.log main; #當路徑包含/count的時候，則代理到ttserver後端進行請求資料。 #請注意，這裡屏蔽了PUT,DELETE,POST方法，只是使用了GET，主要目的是為了安全性， #因為DELETE,POST,PUT是可以修改資料的 location ~* /count(.*) { if ($request_method = PUT ) { return 403; } if ($request_method = DELETE ) { return 403; } if ($request_method = POST ) { return 403; } proxy_method GET; } #將以 a-z 為第一個字元的 url 代理到 ttserver 1 號機 location ~* "^/([a-z]{1})([a-zA-Z0-9]{5})" { proxy_pass http://backend_1; } #將以 A-Z 為第一個字元的 url 代理到 ttserver 2 號機 location ~* "^/([A-Z]{1})([a-zA-Z0-9]{5})" { proxy_pass http://backend_2; } #將以 0-9 為第一個字元的 url 代理到 ttserver 3 號機 location ~* "^/([0-9]{1})([a-zA-Z0-9]{5})" { proxy_pass http://backend_3; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }

　　儲存 nginx.conf 退出，現在就可以啟動 ttserver了，我這裡做示範，為了方便就在一台機器的三個連接埠啟動了三個 ttserver。如圖：

　　這裡用 /ttserver/url_1 存放 ttserver 1號機的資料，依此類推，分別在 11222、11223啟動 ttserver。

　　接著啟動 nginx：

ulimit -SHn 65535 /usr/local/nginx/sbin/nginx

接著在伺服器上用下面的命令插入測試資料：

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com" curl -X PUT http://127.0.0.10:11222/Aaaaaa -d "http://www.soso.com" curl -X PUT http://127.0.0.10:11223/1aaaaa -d "http://www.qq.com"

配置你機器的 hosts 指向 nginx 伺服器：

127.0.0.10 url.cn

　　現在我們就可以開啟瀏覽器，輸入 http://url.cn/aaaaaa 就可以跳轉到 baidu 上了，http://url.cn/Aaaaaa 就可以跳轉到 soso 了，http://url.cn/1aaaaa 就可以跳轉到 qq 上。至此配置完成，nginx只做轉寄工作，應付大規模的訪問應該沒什麼問題，這也正是 nginx 所擅長的。ttserver 資料的取值操作也是很快的，在後面可以多開幾台 ttserver，分散大量訪問時的負載。

　　前景程式根據使用者提交的 url 產生短的 url 後，根據前面的 nginx 分發規則寫到某一台 ttserver 中，就可以了。nginx還支援一直 url hash 的均衡，但需要安裝一個第三方模組ngx_http_upstream_hash_module，具體可以參考：http://blog.sina.com.cn/s/blog_5426e0180100dwsp.html

 

by xhttp.cn http://www.xhttp.cn/2010/07/22