處理待分析日誌中特徵為中英文混現的方法

如：

待分析的log資訊會出現：

(a)"http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E4%B8%AD%E5%9B%BD%E5%A4%A7%E5%AD%A6%E7%94%9F5%E4%BA%BA%E5%88%B6%E8%B6%B3%E7%90%83%E8%81%94%E8%B5%9B/";

和

(b)"http://fenlei.hudong.com/特步中國大學生5人制足球聯賽/"

待匹配的特徵資訊為："http://fenlei.hudong.com/特步中國大學生5人制足球聯賽/"

這兩項怎麼改變編碼方式能正確的統計到流量資訊呢？

1、開始使用如下方法：

將待匹配的特徵的utf8編碼寫出來與log資訊來匹配：

my $fl1 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E4%B8%AD%E5%9B%BD%E5%A4%A7%E5%AD%A6%E7%94%9F5%E4%BA%BA%E5%88%B6%E8%B6%B3%E7%90%83%E8%81%94%E8%B5%9B/";my $fl2 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5/";my $fl3 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E5%8D%81%E5%B9%B4/";if($ref eq $fl1 || $ref eq $fl2 || $ref eq $fl3){$fenleiInfo{$ref}++;$totalpv++;}

這種弊端是，log資訊中出現的情況(b)將漏掉統計。

2、後來想到是編碼問題，然後改用下面的方法

my $fl1= "http://fenlei.hudong.com/特步中國大學生5人制足球聯賽/";my $fl2= "http://fenlei.hudong.com/特步/";my $fl3= "http://fenlei.hudong.com/特步十年/";$ref = decode('utf8',$ref);if($ref eq $fl1 || $ref eq $fl2 || $ref eq $fl3){$fenleiInfo{$ref}++;$totalpv++;}

這種弊端是，log資訊中出現的情況(a)將漏掉統計。

3、看來以上兩種方法都無法完美的解決這種中英文混合出現的情況，於是想到了使用方法：uri_unescape。

於是問題解決了，得到了以上1、2的結果之和。

use URI::Escape;my $fl1= "http://fenlei.hudong.com/特步中國大學生5人制足球聯賽/";my $fl2= "http://fenlei.hudong.com/特步/";my $fl3= "http://fenlei.hudong.com/特步十年/";my $ref1 = "";if($ref =~ /http:\/\/fenlei.hudong.com\//){$ref1 = uri_unescape($ref);#decode('utf8',$ref);$ref1 = decode('utf8',$ref1);}if($ref1 eq $fl1 || $ref1 eq $fl2 || $ref1 eq $fl3){$fenleiInfo{$ref1}++;$totalpv++;}