使用Perl語言寫個簡單的爬蟲

之前用Scala和Go語言分別都寫了一個爬蟲，最近看了Perl，就來寫個功能相同的版本。使用到了LWP::Simple模組，使用 cpan LWP安裝即可（Ubuntu 13.04沒有隨Perl一同提供這個重要模組，太可惜了）。代碼如下：

 1 #!/usr/bin/perl 2 use LWP::Simple qw/get/; 3  4 my %pages; 5 print "Processing the index.\n"; 6 $_ = get("http://www.yifan100.com/dir/15136/"); 7 while(m#<a target="_blank" href="/article/(.*?)\.html" title="(.*?)" >#g){ 8     $pages{$1}=$2; 9 }10 for(keys %pages){11     my ($l, $f) = ("http://www.yifan100.com/article/$_.html", "$_.txt");12     open F, ">$f";13     print "Processing $l.\n";14     if(get($l) =~ m#<div class="artcontent">(.*)<div id="zhanwei">#s){15         $_ = $1;16         s#<br>#\n#g;17         s#<.*?>##gs;18         s#^\s+##g;19         print "Writing to $f.\n";20         print F;21     }22     close F;23 }

顯然，代碼中用的是單線程（或者說單進程），全部執行完時間還是很多的（猜想主要是http下載時間比較長），之前用其他版本的測試時間也忘了。時間如下：

    real    3m58.753s    user    0m0.900s    sys    0m0.632s

很明顯使用Perl，代碼少了很多（和Scala和Go相比），處理文本是Perl的優勢所在。