ruby–擷取網站中的產品連結

ruby寫的指令碼運行更快，決定使用ruby來弄。

相比和我一樣做電商網站的都有機會用到：擷取某個頁面中的所有URL

下面指令碼另存新檔：URLScan.rb，用法：通過cmd命令，進入該指令碼路徑執行ruby URLScan.rb url

指令碼中data.scan()可以放入你想要在對應頁面尋找的其他Regex，如data.scan(/<a href="(.*?)">/) ，即所有的URL

下面例子中時擷取所有的產品連結

URLScan.rb

require 'net/http'filename= File.new('c:\1.txt',"w+")if $*[0]==nilputs "Not URL, Please for: ruby URLScan.rb www.gaopeng.com"elseh = Net::HTTP.new($*[0], 80)resp, data = h.post('http://www.gaopeng.com/', nil) #擷取要擷取所有URL的頁面的標記比如 ：/index.htmlif resp.message == "OK"data.scan(/<a target="_blank" href="(.*?)"/).each do |x| #擷取所有標記為href的URL#<a target="_blank" href="http://www.gaopeng.com/deals/beijing/ftuan/1431948203">puts xfilename.puts xendendend 

這裡使用的http.rb中的post方法，get方法的有報錯，所有就沒有用get()。