關於URL訪問問題

最近類比一個簡單的爬蟲方式，在基於java URL類時，抓取擷取結果頁，其中遇到這樣的錯誤：

Server returned HTTP response code: 403 for URL:而可以使用瀏覽器正確訪問

 因為伺服器的安全設定不接受Java程式作為用戶端訪問

 

解決方案：設定User Agent

即在HttpURLConnection conn=(HttpURLConnection) url.openConnection();後添加：

conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

URL的連結方式，有時候會出現connect time out的情況，這裡在使用的時候要注意了。