抓取搜狐視頻中所有使用者的專輯名

抓取搜狐視頻中所有使用者的專輯名。如果記錄全部擷取過來以後，可以方便的檢索出相關關鍵詞的視頻專輯。但是由於使用者數目太多，一個線程跑的話不知道要跑多少年。可以通過設定多表、ID分段來實現多通道的同時抓取。 可通過修改$user_id的開始和結束，來分段同時多通道。 sleep(1)僅為個人測試，可以修改 header("Content-Type:text/html; Charset=UTF-8"); set_time_limit(0); $col_title = '';//標題 $col_url = '';//URL編號 $user_id = 26;//起始抓取使用者編號 //MySQL預操作 $mysqli = new mysqli("p:localhost", 'root', '', 'sohutv'); if ($mysqli->connect_errno) { printf("Connect failed: %s\n", $mysqli->connect_error); exit(); } $mysqli->set_charset("utf8"); $sql = "INSERT INTO album (userid,title,url) VALUES(?,?,?)"; $stmt = $mysqli->prepare($sql); $stmt->bind_param("sss",$user_id ,$col_title ,$col_url); //迴圈抓取 while (true) { $url = "http://my.tv.sohu.com/user/a/playlist/ta/list.do?userId=".$user_id; $temp_html = file_get_contents($url); $temp_json = json_decode($temp_html); $column_no = $temp_json->{'data'}->{'count'}; if ($column_no) { //var_dump($temp_json->{'data'}); $temp_array = $temp_json->{'data'}->{'list'}; for($i=0; $i<$column_no; $i++) { $temp_obj = $temp_array[$i]; //var_dump($temp_obj); $col_title = $temp_obj->{'title'}; $col_url = substr($temp_obj->{'url'}, 25, -6); $stmt->execute(); } } //休眠1秒 sleep(1); $user_id++; } /* 訪問方式 http://my.tv.sohu.com/pl/URL編號.shtml */ ?> 複製代碼

