php實現的採集小程式,做採集的必看

來源:互聯網
上載者:User
以下是我搜集的php實現的採集小程式,自己測試可用,做採集很實用哦!

<?php//調用方法 :localhost/2.php?id=1 (自動採集1-8的列表)header("Content-type:text/html;charset=utf-8");$con =mysql_connect("localhost", "root", "huweishen.com") or die("資料庫連結錯誤");mysql_select_db("liuyan", $con);mysql_query("set names 'utf8'");function preg_substr($start, $end, $str) // 正則截取函數        {            $temp = preg_split($start, $str);            $content = preg_split($end, $temp[1]);            return $content[0];        }     function str_substr($start, $end, $str) // 字串截取函數        {            $temp = explode($start, $str, 2);            $content = explode($end, $temp[1], 2);            return $content[0];       }     // ---------------- 使用執行個體 ----------------      if($_GET['id']<=8&&$_GET['id']){$id=$_GET['id'];$url = "http://www.037c.com/New/list_5_$id.html"; //目標站$fp = fopen($url, "r") or die("逾時");$fcontents = file_get_contents($url);$pattern="/<\/span><a href=\"(.*)\" title=\"(.*)\"  target=\"_blank\">/iUs";//正則preg_match_all($pattern, $fcontents, $arr);//print_r($arr);         foreach($arr[1] as $k=>$url)         {        $title = iconv('GB2312', 'UTF-8', addslashes($arr[2][$k])); // echo $title;// echo $url;     $str = iconv("GB2312","UTF-8",  file_get_contents($url));          $author = preg_substr("/作者:/", "/<\//", $str); // 通過正則提取作者             $content = str_substr('<p class="wltg">', '</p>', $str); //通過字串提取標題     $sql = "INSERT  INTO  `caiji` (`title`, `url` , `content`, `author` ) VALUES ('$title', '$url' , '$content' , '$author')";// echo $sql."<br/>";         mysql_query($sql);         }       $id++;    echo "正在採集URL資料列表$id...請稍後...";    echo "<script>window.location='2.php?id=$id'</script>";  }else{   echo "採集資料結束。"; }?>


其中 title 設定唯一,可以防止重複採集,很好的的一個php採集小程式,作者:風雲無忌

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.