php能做爬虫吗

(*-*)浩
发布: 2019-09-28 10:52:52
原创
4410人浏览过

phpspider一款优秀的php开发蜘蛛爬虫

php能做爬虫吗

编写PHP网络爬虫,需要具备以下技能:

爬虫采用PHP编写(推荐学习:PHP视频教程

从网页中抽取数据需要用XPath ( XPath选择器教程 )

立即学习PHP免费学习笔记(深入)”;

当然我们还可以使用CSS选择器 ( CSS选择器教程 )

很多情况下都会用到正则表达式 ( 正则表达式教程 )

Chrome的开发者工具是神器, 很多AJAX请求需要用它来分析

注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍 ^_^

本篇写的demo是爬取军事教育网站

<?php
require_once __DIR__ . '/../autoloader.php';
use phpspider\core\phpspider;

/* Do NOT delete this comment */
/* 不要删除这段注释 */

$configs = array(
    'name' => '军事', // 给你的爬虫起一个名字
    'log_show' => false, // 是否显示日志
    'tasknum' => 1, // 开启多少个进程爬取
    // 数据库配置
    'db_config' => array(
        'host'  => '127.0.0.1',
        'port'  => 3306,
        'user'  => 'root',
        'pass'  => 'root',
        'name'  => 'collection',
    ),
    // 数据库表,表需要已存在,collection库,test表
    'export' => array(
        'type' => 'db',
        'table' => 'test',
    ),
    // 爬取的域名列表
    'domains' => array(
        'war.163.com'
    ),
    // 抓取的起点
    'scan_urls' => array(
        'http://war.163.com'
    ),
    // 列表页实例,你要爬取的列表,也就是分页
    'list_url_regexes' => array(
        "http://war.163.com"
    ),
    // 内容页实例,文章的内容页
    // \d+ 指的是变量,就是可变的参数
    'content_url_regexes' => array(
        "http://war.163.com/photoview/4T8E0001/\d+",
    ),
    // 失败重新爬取次数
    'max_try' => 5,
    // 爬取规则配置
    'fields' => array(
        array(
            'name' => "title", // 数据库字段名
            'selector' => "//div[@class='headline']/h1", // 规则,表示:headline类里的h1标签
            'required' => true, // 如果为空,整条数据丢弃
        ),
        array(
            'name' => "content",
            'selector' => "//div[@class='overview']/p",
            'required' => true,
        ),
        array(
            'name' => "img",
            'selector' => "//img[@class='firstPreload']",
            'required' => true,
        ),
    ),
);

$spider = new phpspider($configs);
$spider->start();
登录后复制

以上就是php能做爬虫吗的详细内容,更多请关注php中文网其它相关文章!

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号