总结
豆包 AI 助手文章总结

如何用PHP和CURL高效采集新闻列表及详情信息?

霞舞
发布: 2025-03-12 08:06:16
原创
962人浏览过

如何用php和curl高效采集新闻列表及详情信息?

本文将演示如何利用PHP和CURL高效抓取目标网站的新闻列表和新闻详情。此过程包含两个关键步骤:提取新闻列表页中新闻标题及其相对路径并将其转换为完整路径;以及根据列表页链接访问新闻详情页并提取新闻内容。

首先,我们解决第一个挑战:获取新闻列表及完整路径。这需要使用正则表达式从目标网站的HTML代码中提取所需信息。以下代码片段展示了如何利用正则表达式提取新闻标题和相对路径:

$html = '<div class="box list channel max-border list-text-my">
<ul><li><a href="https://www.php.cn/link/b999a556e5f6186b8cba2dd848c22711" title="">[2022-12-13]新闻1</a></li>
    <li><a href="https://www.php.cn/link/7c1373b8fec010dba9b2cf06e7b232a7" title="">[2022-12-13]新闻2</a></li>
    <li><a href="https://www.php.cn/link/afe7064469e1509a007b92118aee4524" title="">[2022-12-13]新闻3</a></li>
</ul></div>';

preg_match_all('/<a href="https://www.php.cn/link/01bebc8e971d09cb90cf5756b340f24c">(.*?)<\/a>/s', $html, $matches);

$newslist = [];
$base_url = 'http://www.xx.com/news'; //  需根据实际情况修改网站基础URL

foreach ($matches[1] as $key => $relativepath) {
    $newslist[] = [
        'title' => trim($matches[2][$key]),
        'url' => $base_url . $relativepath
    ];
}

print_r($newslist);
登录后复制

这段代码运用preg_match_all函数和正则表达式/\(.*?)\/s匹配标签,分别提取href属性值(相对路径)和标签间的文本(新闻标题)。$base_url变量需要根据目标网站的实际新闻列表页URL进行修改。

接下来,解决第二个挑战:获取新闻详情。我们需要遍历$newslist,使用CURL访问每个新闻详情页并提取新闻内容。

立即学习PHP免费学习笔记(深入)”;

foreach ($newsList as $news) {
    $ch = curl_init($news['url']);
    // ... (此处添加CURL配置代码,例如设置超时时间、用户代理等) ...

    $detailHtml = curl_exec($ch);
    curl_close($ch);

    // 使用正则表达式提取新闻内容
    preg_match('/<div class="content text-xs">(.*?)<\/div>/s', $detailHtml, $contentMatch);
    $newsContent = isset($contentMatch[1]) ? $contentMatch[1] : '';

    echo "标题:" . $news['title'] . "\n";
    echo "链接:" . $news['url'] . "\n";
    echo "内容:" . $newsContent . "\n\n";
}
登录后复制

这段代码遍历$newslist中的每个新闻,使用CURL获取详情页HTML,然后使用正则表达式/\

(.*?)\/s提取新闻内容。 请根据实际详情页HTML结构调整正则表达式。 代码假设新闻内容位于class为"content text-xs"的div标签内。

重要提示: 以上代码中的正则表达式是基于示例HTML片段。如果目标网站的HTML结构发生变化,需要相应修改正则表达式。为了提高程序的健壮性,建议添加错误处理机制,例如检查CURL请求是否成功,以及处理正则表达式匹配失败的情况。 更完善的错误处理和异常处理,以及对网站结构变化的容错处理是必不可少的。

以上就是如何用PHP和CURL高效采集新闻列表及详情信息?的详细内容,更多请关注php中文网其它相关文章!

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
豆包 AI 助手文章总结
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号