如何用PHP和CURL高效采集新闻列表及详情信息？-php教程-PHP中文网

如何用php和curl高效采集新闻列表及详情信息？

本文将演示如何利用PHP和CURL高效抓取目标网站的新闻列表和新闻详情。此过程包含两个关键步骤：提取新闻列表页中新闻标题及其相对路径并将其转换为完整路径；以及根据列表页链接访问新闻详情页并提取新闻内容。

首先，我们解决第一个挑战：获取新闻列表及完整路径。这需要使用正则表达式从目标网站的HTML代码中提取所需信息。以下代码片段展示了如何利用正则表达式提取新闻标题和相对路径：

$html = '
[2022-12-13]新闻1
    [2022-12-13]新闻2
    [2022-12-13]新闻3
';

preg_match_all('/(.*?)<\/a>/s', $html, $matches);

$newslist = [];
$base_url = 'http://www.xx.com/news'; //  需根据实际情况修改网站基础URL

foreach ($matches[1] as $key => $relativepath) {
    $newslist[] = [
        'title' => trim($matches[2][$key]),
        'url' => $base_url . $relativepath
    ];
}

print_r($newslist);

这段代码运用preg_match_all函数和正则表达式/\(.*?)\/s匹配标签，分别提取href属性值（相对路径）和标签间的文本（新闻标题）。$base_url变量需要根据目标网站的实际新闻列表页URL进行修改。

接下来，解决第二个挑战：获取新闻详情。我们需要遍历$newslist，使用CURL访问每个新闻详情页并提取新闻内容。

AI Content Detector

Writer推出的AI内容检测工具

下载

立即学习“PHP免费学习笔记（深入）”；

foreach ($newsList as $news) {
    $ch = curl_init($news['url']);
    // ... (此处添加CURL配置代码，例如设置超时时间、用户代理等) ...

    $detailHtml = curl_exec($ch);
    curl_close($ch);

    // 使用正则表达式提取新闻内容
    preg_match('/(.*?)<\/div>/s', $detailHtml, $contentMatch);
    $newsContent = isset($contentMatch[1]) ? $contentMatch[1] : '';

    echo "标题：" . $news['title'] . "\n";
    echo "链接：" . $news['url'] . "\n";
    echo "内容：" . $newsContent . "\n\n";
}

这段代码遍历$newslist中的每个新闻，使用CURL获取详情页HTML，然后使用正则表达式/\

(.*?)\/s提取新闻内容。  请根据实际详情页HTML结构调整正则表达式。  代码假设新闻内容位于class为"content text-xs"的div标签内。
重要提示: 以上代码中的正则表达式是基于示例HTML片段。如果目标网站的HTML结构发生变化，需要相应修改正则表达式。为了提高程序的健壮性，建议添加错误处理机制，例如检查CURL请求是否成功，以及处理正则表达式匹配失败的情况。  更完善的错误处理和异常处理，以及对网站结构变化的容错处理是必不可少的。