libcurl需设回调函数接收响应体，否则数据丢失；必须配置CURLOPT_WRITEFUNCTION、WRITEDATA、USERAGENT、FOLLOWLOCATION和TIMEOUT；std::regex仅适合提取简单稳定片段，避免循环内重复构造正则对象。
用 libcurl 发起 HTTP 请求获取网页源码
libcurl 是 C++ 做基础爬虫最直接的选择，它不依赖额外解析库，只负责“拿下来”。关键不是调用 curl_easy_perform 就完事，而是必须设置好回调函数接收响应体，否则数据会直接丢弃。
常见错误是忽略 CURLOPT_WRITEFUNCTION 和 CURLOPT_WRITEDATA，导致 curl_easy_perform 返回成功但字符串为空。还要注意默认不跟随重定向，需要显式开启 CURLOPT_FOLLOWLOCATION，否则 302 响应会卡住。
- 用
std::string作为WRITEDATA指针，配合 lambda 或静态函数写入 - 务必设置
CURLOPT_USERAGENT，不少网站会拦截空 UA 的请求 - 超时必须设（
CURLOPT_TIMEOUT），否则 DNS 卡住或服务器无响应会导致程序挂起
std::string html;
auto write_callback = [](void* ptr, size_t size, size_t nmemb, void* userp) -> size_t {
std::string* s = static_cast(userp);
size_t new_len = size * nmemb;
s->append(static_cast(ptr), new_len);
return new_len;
};
CURL* curl = curl_easy_init();
if (curl) {
curl_easy_setopt(curl, CURLOPT_URL, "https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635");
curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);
curl_easy_setopt(curl, CURLOPT_WRITEDATA, &html);
curl_easy_setopt(curl, CURLOPT_USERAGENT, "Mozilla/5.0");
curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L);
curl_easy_setopt(curl, CURLOPT_TIMEOUT, 10L);
CURLcode res = curl_easy_perform(curl);
curl_easy_cleanup(curl);
}
用 std::regex 提取网页中的链接或标题
std::regex 在 C++11 后可用，但性能和兼容性有限——它不支持 PCRE 的很多特性（如非贪婪量词 *? 在部分标准库实现中行为异常），且编译正则表达式开销不小。别指望靠它精准解析 HTML 结构，只适合提取简单、格式稳定的片段，比如 中的 URL 或
容易踩的坑：正则字符串里的反斜杠要双写，比如匹配 "href=\"([^\"]+)\"" 在 C++ 字符串里得写成 "href=\\"([^\\"]+)\\""；另外 std::regex_search 不会自动全局匹配，得用循环 + std::sregex_iterator。
立即学习“C++免费学习笔记（深入）”；
- 优先用
std::sregex_iterator遍历所有匹配，而不是反复调用regex_search - 避免在循环内重复构造
std::regex对象，提取逻辑复杂时建议提前 compile 一次 - 如果目标字段含换行或属性顺序不固定（如
href在class后面），正则极易失效，此时该换 DOM 解析器
std::regex link_regex("href=\\\"([^\\\"]+)\\\"");
std::string::const_iterator begin = html.cbegin();
std::string::const_iterator end = html.cend();
for (std::sregex_iterator i(begin, end, link_regex); i != std::sregex_iterator(); ++i) {
std::smatch m = *i;
std::cout << "Found link: " << m[1].str() << "\n";
}libcurl + std::regex 组合的实际限制与替代建议
这个组合只适合一次性、低频、结构高度可控的抓取任务。真实网页里 class 名动态生成、JS 渲染内容、HTML 标签嵌套不规范、编码混杂（如 GBK 页面没声明 charset）都会让正则提取失败，而 libcurl 本身不处理编码转换或 DOM 树构建。
- 遇到中文乱码？先检查响应头
Content-Type，再用iconv或std::codecvt_utf8（已弃用）转码，C++ 标准库对多字节编码支持很弱 - 想提取表格或列表项？正则很快变得不可维护，应考虑
libxml2或htmlcxx这类轻量解析器 - 需要登录、处理 Cookie、模拟点击？libcurl 要手动管理
CURLOPT_COOKIEFILE/CURLOPT_COOKIEJAR，远不如 Python 的requests.Session直观
真正需要稳定抓取时，libcurl + 正则只是起点。一旦页面结构稍有变化，提取逻辑就得重写。比代码更难的是识别哪些字段是“稳定”的——比如 ID 属性常被 JS 改写，而 的 content 属性反而更可靠。
