微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > php教程 > 正文

自己写的php curl库实现整站克隆功能，phpcurl_PHP教程

php中文网
发布： 2016-07-13 10:07:03
原创
1036人浏览过

自己写的php curl库实现整站克隆功能，phpcurl

有时候经常会用到一些在线手册，比如国内或国外的，有些是访问速度慢，有些是作者直接吧网站关闭了，有些是服务器总是宕机，所以还是全盘克隆到自己服务器比较爽。

库特点：

给定一初始连接，初始链接以下的层级所有文件会拷贝到本地。
多次克隆可以配置是否覆盖。
可以配置是否下载图片。
所有链接替换为相对链接，所以可以随便rewrite。
绝对不会出现文件覆盖等问题。
最NB的特点是，没有比这更NB的库了。

SVN：http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php

帮客之家下载：http://xiazai.jb51.net/201502/other/CurlMulti.rar

克隆结果展示(这个克隆操作几秒钟就完成了)：

FineVoice语音克隆
FineVoice语音克隆

免费在线语音克隆，1 分钟克隆你的声音，保留口音和所有细微差别。

FineVoice语音克隆 61
查看详情 FineVoice语音克隆

立即学习“PHP免费学习笔记（深入）”；

克隆源网站：http://www.laruence.com/manual/
克隆结果：http://manual.phpdr.net/yaf/

Demo代码：

复制代码 代码如下:

class Controller_Spider extends MyYaf_Controller_Base{
 function init(){
  parent::init();
  if(!$this->getRequest()->isCli()){
      Ares_Http::error403();
  }
  include 'CurlMulti/CurlMulti.php';
  include 'CurlMulti/MyCurl.php';
  include 'phpQuery.php';
 }
}

复制代码 代码如下:

class YafdocController extends Controller_Spider {
 function init() {
  parent::init ();
  include 'CurlMulti/MyCurl/Clone.php';
 }
 function indexAction() {
  $url = 'http://www.laruence.com/manual';
  $dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
  $cacheDir = $this->getBaseDir () . '/cache/curl';
  if (! is_dir ( $cacheDir )) {
   mkdir ( $cacheDir );
  }
  $curl = new CurlMulti ();
  $curl->maxThread = 10;
  $curl->cache ['enable'] = true;
  $curl->cache ['enableDownload'] = true;
  $curl->cache ['dir'] = $cacheDir;
  $curl->cache ['compress'] = true;
  $clone = new MyCurl_Clone ( $curl, $url, $dir );
  $clone->overwrite = true;
  $clone->start ();
  return false;
 }
}

www.bkjia.comtruehttp://www.bkjia.com/PHPjc/957129.htmlTechArticle自己写的php curl库实现整站克隆功能，phpcurl 有时候经常会用到一些在线手册，比如国内或国外的，有些是访问速度慢，有些是作者直接吧网...
相关标签：
php curl
PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：PHP CURL 内存泄露问题解决方法，curl泄露_PHP教程 下一篇：PHP进程同步代码实例，php进程实例_PHP教程
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
PHP递归函数如何实现递归删除_PHP递归函数实现递归删除功能的代码示例 首先使用递归函数或SPL迭代器遍历目录内容，逐个删除文件和子目录，最后删除空目录，并通过异常处理确保操作的可靠性。
2025-11-14 00:13:32
603
PHP调用数据分片处理函数逻辑不清怎么办_PHP数据分片处理函数逻辑不清问题排查与分库分表教程 答案：PHP分片逻辑不清主因是规则不一致、边界错误和并发失控，需统一分片键与算法、封装分片函数、避免跨库事务，并借助中间件与日志追踪实现集中可控的分片管理。
2025-11-13 22:50:03
396
php数据库插入数据操作_php数据库添加记录的实现方式 答案：PHP插入数据库需确保连接正常和SQL正确，常用MySQLi过程或对象方式执行INSERT语句，推荐使用PDO预处理防止注入。
2025-11-13 22:45:07
561
PHP获取表单验证怎么实现_PHP获取表单数据并进行验证的教程 首先获取表单数据并验证非空与格式，再用filter_var校验邮箱URL，结合正则验证复杂规则，最后汇总错误并反馈。
2025-11-13 22:44:44
476
PHP异常怎么分类处理_PHP异常分类处理方法及错误类型区分。 答案：PHP通过try-catch捕获特定异常、自定义异常类、全局处理器、区分Error与Exception及异常层级设计实现分类处理。
2025-11-13 22:39:06
830
PHP递归函数返回值怎么处理_PHP递归函数返回值的接收与处理方法 递归函数需正确传递返回值，确保每层调用使用return返回结果，如阶乘函数应写为returnfactorial($n-1)*$n；所有分支均需有返回值，避免返回null。
2025-11-13 22:28:02
802
PHP中的抽象类和接口有何不同_PHP抽象类与接口的使用场景分析 抽象类用于共享逻辑并包含实现，支持单继承和状态管理；接口定义行为契约，支持多实现且仅含抽象方法。1、抽象类可含构造函数和具体方法，子类通过extends继承；2、接口用interface定义，类通过implements实现多个接口；3、抽象类能定义实例变量，接口只能有常量；4、接口强调规范统一，抽象类侧重代码复用；5、常见模式是抽象类实现接口以提供基础功能。
2025-11-13 22:26:32
249
如何通过PHP调用远程数据备份服务_PHP远程数据备份服务(如AWS S3)调用教程 首先配置AWSS3访问权限，创建IAM用户并获取AccessKeyID和SecretAccessKey，记下Bucket名称和Region；然后通过Composer安装AWSSDKforPHP，执行composerrequireaws/aws-sdk-php；最后编写PHP脚本使用S3客户端上传文件。
2025-11-13 22:25:34
684
php配置如何设置Cookie参数_php配置会话管理的核心要点 首先检查并修改php.ini中的session.save_path、session.use_strict_mode等参数，确保会话存储路径权限正确；接着配置session.cookie_secure、session.cookie_httponly和session.cookie_samesite增强安全性；可通过ini_set()或session_set_cookie_params()在运行时动态设置；最后使用session_get_cookie_params()和phpinfo()验证配置，并通
2025-11-13 22:22:03
889
PHP多线程能提高性能吗_PHP多线程对性能提升的实际效果分析 PHP多线程可通过pthreads扩展实现并行计算，但仅限CLI环境与ZTS版本；ReactPHP提供异步并发处理I/O密集任务；pcntl多进程模型更稳定且兼容性好；Gearman支持分布式任务分发，适合大型项目解耦执行。
2025-11-13 22:21:23
823
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部