讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 后端开发 > php教程 > 正文

linux - 大家对PHP多进程与MySQL的高并发瓶颈是怎么处理的

php中文网
发布： 2016-06-06 20:49:02
原创
1807人浏览过

需求
  • 我每天执行一个定时任务，把一个具有千万条数据的日志分割成一些小的日志文件；
  • 然后启动多个PHP进程，分别对这些小日志文件中的每行数据进行处理，处理过程是这样的：每个PHP进程从各自负责的日志文件中逐行读取，然后根据该行中的一个标识去数据库中查找是否有了该记录，如果没有则插入该行，如果已经存在了就更新（该行的数据与数据库中的数据进行合并）；

引发的问题

这样就出现了一个问题，就是可能存在多个PHP进程对同一条数据都在做处理，如果用Mysql锁机制可以避免这个问题，但是这样的话，就出现另一个问题，就是MySQL的高并发瓶颈，因为我是多个PHP进程同时在进行，一个进程要等待另一个进程解锁后，才能操作数据库。

立即学习“PHP免费学习笔记（深入）”；

这样我前面所做的分割日志、启动多个进程这些操作就失去意义了，因为我在前面做日志分析时，启的进程再多，运行的再快，到最后全都会卡在高并发操作数据库这个瓶颈上，不知道大家对这类问题是怎么处理的？

Vheer
Vheer

AI图像处理平台

Vheer 260
查看详情 Vheer

回复内容：

需求
  • 我每天执行一个定时任务，把一个具有千万条数据的日志分割成一些小的日志文件；
  • 然后启动多个PHP进程，分别对这些小日志文件中的每行数据进行处理，处理过程是这样的：每个PHP进程从各自负责的日志文件中逐行读取，然后根据该行中的一个标识去数据库中查找是否有了该记录，如果没有则插入该行，如果已经存在了就更新（该行的数据与数据库中的数据进行合并）；

引发的问题

这样就出现了一个问题，就是可能存在多个PHP进程对同一条数据都在做处理，如果用Mysql锁机制可以避免这个问题，但是这样的话，就出现另一个问题，就是MySQL的高并发瓶颈，因为我是多个PHP进程同时在进行，一个进程要等待另一个进程解锁后，才能操作数据库。

立即学习“PHP免费学习笔记（深入）”；

这样我前面所做的分割日志、启动多个进程这些操作就失去意义了，因为我在前面做日志分析时，启的进程再多，运行的再快，到最后全都会卡在高并发操作数据库这个瓶颈上，不知道大家对这类问题是怎么处理的？

写过类似的东西,像这种需要多次更新同一账号数据的时候,我们的做法是处理完数据后不立即存入mysql,
而是放在了redis中,后面的数据更新都在redis修改,
在redis积累了数千条数据后在异步的写一次数据到mysql,效果不错
卤煮的场景多进程处理建议只负责数据处理,处理完的放redis,在单独用一个脚本定时检测redis
达到条件的时候(一定条数或时间)存一次数据到mysql

上面的两种方法都可行

建主键索引，使用 upsert 语句是最便捷的解决方法。如上 @felix021 大神所言。

另外，使用缓存（Memcache 或者 redis ）异步写入数据也不错，只是开发代价要高一些。

加队列。做daemon执行队列操作。

如果只是日志数据的话，题主可以直接用你那个标记记录的唯一表示当做主键|唯一键，直接往数据里面插东西，啥也不用管。
这样的话既不会锁表也不用去检查这条记录有没有存在。

1，读加缓存。
2，写加队列。
3，推荐Redis。
4，分库分表分机器。

相关标签：
php mysql nginx apache linux

大家都在看：

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：windows - PHP未来发展会怎么样？ 下一篇：如何生成字符字
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
浏览器怎么直接打开php文件_浏览器打开php文件需配置吗【方法】 浏览器不能直接打开PHP文件，因为PHP是服务器端脚本语言，需由Web服务器（如Apache、Nginx）和PHP解析器共同执行后返回HTML，浏览器才可渲染；双击或用file://协议打开仅显示源码或触发下载。
2025-12-24 01:11:27
186
PHP怎么获取苹果支付用户ID_苹果支付用户IDPHP获取方法【步骤】 ApplePay不直接返回用户ID，可通过四种方式间接识别：一、解析PKPaymentToken获取唯一transactionIdentifier；二、merchantSession绑定登录态；三、onvalidatemerchant中注入用户上下文；四、通过Server-to-ServerNotifications的transactionId反查用户。
2025-12-24 00:53:22
459
php源码怎么使用_用PHP源码配置环境实现功能调用教程【教程】 首先搭建PHP运行环境，安装XAMPP等集成工具并启动Apache和MySQL服务，将源码放入htdocs目录并通过浏览器访问；接着配置数据库连接信息，修改config.php等文件中的主机、用户名、密码和数据库名，并导入SQL文件创建数据表；然后启用必要扩展，在php.ini中开启mysqli、pdo_mysql、curl、json、mbstring、gd2等模块并重启服务；再设置文件权限，确保uploads、cache等目录具有读写权限，并核对路径参数与服务器结构一致；最后调用功能接口，分析
2025-12-24 00:51:17
875
网页嵌入php链接失败函数未定义怎么处理_网页嵌入php链接失败函数引入法【解决】 需确保PHP服务器环境正确配置、函数定义在调用前加载、文件引入路径准确、作用域与命名空间匹配，并验证短标签及PHP版本兼容性。
2025-12-23 21:54:08
672
网页嵌入php链接失败Apache配置问题怎么解_网页嵌入php链接失败Apache检查法【方案】 Apache未正确解析PHP文件的常见原因及修复方案包括：一、确认php_module已加载；二、检查AddType或SetHandler配置；三、验证DocumentRoot路径与文件权限；四、排查.htaccess覆盖限制；五、检查SSI支持与嵌入语法。
2025-12-23 21:51:11
298
php函数返回数组长度步骤_php获取数组大小返回技巧【解析】 PHP中获取数组长度应使用count()函数，它支持一维和多维数组，默认统计第一层元素；sizeof()是其别名；多维数组需加COUNT_RECURSIVE参数递归计数；操作前须用is_array()校验类型；配合array_keys()可实现条件过滤计数。
2025-12-23 21:49:02
809
Word文档如何触发php代码执行_Word文档触发php代码执行方法【说明】 Word文档本身无法直接执行PHP代码，只能通过超链接、OLE嵌入HTML、VBA宏或导出后提交等方式间接触发服务器端PHP脚本运行。
2025-12-23 21:44:34
779
PHP增删改查怎么判断操作成功_php操作结果判断【逻辑】 必须依据不同数据库扩展的返回值特性判断PHP数据库操作是否成功：mysqli面向过程/对象需区分查询与非查询返回类型，PDO需结合错误模式与rowCount()，业务成功还需校验影响行数，辅以错误日志与SELECT验证。
2025-12-23 21:42:46
803
php静态网页设计如何设置文本对齐方式_php静态网页设计textalign属性应用【指南】 PHP静态网页中可用CSStext-align控制文本对齐：一、内联样式如style="text-align:center"；二、内部样式表定义class；三、外部CSS文件统一管理；四、PHP变量动态输出；五、表格中需配合vertical-align实现居中。
2025-12-23 21:41:32
800
php静态网页设计怎样创建404错误页_php静态网页设计404页面设计与跳转【教程】 可通过创建404.html或404.php文件并配置服务器重写规则来实现自定义404页，前者兼容性强、加载快，后者支持动态内容和精确状态码控制，需配合Apache或Nginx配置生效。
2025-12-23 21:39:27
448
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部