现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十w条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十w条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
你的想法很好，可惜PHP不适合做这种事情，建议用Java之类的语言来实现你的想法。
PHP有了任务，直接把任务参数提交到数据库。
Java在后台每100ms访问一次数据库，看看有没有任务，有就处理。
立即学习“PHP免费学习笔记（深入）”；
php默认30秒 ；你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了
Crontab + task list 做后台异步任务，很适合这种场景
mysql load data infile 将数据快速导入到临时表
php守护进程分批将数据往接口同步（或者crontab写定时任务）
php拼接成sql，直接mysql后台source导入
最好是分段导入，不要一次性导入
PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
778
收藏
