具体的场景：php从网站列表上抓取数据，然后直接插入mysql数据库，使用cli模式运行，一次可能要插入上万条数据
我之前的代码是这样的：
ini_set('memory_limit', '512M');
$con = mysqli_connect(''');
for(...) {
//爬虫抓取代码省略
mysqli_query($con,'抓取后生成的insert语句');
}
这样差不多半天就会报Allowed memory size of 536870912 bytes exhausted (tried to allocate 1542571 bytes)
PS：如果不执行mysql插入操作，而直接将sql语句file_put_contents到一个文件中，那是不会报错的，所以排除爬虫代码的问题
现在我把mysql的插入语句封装成一个方法：
function execute($query)
{
$mysqli = new mysqli(...);
$mysqli->query('set names utf8mb4');
$mysqli->query($query);
$mysqli->close();
}
不知道还会不会发生这个问题呢？
各位有什么好办法么？
回复内容：
具体的场景：php从网站列表上抓取数据，然后直接插入mysql数据库，使用cli模式运行，一次可能要插入上万条数据
我之前的代码是这样的：
立即学习“PHP免费学习笔记（深入）”；
ini_set('memory_limit', '512M');
$con = mysqli_connect(''');
for(...) {
//爬虫抓取代码省略
mysqli_query($con,'抓取后生成的insert语句');
}
这样差不多半天就会报Allowed memory size of 536870912 bytes exhausted (tried to allocate 1542571 bytes)
PS：如果不执行mysql插入操作，而直接将sql语句file_put_contents到一个文件中，那是不会报错的，所以排除爬虫代码的问题
现在我把mysql的插入语句封装成一个方法：
function execute($query)
{
$mysqli = new mysqli(...);
$mysqli->query('set names utf8mb4');
$mysqli->query($query);
$mysqli->close();
}
不知道还会不会发生这个问题呢？
各位有什么好办法么？
你目前的做法是上万次插入上万条数据，而不是一次插入上万条数据。
From
INSERT INTO tbl_name (a,b,c) VALUES (1,2,3); INSERT INTO tbl_name (a,b,c) VALUES (4,5,6); INSERT INTO tbl_name (a,b,c) VALUES (7,8,9);
To
INSERT INTO tbl_name
(a,b,c)
VALUES
(1,2,3),
(4,5,6),
(7,8,9);
数据库插入操作改为批量提交方式
$sql = array();
foreach( $data as $row ) {
$sql[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';
}
mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $sql));
之前做个一个类似的功能，规模是大几十万条
我是用的web方式去执行，在for{}中判断一个条件，比如达到万条后跳转回本页面，把n*10000这个参数传过去。
