CodeIgniter 中批量导入数据时处理重复条目的策略

INSERT INTO your_table (column1, column2, ...)
VALUES (value1, value2, ...)
ON DUPLICATE KEY UPDATE
    column1 = new_value1,
    column2 = new_value2,
    ...;

-- 示例：如果email重复，则更新username、address和contact_no
INSERT INTO excel_files (`username`, `email`, `address`, `contact_no`) 
VALUES (:username, :email, :address, :contact_no)
ON DUPLICATE KEY UPDATE 
    `username` = VALUES(`username`), -- VALUES() 函数引用待插入的值
    `address` = VALUES(`address`), 
    `contact_no` = VALUES(`contact_no`);

-- 示例：如果email重复，则什么都不做（跳过该条记录）
INSERT INTO excel_files (`username`, `email`, `address`, `contact_no`) 
VALUES (:username, :email, :address, :contact_no)
ON DUPLICATE KEY UPDATE `email` = VALUES(`email`); -- 或者 `id` = `id`

<?php
defined('BASEPATH') OR exit('No direct script access allowed');

class ImportController extends CI_Controller {

    public function __construct() {
        parent::__construct();
        $this->load->database(); // 加载数据库库
        $this->load->library('phpexcel'); // 假设你已加载了PHPExcel库
    }

    /**
     * 从Excel导入数据并处理重复项
     */
    public function import_excel() {
        if (empty($_FILES["file"]["name"])) {
            echo "请选择要上传的 Excel 文件！";
            return;
        }

        $path = $_FILES["file"]["tmp_name"];
        try {
            $objPHPExcel = PHPExcel_IOFactory::load($path);
        } catch (Exception $e) {
            echo "加载 Excel 文件失败: " . $e->getMessage();
            return;
        }

        $data_to_insert = [];
        foreach ($objPHPExcel->getWorksheetIterator() as $worksheet) {
            $highestRow = $worksheet->getHighestRow();
            // 假设第一行是标题，从第二行开始读取数据
            for ($row = 2; $row <= $highestRow; $row++) {
                $username = $worksheet->getCellByColumnAndRow(1, $row)->getValue();
                $email = $worksheet->getCellByColumnAndRow(2, $row)->getValue();
                $address = $worksheet->getCellByColumnAndRow(3, $row)->getValue();
                $contact_no = $worksheet->getCellByColumnAndRow(4, $row)->getValue();

                // 确保email不为空，作为唯一标识
                if (!empty($email)) {
                    $data_to_insert[] = [
                        'username' => $username,
                        'email' => $email,
                        'address' => $address,
                        'contact_no' => $contact_no,
                    ];
                }
            }
        }

        if (empty($data_to_insert)) {
            echo "Excel 文件中没有可导入的数据或数据格式不正确。";
            return;
        }

        $table_name = 'excel_files'; // 你的目标表名

        // 批量构建 SQL 语句
        $sql_parts = [];
        foreach ($data_to_insert as $row_data) {
            // 使用 set() 方法设置单个插入的数据
            $this->db->set($row_data);
            // 获取编译后的 INSERT SQL 语句（不带 ON DUPLICATE KEY UPDATE）
            $insert_sql = $this->db->get_compiled_insert($table_name, FALSE); // FALSE 表示不重置查询构建器

            // 拼接 ON DUPLICATE KEY UPDATE 子句
            // 假设 'email' 是表的 UNIQUE KEY
            // 这里我们选择在重复时更新 username, address, contact_no
            // 如果你希望重复时什么都不做，可以使用 `email` = VALUES(`email`)
            $on_duplicate_update_clause = " ON DUPLICATE KEY UPDATE " .
                                          "`username` = VALUES(`username`), " .
                                          "`address` = VALUES(`address`), " .
                                          "`contact_no` = VALUES(`contact_no`)";

            $sql_parts[] = $insert_sql . $on_duplicate_update_clause;
        }

        // 将所有独立的 INSERT ... ON DUPLICATE KEY UPDATE 语句合并成一个大字符串，用分号分隔
        // 注意：这种方式适用于 MySQL 的多语句执行，但通常建议逐条执行或构建一个更复杂的单条语句
        // 对于大量数据，更高效的方式是构建一个 VALUES(...) 列表，然后一次性执行
        // 鉴于 CodeIgniter 的限制，这里采用逐条构建SQL然后合并的方式，但实际执行时仍是逐条执行

        $success_count = 0;
        $failed_count = 0;

        $this->db->trans_start(); // 开启事务
        foreach ($sql_parts as $sql) {
            if ($this->db->query($sql)) {
                $success_count++;
            } else {
                $failed_count++;
                // 记录失败的 SQL 或数据，以便调试
                log_message('error', 'Failed to execute SQL: ' . $sql . ' Error: ' . $this->db->error()['message']);
            }
        }
        $this->db->trans_complete(); // 完成事务

        if ($this->db->trans_status() === FALSE) {
            echo "数据导入过程中发生错误，事务已回滚。";
        } else {
            echo "数据导入完成。<br>";
            echo "成功处理 " . $success_count . " 条记录。<br>";
            echo "失败 " . $failed_count . " 条记录。";
        }
    }
}