MySQL数据如何上传_MySQL数据导入与批量上传操作教程

LOAD DATA INFILE

.sql

mysql -u user -p database < your_file.sql

LOAD DATA INFILE

INSERT

INSERT

LOAD DATA INFILE

mysql

LOAD DATA INFILE

LOAD DATA INFILE

LOCAL

LOCAL

LOAD DATA INFILE

CHARACTER SET

LINES TERMINATED BY '\n'

\r\n

LOAD DATA INFILE '/path/to/your/data.csv'
INTO TABLE your_table_name
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS  -- 如果第一行是标题，就忽略它
(column1, column2, @var1, column4) -- @var1用于临时变量，如果有些列不想直接导入
SET column3 = @var1; -- 可以在SET子句中对临时变量进行处理

SET UNIQUE_CHECKS=0;

SET FOREIGN_KEY_CHECKS=0;

LOAD DATA INFILE

import pandas as pd
import pymysql
from sqlalchemy import create_engine

# 假设你的CSV文件路径
csv_file_path = 'your_data.csv'
# 数据库连接信息
db_config = {
    'host': 'localhost',
    'user': 'your_user',
    'password': 'your_password',
    'database': 'your_database'
}
table_name = 'your_table_name'

try:
    # 1. 读取CSV文件
    df = pd.read_csv(csv_file_path)

    # 2. 数据清洗和转换示例 (这里可以加入你需要的任何复杂逻辑)
    # 假设有一个日期列，需要转换为MySQL的日期格式
    if 'date_column' in df.columns:
        df['date_column'] = pd.to_datetime(df['date_column']).dt.strftime('%Y-%m-%d %H:%M:%S')
    # 假设有一个字符串列需要转为大写
    if 'name_column' in df.columns:
        df['name_column'] = df['name_column'].str.upper()
    # 处理缺失值，将NaN替换为空字符串
    df.fillna('', inplace=True)

    # 3. 建立数据库连接 (使用SQLAlchemy的engine更方便与Pandas集成)
    # 注意：这里假设你已经安装了pymysql和SQLAlchemy
    engine = create_engine(f"mysql+pymysql://{db_config['user']}:{db_config['password']}@{db_config['host']}/{db_config['database']}")

    # 4. 将DataFrame写入MySQL数据库
    # if_exists='append' 表示如果表存在则追加数据
    # index=False 表示不将DataFrame的索引作为一列写入数据库
    df.to_sql(name=table_name, con=engine, if_exists='append', index=False)

    print(f"数据已成功导入到表 '{table_name}'。")

except FileNotFoundError:
    print(f"错误：文件 '{csv_file_path}' 未找到。请检查文件路径。")
except pd.errors.EmptyDataError:
    print(f"错误：文件 '{csv_file_path}' 是空的，没有数据可导入。")
except Exception as e:
    print(f"导入过程中发生错误: {e}")
    # 可以在这里添加更详细的错误日志记录，例如将错误数据写入一个单独的文件