使用 Flask-SQLAlchemy 高效插入爬取数据教程

从原生 SQL 到 Flask-SQLAlchemy ORM

在 flask 应用中处理数据库时，从直接执行 sql 语句（如 c.execute('insert into ...')）过渡到使用 flask-sqlalchemy 这样的对象关系映射 (orm) 工具，能够极大地提高开发效率和代码的可维护性。orm 允许开发者通过 python 对象来操作数据库，而无需编写大量的 sql 语句，从而使数据库交互更加直观和面向对象。

定义数据模型

使用 Flask-SQLAlchemy 的第一步是定义数据模型。每个模型类都映射到数据库中的一张表，类的属性则映射到表的列。以下是一个 Job 模型的示例，用于存储爬取到的职位信息：

from flask_sqlalchemy import SQLAlchemy
from flask import Flask

app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///site.db' # 配置数据库URI
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
db = SQLAlchemy(app)

class Job(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    title = db.Column(db.Text, nullable=False)
    info = db.Column(db.Text)
    location = db.Column(db.Text, nullable=False)
    link = db.Column(db.Text, nullable=False)

    # __init__ 方法通常不是必需的，SQLAlchemy 会自动处理
    # def __init__(self, title, info, location, link):
    #     self.title = title
    #     self.info = info
    #     self.location = location
    #     self.link = link

    def __repr__(self):
        return f'<Job {self.title}>'

# 在应用初始化时创建所有表
with app.app_context():
    db.create_all()

模型解析：

• db.Model：所有模型类都必须继承自 db.Model。
• db.Column：定义表的列。
  • db.Integer、db.Text：指定列的数据类型。
  • primary_key=True：将该列设为主键。
  • nullable=False：表示该列不允许为空。
• __repr__ 方法：定义了当打印模型对象时应返回的字符串表示，有助于调试。

重要提示： 在 Flask-SQLAlchemy 中，通常不需要显式地定义 __init__ 方法来初始化模型的属性。SQLAlchemy 会自动处理从传入的关键字参数中设置属性。

爬取数据并准备插入

假设您已经使用 Selenium 或其他爬虫工具获取到数据，并将其整理成一个字典列表，每个字典代表一个职位信息，其键与模型属性名称一致。

立即进入“豆包AI人工智官网入口”；

立即学习“豆包AI人工智能在线问答入口”；

# 示例：模拟爬取到的数据
scraped_jobs_data = [
    {
        'title': 'Python Developer',
        'info': 'Develop web applications using Flask.',
        'location': 'New York',
        'link': 'http://example.com/job1'
    },
    {
        'title': 'Data Scientist',
        'info': 'Analyze large datasets.',
        'location': 'San Francisco',
        'link': 'http://example.com/job2'
    }
]

在 Flask 应用上下文中插入数据

将爬取到的数据插入到 Flask-SQLAlchemy 数据库中，需要遵循以下步骤：

豆包AI编程

豆包推出的AI编程助手

483

查看详情

1. 创建应用上下文： 所有的数据库操作（如 db.session.add()、db.session.commit()）都必须在 Flask 应用上下文 (app.app_context()) 中执行。这是因为 db 对象需要访问应用配置和当前请求的上下文信息。
2. 创建模型实例： 对于爬取到的每一条数据，创建一个 Job 模型的实例。可以使用字典解包 Job(**job_data) 来方便地将字典转换为模型实例。
3. 添加到会话： 将创建的模型实例添加到数据库会话 (db.session) 中。对于批量插入，使用 db.session.add_all() 效率更高。
4. 提交事务： 调用 db.session.commit() 将会话中的所有更改（包括新增、修改、删除）持久化到数据库。
5. 处理错误并回滚： 强烈建议使用 try...except 块来捕获可能的数据库错误。如果发生错误，调用 db.session.rollback() 可以撤销当前事务中的所有操作，保持数据的一致性。

以下是一个将爬取数据插入数据库的函数示例：

def insert_jobs(jobs_data_list):
    """
    将爬取到的职位数据列表插入到数据库中。

    Args:
        jobs_data_list (list): 包含职位信息的字典列表。
    """
    with app.app_context(): # 确保在应用上下文中执行数据库操作
        try:
            # 使用列表推导式和字典解包创建Job模型实例列表
            job_instances = [Job(**job_data) for job_data in jobs_data_list]
            db.session.add_all(job_instances) # 批量添加所有实例到会话
            db.session.commit() # 提交事务，将数据写入数据库
            print(f"成功插入 {len(jobs_data_list)} 条职位数据。")
        except Exception as e:
            db.session.rollback() # 发生错误时回滚事务
            print(f"插入数据时发生错误: {e}")

调用插入函数：

# 假设您已经有了 scraped_jobs_data 列表
insert_jobs(scraped_jobs_data)

# 验证数据是否已插入
with app.app_context():
    all_jobs = Job.query.all()
    print("\n数据库中的所有职位:")
    for job in all_jobs:
        print(f"- {job.title} ({job.location})")

注意事项与最佳实践

• 应用程序上下文： 任何脱离 Flask 请求上下文的数据库操作（例如在独立的脚本中运行爬虫，或者在后台任务中）都必须手动创建 app.app_context()。否则，您可能会遇到 RuntimeError: Working outside of application context.。
• 批量插入： 当需要插入大量数据时，使用 db.session.add_all() 远比循环调用 db.session.add() 更高效，因为它能将多个插入操作合并到一个事务中。
• 事务管理： db.session.commit() 是将更改写入数据库的关键。如果没有调用 commit()，所有添加到会话中的更改都不会保存。db.session.rollback() 在错误发生时至关重要，它能撤销未提交的更改，避免部分数据写入导致的脏数据。
• 错误处理： 良好的错误处理机制对于生产环境至关重要。捕获异常并进行适当的日志记录，有助于问题诊断。
• 模型字段与爬取数据字段匹配： 确保爬取数据字典的键与模型中的列名完全一致，这样 Job(**job_data) 才能正确地将数据映射到模型实例。
• 数据库连接管理： Flask-SQLAlchemy 会自动管理数据库连接。在 app.app_context() 退出时，连接通常会被释放或返回到连接池。

总结

通过将原生 SQL 数据库操作迁移到 Flask-SQLAlchemy ORM，您可以利用 Python 对象的强大功能来管理数据库。关键在于正确定义数据模型，并在 Flask 应用程序上下文中，通过创建模型实例、将其添加到 db.session，并最终 commit() 事务来持久化数据。同时，不要忘记实现健壮的错误处理和事务回滚机制，以确保数据的一致性和应用程序的稳定性。这种方法不仅简化了代码，也为未来的扩展和维护奠定了坚实的基础。

以上就是使用 Flask-SQLAlchemy 高效插入爬取数据教程的详细内容，更多请关注php中文网其它相关文章！