数据库模式驱动的SQL生成：无需实时连接的LLM实践指南-Python教程-PHP中文网

数据库模式驱动的SQL生成：无需实时连接的LLM实践指南

心靈之曲

发布： 2025-11-07 12:59:02

原创

318人浏览过

数据库模式驱动的SQL生成：无需实时连接的LLM实践指南

本文探讨了如何在不建立实时数据库连接的情况下，利用数据库模式信息驱动大型语言模型（llm）生成sql语句。我们将介绍通过手动提供模式文本、构建自定义工具等方法，绕过传统数据库链的限制，实现高效、安全的sql生成，并提供实践指导与注意事项。

引言：离线SQL模式的必要性

在利用大型语言模型（LLM）进行SQL生成时，一个常见且重要的需求是能够在没有实时数据库连接的情况下工作。这主要出于以下几个原因：

安全性考量： 避免将生产数据库的连接凭据暴露给LLM或其运行环境。
性能与资源： 避免频繁建立和关闭数据库连接，尤其是在大规模或高并发的SQL生成场景中。
开发与测试： 在开发阶段，可能没有可用的数据库实例，或者希望在不影响真实数据的情况下进行SQL生成测试。
生成DDL而非执行查询： 有些场景下，我们只需要LLM根据需求生成数据定义语言（DDL）或查询语句本身，而不是执行它们。

传统的SQLDatabaseChain等工具通常依赖于SQLDatabase类，该类通过SQLAlchemy连接到真实的数据库以内省（inspect）其模式。这显然与“无需实时连接”的目标相悖。因此，我们需要探索替代方案，即如何仅凭数据库的模式文件或描述来指导LLM生成SQL。

理解传统SQLDatabaseChain的工作原理

SQLDatabaseChain是LangChain中用于与SQL数据库交互的强大工具。它的核心是SQLDatabase对象，该对象通过SQLAlchemy引擎连接到指定的数据库URI。一旦连接建立，SQLDatabase能够：

内省模式： 查询数据库的INFORMATION_SCHEMA或其他系统表，获取所有表名、列名、数据类型、主键、外键等详细信息。
执行查询： 接收LLM生成的SQL语句并执行，然后返回结果。

SQLDatabaseChain通常会将内省到的数据库模式信息（以文本形式）作为上下文的一部分提供给LLM，从而使LLM能够理解数据库结构并生成正确的SQL。然而，这种机制的根本限制在于它要求一个可用的、具有读权限的实时数据库连接。

方法一：直接向LLM提供数据库模式文本

最直接、最简单的方法是将数据库的模式信息作为纯文本，直接嵌入到发送给LLM的提示词（Prompt）中。这种方法完全绕过了SQLDatabase的实时连接需求。

1. 提取数据库模式

首先，你需要获取目标数据库的模式信息。这可以通过以下方式实现：

从现有数据库导出： 使用数据库客户端工具（如mysqldump、pg_dump）导出DDL语句，或者查询INFORMATION_SCHEMA视图来获取表和列的定义。
使用现有的DDL文件： 如果你已经有创建数据库表的DDL脚本，可以直接使用它们。
手动编写： 对于简单的数据库结构，可以手动编写一个简洁的描述。

2. 格式化模式文本

将提取到的模式信息格式化为清晰、简洁的文本，以便LLM能够轻松理解。通常，DDL语句本身就是很好的格式，或者可以将其转换为易于阅读的列表或描述。

示例：

-- 表：users
-- 描述：存储用户信息
CREATE TABLE users (
    id INT PRIMARY KEY COMMENT '用户ID',
    username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名',
    email VARCHAR(100) UNIQUE COMMENT '邮箱地址',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
);

-- 表：products
-- 描述：存储产品信息
CREATE TABLE products (
    product_id INT PRIMARY KEY COMMENT '产品ID',
    name VARCHAR(255) NOT NULL COMMENT '产品名称',
    price DECIMAL(10, 2) NOT NULL COMMENT '产品价格',
    stock INT DEFAULT 0 COMMENT '库存量'
);

-- 表：orders
-- 描述：存储订单信息，包含用户ID和产品ID的外键
CREATE TABLE orders (
    order_id INT PRIMARY KEY COMMENT '订单ID',
    user_id INT NOT NULL COMMENT '下单用户ID',
    product_id INT NOT NULL COMMENT '订单产品ID',
    quantity INT NOT NULL COMMENT '购买数量',
    order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期',
    FOREIGN KEY (user_id) REFERENCES users(id),
    FOREIGN KEY (product_id) REFERENCES products(product_id)
);

登录后复制

3. 构建LLM提示词

将格式化后的模式文本与用户的问题结合，构建一个引导LLM生成SQL的提示词。

ViiTor实时翻译

AI实时多语言翻译专家！强大的语音识别、AR翻译功能。

116

查看详情

示例代码：

以下是一个使用LangChain和OpenAI模型的示例，展示如何将模式作为上下文传递。

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI # 假设你使用OpenAI模型

# 假设这是你的数据库模式信息（可以是DDL语句或更简洁的描述）
db_schema = """
-- 表：users (存储用户信息)
CREATE TABLE users (
    id INT PRIMARY KEY COMMENT '用户ID',
    username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名',
    email VARCHAR(100) UNIQUE COMMENT '邮箱地址',
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
);

-- 表：products (存储产品信息)
CREATE TABLE products (
    product_id INT PRIMARY KEY COMMENT '产品ID',
    name VARCHAR(255) NOT NULL COMMENT '产品名称',
    price DECIMAL(10, 2) NOT NULL COMMENT '产品价格',
    stock INT DEFAULT 0 COMMENT '库存量'
);

-- 表：orders (存储订单信息，包含用户ID和产品ID的外键)
CREATE TABLE orders (
    order_id INT PRIMARY KEY COMMENT '订单ID',
    user_id INT NOT NULL COMMENT '下单用户ID',
    product_id INT NOT NULL COMMENT '订单产品ID',
    quantity INT NOT NULL COMMENT '购买数量',
    order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期',
    FOREIGN KEY (user_id) REFERENCES users(id),
    FOREIGN KEY (product_id) REFERENCES products(product_id)
);
"""

# 构建提示模板
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一个SQL查询生成器。请根据提供的数据库模式和用户问题生成SQL语句。只返回SQL语句，不要包含任何解释或额外文字。请使用MySQL方言。"),
        ("user", "数据库模式：\n{schema}\n\n用户问题：{question}\n\n生成的SQL:"),
    ]
)

# 初始化LLM（请替换为你的LLM模型和API密钥）
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)

# 创建链
chain = prompt | llm

# 示例调用
question = "查询所有用户的订单数量，并按用户ID升序排列。"
response = chain.invoke({"schema": db_schema, "question": question})
print(response.content)

# 另一个示例
question_2 = "查找库存少于10个的所有产品名称及其价格。"
response_2 = chain.invoke({"schema": db_schema, "question": question_2})
print(response_2.content)

登录后复制

优点：

简单直接： 实现成本低，无需复杂的工具集成。
完全离线： 无需任何数据库连接。

缺点：

上下文窗口限制： 对于非常大的数据库模式，模式文本可能会超出LLM的上下文窗口限制。
模式维护： 数据库模式变更时，需要手动更新提示词中的模式文本。
LLM理解能力： LLM对复杂或不规范的模式描述可能理解不佳，需要精心的提示工程。

方法二：构建自定义数据库描述工具或代理

为了克服直接提供模式文本的局限性，特别是对于复杂或动态变化的模式，我们可以构建一个自定义工具。这个工具不连接数据库，而是根据预加载或解析的模式文件提供数据库结构信息给LLM代理。LLM代理可以像查询真实数据库一样，通过调用这个工具来获取它所需的模式信息。

1. 预处理模式文件

首先，你需要将数据库模式信息加载到一个结构化的数据结构中（例如Python字典、JSON对象）。这可以从DDL文件解析、从JSON/YAML格式的模式描述文件加载。

示例结构化模式：

mock_db_schema_info = {
    "tables": {
        "users": {
            "columns": [
                {"name": "id", "type": "INT", "is_pk": True, "description": "用户ID"},
                {"name": "username", "type": "VARCHAR(50)", "is_pk": False, "description": "用户名"},
                {"name": "email", "type": "VARCHAR(100)", "is_pk": False, "description": "邮箱地址"},
                {"name": "created_at", "type": "TIMESTAMP", "is_pk": False, "description": "创建时间"},
            ],
            "primary_key": ["id"],
            "foreign_keys": [],
            "description": "存储用户信息",
        },
        "products": {
            "columns": [
                {"name": "product_id", "type": "INT", "is_pk": True, "description": "产品ID"},
                {"name": "name", "type": "VARCHAR(255)", "is_pk": False, "description": "产品名称"},
                {"name": "price", "type": "DECIMAL(10, 2)", "is_pk": False, "description": "产品价格"},
                {"name": "stock", "type": "INT", "is_pk": False, "description": "库存量"},
            ],
            "primary_key": ["product_id"],
            "foreign_keys": [],
            "description": "存储产品信息",
        },
        "orders": {
            "columns": [
                {"name": "order_id", "type": "INT", "is_pk": True, "description": "订单ID"},
                {"name": "user_id", "type": "INT", "is_pk": False, "description": "下单用户ID"},
                {"name": "product_id", "type": "INT", "is_pk": False, "description": "订单产品ID"},
                {"name": "quantity", "type": "INT", "is_pk": False, "description": "购买数量"},
                {"name": "order_date", "type": "TIMESTAMP", "is_pk": False,

登录后复制

以上就是数据库模式驱动的SQL生成：无需实时连接的LLM实践指南的详细内容，更多请关注php中文网其它相关文章！