
本教程探讨了在不建立实际数据库连接的情况下,如何利用数据库Schema信息生成SQL语句。我们将深入研究通过直接向大型语言模型(LLM)提供Schema定义(如DDL语句)来绕过传统的SQLDatabaseChain,实现SQL语句的生成。文章将涵盖提示工程、定制化链的构建以及相关的最佳实践,旨在为开发者提供灵活、高效的SQL生成方案。
在开发基于大型语言模型(LLM)的数据库交互应用时,一个常见的需求是生成SQL查询语句。LangChain等框架提供了SQLDatabase和SQLDatabaseChain等工具,它们通常依赖于SQLAlchemy来建立实际的数据库连接,从而能够进行数据库内省(如获取表结构、列信息)并执行生成的SQL。然而,在某些特定场景下,我们可能不希望或无法建立实际的数据库连接:
在这种情况下,传统的SQLDatabaseChain因其对数据库连接的依赖而显得不适用。我们需要一种方法,仅凭数据库的Schema定义,就能指导LLM生成符合语法的SQL语句。
解决上述挑战的核心策略是:将数据库的Schema信息以文本形式直接提供给LLM,使其能够理解数据库的结构,从而生成相应的SQL语句。这种方法完全绕过了对实际数据库连接的需求,将数据库的“知识”封装在LLM的输入提示(Prompt)中。
具体来说,我们可以将以下类型的Schema信息作为文本输入:
通过将这些Schema文本与用户的查询问题结合起来,LLM可以利用其强大的语言理解和生成能力,推断出正确的SQL查询。
最直接的方法是利用提示工程,将Schema信息嵌入到LLM的输入提示中。这种方法灵活性高,适用于各种LLM接口。
步骤:
示例代码:
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI # 假设使用OpenAI模型,也可替换为其他LLM
from langchain_core.output_parsers import StrOutputParser
import os
# 确保设置了OpenAI API密钥
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
# 1. 假设这是你的数据库Schema信息(DDL语句是最佳实践)
db_schema = """
CREATE TABLE Employees (
employee_id INT PRIMARY KEY,
first_name VARCHAR(50),
last_name VARCHAR(50),
department_id INT,
salary DECIMAL(10, 2),
hire_date DATE
);
CREATE TABLE Departments (
department_id INT PRIMARY KEY,
department_name VARCHAR(50)
);
CREATE TABLE Projects (
project_id INT PRIMARY KEY,
project_name VARCHAR(100),
department_id INT,
FOREIGN KEY (department_id) REFERENCES Departments(department_id)
);
"""
# 2. 构建提示模板
# 包含系统指令,明确LLM的角色和任务
# 包含Schema信息和用户问题作为输入
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一个专业的SQL查询生成器。根据提供的数据库Schema,为用户的问题生成准确的SQL查询语句。不要包含任何解释,只输出SQL语句。请确保生成的SQL语法正确,并考虑表之间的连接关系。"),
("user", "数据库Schema:\n{schema}\n\n用户问题: {question}"),
]
)
# 3. 初始化LLM
# temperature=0 通常用于需要确定性输出(如代码生成)的场景
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0) # 请替换为你的模型和API密钥
# 创建一个LangChain表达式语言(LCEL)链
sql_generation_chain = prompt | llm | StrOutputParser()
# 调用链生成SQL
user_question_1 = "找出工资高于50000的员工的姓名和他们所属的部门名称。"
response_1 = sql_generation_chain.invoke({"schema": db_schema, "question": user_question_1})
print("问题1的SQL语句:")
print(response_1)
print("-" * 30)
user_question_2 = "列出所有部门的名称以及每个部门的员工数量。"
response_2 = sql_generation_chain.invoke({"schema": db_schema, "question": user_question_2})
print("问题2的SQL语句:")
print(response_2)
print("-" * 30)输出示例:
问题1的SQL语句: SELECT E.first_name, E.last_name, D.department_name FROM Employees E JOIN Departments D ON E.department_id = D.department_id WHERE E.salary > 50000; ------------------------------ 问题2的SQL语句: SELECT D.department_name, COUNT(E.employee_id) AS employee_count FROM Departments D LEFT JOIN Employees E ON D.department_id = E.department_id GROUP BY D.department_name; ------------------------------
对于更复杂的场景,例如需要从文件动态加载Schema、对Schema进行预处理、或者在多个LLM调用之间传递Schema信息,我们可以利用LangChain的表达式语言(LCEL)构建定制化的链。这提供了比简单提示工程更强的结构化和模块化能力。
示例代码:
from langchain_core.runnables import RunnablePassthrough, RunnableLambda
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
import os
# 假设这是你的数据库Schema信息(可以从文件加载)
def load_schema_from_file(file_path):
"""模拟从文件加载Schema的函数"""
try:
with open(file_path, 'r', encoding='utf-8') as f:
return f.read()
except FileNotFoundError:
return "Schema file not found."
# 创建一个虚拟的schema文件
schema_file_content = """
CREATE TABLE Customers (
customer_id INT PRIMARY KEY,
name VARCHAR(100),
email VARCHAR(100)
);
CREATE TABLE Orders (
order_id INT PRIMARY KEY,
customer_id INT,
order_date DATE,
amount DECIMAL(10, 2),
FOREIGN KEY (customer_id) REFERENCES Customers(customer_id)
);
"""
with open("my_db_schema.sql", "w", encoding="utf-8") as f:
f.write(schema_file_content)
# 定义LLM和提示模板(与方法一相同)
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一个专业的SQL查询生成器。根据提供的数据库Schema,为用户的问题生成准确的SQL查询语句。不要包含任何解释,只输出SQL语句。请确保生成的SQL语法正确,并考虑表之间的连接关系。"),
("user", "数据库Schema:\n{schema}\n\n用户问题: {question}"),
]
)
# 构建定制化链
custom_sql_chain = (
# 步骤1: 动态加载Schema。RunnableLambda允许执行任意函数。
# 这里假设我们知道schema文件路径
RunnablePassthrough.assign(
schema_text=RunnableLambda(lambda x: load_schema_from_file("my_db_schema.sql"))
)
# 步骤2: 组合输入,将用户问题和加载的Schema文本合并为LLM期望的格式
| RunnableLambda(lambda inputs: {
"schema": inputs["schema_text"],
"question": inputs["user_question"] # 'user_question' 是外部传入的键
})
# 步骤3: 将组合后的输入传递给提示模板
| prompt
# 步骤4: 调用LLM
| llm
# 步骤5: 解析LLM输出为字符串
| StrOutputParser()
)
# 调用定制化链
user_question_3 = "查询所有客户的姓名以及他们下过的订单总金额。"
response_3 = custom_sql_chain.invoke({"user_question": user_question_3})
print("问题3的SQL语句:")
print(response_3)
print("-" * 30)
user_question_4 = "找出没有下过订单的客户姓名。"
response_4 = custom_sql_chain.invoke({"user_question": user_question_4})
print("问题4的SQL语句:")
print(response_4)
print("-" * 30)
# 清理创建的虚拟文件
os.remove("my_db_schema.sql")输出示例:
问题3的SQL语句: SELECT C.name, SUM(O.amount) AS total_order_amount FROM Customers C JOIN Orders O ON C.customer_id = O.customer_id GROUP BY C.name; ------------------------------ 问题4的SQL语句: SELECT C.name FROM Customers C LEFT JOIN Orders O ON C.customer_id = O.customer_id WHERE O.order_id IS NULL; ------------------------------
在采用Schema文本驱动SQL生成的方法时,需要考虑以下几点以确保效率和准确性:
Schema表示的质量:
上下文管理:
安全性考量:
准确性与验证:
提示工程优化:
与传统SQLDatabaseChain的对比:
以上就是无需数据库连接,利用Schema信息生成SQL语句的策略与实践的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号