探索教师库：结构化非结构化数据（以及沿途的一些乐趣）-Python教程-PHP中文网

探索教师库：结构化非结构化数据（以及沿途的一些乐趣）

DDD

发布： 2024-11-17 08:03:20

转载

536人浏览过

探索教师库：结构化非结构化数据（以及沿途的一些乐趣）

我最近访问了讲师库，不得不说，给我留下了深刻的印象。结构化非结构化数据的概念非常强大，而且我敢说，有点神奇。你可以获取无处不在的数据并以某种方式对其施加秩序——嗯，这就是我的魔法。

但是……它到底是如何工作的？

为了找到答案，我花了一些时间深入研究这个库的内部结构，我发现幕后有两个关键人物对它的大部分魔力负责。

认识一下玩家：pydantic 和一个不错的提示

import instructor
from pydantic import basemodel
from openai import openai

登录后复制

现在，如果您熟悉 python 的数据验证和设置管理，您可能听说过 pydantic。如果你还没有……好吧，系好安全带！这是一个令人惊叹的库，允许您定义数据结构，然后实时验证传入数据是否与这些结构匹配。将其视为高级俱乐部的保镖，确保只有正确的数据才能进入。

fastapi 是另一个很棒的工具，它很好地利用了 pydantic 来确保通过 api 传递的数据采用正确的格式。那么，下一步是什么？现在我们已经定义了我们的结构，我们如何让 llm（如 openai 的 gpt）遵循它？嗯……

假设1：pydantic的序列化

我的第一个假设是 pydantic 可能允许某种序列化——将数据结构转换为法学硕士可以轻松理解和使用的东西。事实证明，我没有错。

pydantic 允许您使用以下方法将数据序列化到字典中：

model.model_dump(...)  # dumps the model into a dictionary

登录后复制

此方法递归地将 pydantic 模型转换为字典，然后可以将其输入 llm 进行处理。到目前为止，一切都很好。但后来我偶然发现了一些更有趣的事情：

FaceSwapper

FaceSwapper是一款AI在线换脸工具，可以让用户在照片和视频中无缝交换面孔。

960

查看详情

假设 2：生成 json 模式

一切都变得更好了。 pydantic 不仅可以将数据转换为字典，还可以为您的模型生成 json 模式。这是关键，因为现在您已经有了希望 llm 遵循的结构蓝图。

这就是事情真正开始发生的地方：

# generate a json schema for a pydantic model
response_model.model_json_schema()

登录后复制

宾果游戏！现在您已经有了一个清晰的架构，它准确地定义了数据的外观。这是我们可以发送给 llm 的蓝图，因此它确切地知道如何构建其输出。

将一切整合在一起

message = dedent(
    f"""
    Understand the content and provide
    the parsed objects in json that match the following json_schema:\n

    {json.dumps(response_model.model_json_schema(), indent=2, ensure_ascii=False)}

    Make sure to return an instance of the JSON, not the schema itself
    """
)

登录后复制

在这里，图书馆将模式传递给 llm，要求它返回符合该结构的数据。消息很明确：“嘿 llm，在生成输出时请尊重此模式。”这就像给你的法学硕士一张详细的地图并说：“严格遵循这些指示。”