使用 GemBatch 降低提示链接的成本-Python教程-PHP中文网

使用 GemBatch 降低提示链接的成本

心靈之曲

发布： 2024-11-13 13:15:19

转载

549人浏览过

使用 gembatch 降低提示链接的成本

提示链正在彻底改变我们与大型语言模型 (llm) 交互的方式。通过将多个提示链接在一起，我们可以创建复杂、动态的对话并处理复杂的任务。但这种力量确实是有代价的。每次对 llm 服务（例如 google 的 gemini）的 api 调用都会增加您的账单。

许多llm提供商提供了一个解决方案：批处理。在一个请求中发送多个提示并享受大幅折扣（通常在 50% 左右！）。然而，在提示链工作流程中实现批处理很快就会变成编码噩梦。

批量提示链接的挑战

想象一下您正在构建一个具有多步骤对话的聊天机器人。使用传统的提示链接，您将发送每条用户消息并等待模型的响应，然后再制定下一个提示。但要利用批量折扣，您需要：

累积提示：不是立即发送，而是批量收集提示。
拥抱异步性：发送批次并等待（可能需要更长的时间）作业完成。
映射响应：批量结果到达后，将每个响应与链中相应的提示正确匹配。

除此之外，您还需要处理速率限制、错误和重试。这可能会导致难以阅读、调试和维护的复杂代码。

输入 gembatch：您的即时链接英雄

gembatch 是一个 python 框架，旨在简化与 google gemini 的批处理提示链接。它与 firebase 无缝集成，为您的 llm 应用程序提供熟悉且可扩展的环境。

以下是 gembatch 如何让您的生活更轻松：

迦恩计算机资源网源码(图书销售类)

采用三层架构开发，前台集成了产品在线展示，用户注册、在线调查、在线投稿后台有类别管理\图书管理\订单管理\会员管理\配送范围管理\邮件列表\广告管理\友情链接管理等后台添加图书时自动生成缩略图和文字水印主要参考了petshop的设计架构、使用了Asp.net2.0中很多MemberShip、master等新功能后台管理地址/web/admin/ 超级管理员账号密码均为aspx1特别提示：该系统需要

查看详情

轻松批处理：gembatch 在幕后处理批处理提示的复杂性。您可以按顺序定义提示链，就像使用传统方法一样。
异步处理：gembatch 管理异步批处理作业，确保您的提示链顺利执行，而不会阻塞您的应用程序。
简化的响应映射： gembatch 自动将响应路由回提示链中的正确点。
节省成本：通过利用 gemini 的批量折扣，gembatch 可以显着降低您的 llm api 成本。

一个简单的例子

import gembatch

# Define a simple prompt chain
def task_a_prompt1():
    gembatch.submit(
        {
            "contents": [
                {
                    "role": "user",
                    "parts": [{"text": "What is the capital of France?"}],
                }
            ],
        },  # prompt 1
        "publishers/google/models/gemini-1.5-pro-002",
        task_a_prompt2
    )

def task_a_prompt2(response: generative_models.GenerationResponse):
    gembatch.submit(
        {
            "contents": [
                {
                    "role": "model",
                    "parts": [{"text": response.text}],
                },
                {
                    "role": "user",
                    "parts": [{"text": f"And what is the population of {response.text}?"}],
                }
            ],
        },  # prompt 2
        "publishers/google/models/gemini-1.5-pro-002",
        task_a_output
    )

def task_a_output(response: generative_models.GenerationResponse):
    print(response.text)

# Start the prompt chain
task_a_prompt1()

登录后复制

这个简单的示例演示了 gembatch 如何允许您使用 gembatch.submit() 定义提示链。 gembatch 负责对 gemini 的请求进行批处理并管理异步响应。