Golang对接TextGen WebUI 本地大语言模型API化教程-人工智能-PHP中文网

要使用golang对接textgen webui本地大语言模型并实现api化，需按照以下步骤操作：1. 确保已安装golang环境并部署好textgen webui；2. 启动textgen webui的api模式（使用--api参数）；3. 在go代码中构建包含prompt和生成参数的json请求体；4. 使用net/http或第三方库发送post请求至api端点；5. 解析返回的json响应并提取生成文本。此外，可通过连接池、并发控制、流式响应等手段优化性能，并通过检查http状态码、设置超时、记录日志等方式增强错误处理能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Golang对接TextGen WebUI 本地大语言模型API化教程

Golang对接TextGen WebUI本地大语言模型API化，简单来说，就是用Go语言写代码，让你的程序能调用本地部署的大语言模型，就像使用一个在线API一样方便。

解决方案

环境准备：
- 确保已经安装了Golang环境。
- 已经成功部署了TextGen WebUI，并且模型可以正常运行。 TextGen WebUI官方文档：https://www.php.cn/link/143111b6b5ed85477eab06fe01e851e2
- TextGen WebUI 开启 API 模式 (
```
--api
```
  登录后复制
  参数)，例如：
```
python server.py --api
```
  登录后复制
  。
安装必要的Go包：

立即学习“go语言免费学习笔记（深入）”；

我们需要使用
```
net/http
```
登录后复制
包来发送HTTP请求，以及
```
encoding/json
```
登录后复制
包来处理JSON数据。通常情况下这两个包是Go自带的，不需要额外安装。如果需要更强大的HTTP客户端，可以考虑
```
github.com/go-resty/resty/v2
```
登录后复制
。
构建请求体：

TextGen WebUI的API通常接受JSON格式的请求。你需要构建一个包含你的提示语（prompt）和其他参数的JSON对象。例如：
```
{
  "prompt": "请用三句话介绍Golang。",
  "max_new_tokens": 200,
  "do_sample": true,
  "temperature": 0.7,
  "top_p": 0.9
}
```
登录后复制
这些参数控制了生成文本的行为。
```
max_new_tokens
```
登录后复制
限制了生成文本的最大长度，
```
temperature
```
登录后复制
和
```
top_p
```
登录后复制
影响生成文本的随机性。
发送HTTP请求：

使用
```
net/http
```
登录后复制
包创建一个HTTP客户端，并发送POST请求到TextGen WebUI的API端点（通常是
```
http://127.0.0.1:5000/api/v1/generate
```
登录后复制
）。设置
```
Content-Type
```
登录后复制
为
```
application/json
```
登录后复制
，并将构建好的JSON数据作为请求体发送。
处理响应：

接收到API的响应后，你需要解析JSON数据，提取生成的文本。通常，API会返回一个包含
```
results
```
登录后复制
字段的JSON对象，其中
```
results
```
登录后复制
是一个包含生成文本的数组。

天工大模型
中国首个对标ChatGPT的双千亿级大语言模型

115

查看详情
```
{
  "results": [
    {
      "text": "Golang 是一种由 Google 开发的开源编程语言。它以其简洁的语法、高效的性能和强大的并发支持而闻名。Golang 非常适合构建网络服务、云计算和分布式系统。"
    }
  ]
}
```
登录后复制

完整代码示例：

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "log"
)

type RequestBody struct {
    Prompt      string  `json:"prompt"`
    MaxNewTokens int     `json:"max_new_tokens"`
    DoSample     bool    `json:"do_sample"`
    Temperature  float64 `json:"temperature"`
    TopP         float64 `json:"top_p"`
}

type ResponseBody struct {
    Results []struct {
        Text string `json:"text"`
    } `json:"results"`
}

func main() {
    // 构建请求体
    requestBody := RequestBody{
        Prompt:      "请用三句话介绍Golang。",
        MaxNewTokens: 200,
        DoSample:     true,
        Temperature:  0.7,
        TopP:         0.9,
    }
    requestBodyJson, err := json.Marshal(requestBody)
    if err != nil {
        log.Fatalf("JSON 序列化错误: %v", err)
    }

    // 发送HTTP请求
    resp, err := http.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
    if err != nil {
        log.Fatalf("HTTP 请求错误: %v", err)
    }
    defer resp.Body.Close()

    // 读取响应
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatalf("读取响应错误: %v", err)
    }

    // 解析JSON响应
    var responseBody ResponseBody
    err = json.Unmarshal(body, &responseBody)
    if err != nil {
        log.Fatalf("JSON 反序列化错误: %v", err)
    }

    // 提取生成的文本
    if len(responseBody.Results) > 0 {
        fmt.Println(responseBody.Results[0].Text)
    } else {
        fmt.Println("未生成任何文本。")
    }
}

登录后复制

这个例子展示了如何用Go语言向TextGen WebUI发送请求并获取生成的文本。请注意，你需要根据你的TextGen WebUI的配置调整API端点和请求参数。同时，错误处理部分可以更加完善，例如加入重试机制。

如何优化Golang对接TextGen WebUI的性能？

连接池：
```
net/http
```
登录后复制
包默认会为每个请求创建一个新的TCP连接。在高并发场景下，频繁创建和关闭连接会降低性能。可以使用
```
http.Client
```
登录后复制
的
```
Transport
```
登录后复制
字段配置连接池，例如：
```
client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 100,
        IdleConnTimeout:     90 * time.Second,
    },
}
```
登录后复制
这样可以复用已经建立的TCP连接，减少连接建立和关闭的开销。
并发请求： 如果需要同时处理多个请求，可以使用goroutine和channel来实现并发。例如，可以创建一个worker pool，将请求分发给worker goroutine处理。
流式响应： TextGen WebUI支持流式响应，可以一边生成文本一边返回，而不是等待所有文本生成完毕才返回。这可以显著降低延迟。需要在请求头中设置
```
"Accept": "text/event-stream"
```
登录后复制
，并使用
```
bufio.NewReader
```
登录后复制
逐行读取响应。注意处理SSE (Server-Sent Events) 格式。
Gzip压缩： 启用Gzip压缩可以减少网络传输的数据量，提高传输速度。可以在请求头中设置
```
"Accept-Encoding": "gzip"
```
登录后复制
，并在服务器端启用Gzip压缩。
缓存： 对于相同的prompt，可以缓存生成的文本，避免重复计算。可以使用内存缓存或Redis等外部缓存。
GPU优化： 确保TextGen WebUI充分利用GPU资源。检查CUDA Toolkit 和 cuDNN 是否正确安装和配置。适当调整 TextGen WebUI 的启动参数，例如
```
--threads
```
登录后复制
和
```
--n_batch
```
登录后复制
。

TextGen WebUI API 接口有哪些常用参数？

```
prompt
```
登录后复制
(string, required): 要生成文本的提示语。
```
max_new_tokens
```
登录后复制
(int, optional, default: 250): 生成文本的最大token数。
```
temperature
```
登录后复制
(float, optional, default: 1.0): 控制生成文本的随机性。值越高，文本越随机。
```
top_p
```
登录后复制
(float, optional, default: 1.0): 控制生成文本的多样性。值越高，文本越多样。
```
top_k
```
登录后复制
(int, optional, default: 0): 从概率最高的k个token中选择。如果设置为0，则禁用。
```
typical_p
```
登录后复制
(float, optional, default: 1.0): Typical sampling参数。
```
repetition_penalty
```
登录后复制
(float, optional, default: 1.18): 重复惩罚参数。用于防止模型重复生成相同的文本。
```
repetition_penalty_range
```
登录后复制
(int, optional, default: 0): 重复惩罚的范围。
```
encoder_repetition_penalty
```
登录后复制
(float, optional, default: 1.0): Encoder重复惩罚参数。
```
no_repeat_ngram_size
```
登录后复制
(int, optional, default: 0): 禁止重复的ngram的大小。如果设置为0，则禁用。
```
min_length
```
登录后复制
(int, optional, default: 0): 生成文本的最小长度。
```
do_sample
```
登录后复制
(bool, optional, default: true): 是否进行采样。如果设置为false，则使用greedy decoding。
```
seed
```
登录后复制
(int, optional, default: -1): 随机种子。用于控制生成文本的随机性。如果设置为-1，则使用随机种子。
```
stop
```
登录后复制
(list of strings, optional, default: []): 停止生成的字符串列表。当生成文本包含列表中的任何一个字符串时，生成过程停止。
```
stream
```
登录后复制
(bool, optional, default: false): 是否启用流式响应。
```
format
```
登录后复制
(string, optional, default: "text"): 返回格式。可以是 "text" 或 "json"。
```
model
```
登录后复制
(string, optional): 指定要使用的模型。如果未指定，则使用默认模型。

具体参数和默认值可能会因为TextGen WebUI的版本和使用的模型而有所不同。最好参考TextGen WebUI的官方文档或API文档。

如何处理TextGen WebUI API调用中的错误？

检查HTTP状态码： 首先，检查HTTP响应的状态码。 200表示成功，4xx表示客户端错误，5xx表示服务器错误。例如，400表示请求参数错误，500表示服务器内部错误。
读取错误信息： 如果HTTP状态码不是200，尝试读取响应体中的错误信息。 TextGen WebUI通常会在响应体中返回JSON格式的错误信息。
重试机制： 对于 transient 的错误（例如，网络连接问题），可以实现重试机制。使用指数退避算法可以避免在服务器过载时加剧问题。
日志记录： 记录API调用的详细信息，包括请求参数、响应状态码、响应体和错误信息。这有助于诊断问题。
超时设置： 设置合理的超时时间，避免程序长时间阻塞。可以使用
```
http.Client
```
登录后复制
的
```
Timeout
```
登录后复制
字段设置超时时间。
错误处理函数： 编写专门的错误处理函数，集中处理API调用中的错误。这样可以提高代码的可读性和可维护性。
熔断机制： 在高并发场景下，可以使用熔断机制来防止 cas#%#$#%@%@%$#%$#%#%#$%@_b5fde512c76571c8afd6a6089eaaf42aing failure。当API调用失败率超过一定阈值时，熔断器会打开，阻止新的请求发送到API，直到API恢复正常。可以使用第三方库，例如
```
github.com/sony/gobreaker
```
登录后复制
来实现熔断机制。
监控： 监控API调用的性能指标，例如响应时间、错误率和吞吐量。这可以帮助你及时发现和解决问题。

一个更健壮的错误处理示例：

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "time"
    "log"
)

// ... (RequestBody 和 ResponseBody 定义)

func callAPI(requestBody RequestBody) (string, error) {
    requestBodyJson, err := json.Marshal(requestBody)
    if err != nil {
        return "", fmt.Errorf("JSON 序列化错误: %w", err)
    }

    client := &http.Client{
        Timeout: 10 * time.Second, // 设置超时时间
    }

    resp, err := client.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
    if err != nil {
        return "", fmt.Errorf("HTTP 请求错误: %w", err)
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return "", fmt.Errorf("读取响应错误: %w", err)
    }

    if resp.StatusCode != http.StatusOK {
        return "", fmt.Errorf("API 返回错误状态码: %d, 响应体: %s", resp.StatusCode, string(body))
    }

    var responseBody ResponseBody
    err = json.Unmarshal(body, &responseBody)
    if err != nil {
        return "", fmt.Errorf("JSON 反序列化错误: %w, 响应体: %s", err, string(body))
    }

    if len(responseBody.Results) > 0 {
        return responseBody.Results[0].Text, nil
    } else {
        return "", fmt.Errorf("未生成任何文本")
    }
}

func main() {
    requestBody := RequestBody{
        Prompt:      "请用三句话介绍Golang。",
        MaxNewTokens: 200,
        DoSample:     true,
        Temperature:  0.7,
        TopP:         0.9,
    }

    result, err := callAPI(requestBody)
    if err != nil {
        log.Printf("API 调用失败: %v", err)
        return
    }

    fmt.Println(result)
}

登录后复制

以上就是Golang对接TextGen WebUI 本地大语言模型API化教程的详细内容，更多请关注php中文网其它相关文章！