
在开发基于openai gpt-3.5的应用程序(例如chatgpt克隆)时,开发者可能会遇到一个令人困惑的问题:模型在生成文本响应时,会突然插入一段与当前对话上下文完全无关的代码片段。例如,当期望模型提供通用文本回复时,它却可能输出一段完整的java spring boot控制器代码。
这种现象通常发生在尝试使用text-davinci-003这类旧版Completion API模型时。即使尝试更换API密钥或使用其他Completion模型(如text-davinci-002),问题也可能依然存在,这表明问题的根源可能在于模型选择或提示词策略。
以下是原始应用中使用的server.js代码片段,展示了如何调用text-davinci-003模型:
import express from "express";
import * as dotenv from "dotenv";
import cors from 'cors';
import { Configuration, OpenAIApi } from "openai";
dotenv.config();
const configuration = new Configuration({
apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);
const app = express();
app.use(cors());
app.use(express.json());
app.get("/", (req, res) => {
res.status(200).send({
message: "Welcome to OpenAI API",
});
});
app.post('/', async (req, res) => {
try {
const prompt = req.body.prompt;
const response = await openai.createCompletion({
model: "text-davinci-003", // 问题模型
prompt: `${prompt}`,
temperature: 0,
max_tokens: 4000,
top_p: 1,
frequency_penalty: 0.5,
presence_penalty: 0,
});
res.status(200).send({
bot: response.data.choices[0].text
})
}
catch (error) {
console.log(error);
res.status(500).send({ error })
}
})
app.listen(5000, () => console.log("Sever is running on port :- http://localhost:5000"))而模型意外生成的无关代码示例如下:
package com.example.demo.controller;
import java.util.List;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import com.example.demo.model.*;
import com.example.demo.*;
@RestController // This means that this class is a Controller
@RequestMapping(path="/demo") // This means URL's start with /demo (after Application path)
public class MainController {
@Autowired // This means to get the bean called userRepository
// Which is auto-generated by Spring, we will use it to handle the data
private UserRepository userRepository;
@GetMapping(path="/add") // Map ONLY GET Requests
public @ResponseBody String addNewUser (@RequestParam String name, @RequestParam String email) {
// ... (此处省略大量Spring Boot代码) ...
return userRepository这段代码显然与一个JavaScript前端的GPT克隆应用上下文格格不入。
text-davinci-003是OpenAI早期提供的通用文本补全模型,它在生成连贯文本方面表现出色。然而,它并非专门为多轮对话或复杂的代码生成/调试任务而优化。当模型在训练数据中遇到大量代码片段时,如果提示词不够精确,或者模型参数设置不当,它就有可能在某些情况下“误以为”用户需要代码,从而生成其训练数据中常见的代码模式。
具体来说,text-davinci-003使用Completion API,它接收一个单一的prompt字符串,并尝试完成它。这与为聊天场景设计的Chat Completion API(如gpt-3.5-turbo和gpt-4)不同,后者使用结构化的messages数组来维护对话历史和角色,从而能更好地理解上下文和用户意图。
解决这类问题的关键在于选择合适的模型和精细化提示词工程。
对于涉及代码生成、调试或任何需要复杂理解和遵循指令的任务,以及构建对话式AI应用,强烈建议使用OpenAI更先进、更专业的模型:
这些模型通过Chat Completion API进行交互,该API旨在更好地处理对话历史和角色扮演,从而减少生成无关内容的可能性。
无论使用哪个模型,有效的提示词工程都是至关重要的。一个清晰、具体的提示词能够显著提高模型的响应质量和相关性。
以下是如何修改server.js,以使用gpt-3.5-turbo模型和Chat Completion API来解决上述问题:
import express from "express";
import * as dotenv from "dotenv";
import cors from 'cors';
import { Configuration, OpenAIApi } from "openai"; // 保持不变
dotenv.config();
const configuration = new Configuration({
apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);
const app = express();
app.use(cors());
app.use(express.json());
app.get("/", (req, res) => {
res.status(200).send({
message: "Welcome to OpenAI API",
});
});
app.post('/', async (req, res) => {
try {
const userPrompt = req.body.prompt; // 用户输入的提示词
// 构建messages数组,这是Chat Completion API的关键
const messages = [
// System角色:设定模型行为和整体指导
{
role: "system",
content: "你是一个专业的JavaScript编程助手,专注于前端开发。请提供简洁、准确的JavaScript代码和解释,并且只在用户明确要求时才提供代码。在其他情况下,请用自然语言回答。"
},
// User角色:传递用户的当前请求
{
role: "user",
content: userPrompt
}
// 可以在此处添加更多历史对话,以提供上下文
// { role: "assistant", content: "这是之前的助手回复..." },
// { role: "user", content: "这是之前的用户问题..." }
];
const response = await openai.createChatCompletion({
model: "gpt-3.5-turbo", // 更改为更适合对话和代码任务的模型
messages: messages, // 使用messages数组传递对话历史和当前提示
temperature: 0.7, // 适当调整温度,0表示更确定性,1表示更随机
max_tokens: 1000, // 限制最大生成长度,防止冗余或跑题
top_p: 1,
frequency_penalty: 0,
presence_penalty: 0,
});
res.status(200).send({
// Chat Completion API的响应结构不同,需要从choices[0].message.content获取
bot: response.data.choices[0].message.content
});
}
catch (error) {
console.error("Error calling OpenAI API:", error.response ? error.response.data : error.message);
res.status(500).send({ error: error.response ? error.response.data : error.message });
}
});
app.listen(5000, () => console.log("Sever is running on port :- http://localhost:5000"))代码变更说明:
在构建基于OpenAI API的应用程序时,避免模型生成无关内容,特别是意外的代码片段,关键在于明智地选择模型和精心设计提示词。对于对话式AI和代码相关的任务,优先使用gpt-3.5-turbo或gpt-4等Chat Completion API模型。同时,通过在system提示词中明确模型角色、任务和限制,并在user提示词中提供清晰具体的指令,可以显著提高模型的响应质量和相关性,从而提供更专业、更符合预期的用户体验。
以上就是优化OpenAI API:解决GPT应用中意外代码生成问题的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号