实现Gradio ChatInterface中ChatGPT API异步流式输出

import gradio as gr
from openai import AsyncOpenAI

# 确保您已设置OPENAI_API_KEY环境变量或在此处直接传入
# client = AsyncOpenAI(api_key="YOUR_API_KEY") 
client = AsyncOpenAI() # 默认从环境变量读取

async def chat_with_gpt_streaming(message: str, history: list) -> str:
    """
    一个异步生成器函数，用于从OpenAI API获取流式响应，
    并将其累积后逐块发送给Gradio ChatInterface。

    Args:
        message (str): 用户输入的消息。
        history (list): 聊天历史记录，格式为 [[user_msg, bot_msg], ...]
                        在Gradio ChatInterface中，通常不需要手动处理，
                        它会自动将历史记录传递给函数。
    Yields:
        str: 每次yield当前累积的完整消息。
    """

    # 构建发送给OpenAI API的消息列表
    # 历史记录需要按照OpenAI API的格式进行转换
    messages = []
    for user_msg, bot_msg in history:
        messages.append({"role": "user", "content": user_msg})
        messages.append({"role": "assistant", "content": bot_msg})
    messages.append({"role": "user", "content": message})

    # 调用OpenAI API获取流式响应
    stream = await client.chat.completions.create(
        model="gpt-4",  # 或 "gpt-3.5-turbo"
        messages=messages,
        stream=True,
    )

    partial_message = ""
    async for chunk in stream:
        # 检查并累积文本内容
        if chunk.choices[0].delta.content is not None:
            partial_message += chunk.choices[0].delta.content
            # 每次累积后，将当前完整的消息yield出去
            yield partial_message

### 代码解析：为何这样有效

1.  **`async def chat_with_gpt_streaming(...)`**: 这是一个异步函数，允许我们在其中使用`await`关键字来等待异步操作（如API调用）。同时，它内部使用了`yield`，使其成为一个异步生成器。
2.  **`stream = await client.chat.completions.create(...)`**: 这一行异步地调用OpenAI API，并指定`stream=True`以获取流式响应。`await`确保了在API返回第一个数据块之前，程序会暂停执行。
3.  **`partial_message = ""`**: 初始化一个空字符串，用于累积从API接收到的所有文本片段。
4.  **`async for chunk in stream:`**: 这是一个异步循环，它会异步地迭代`stream`对象，每次获取一个数据块（chunk）。
5.  **`if chunk.choices[0].delta.content is not None:`**: OpenAI API在流式输出中可能会发送一些不包含文本内容的块（例如，表示流的开始或结束）。此条件确保我们只处理包含实际文本内容的块。
6.  **`partial_message += chunk.choices[0].delta.content`**: 将当前数据块中的文本内容追加到`partial_message`中。
7.  **`yield partial_message`**: 这是关键所在。每次`partial_message`更新后，我们都将其**当前完整状态**通过`yield`发送出去。Gradio的`ChatInterface`会接收到这个不断增长的字符串，并用它来更新UI上的消息显示，从而实现了平滑的逐字或逐句显示效果。

### Gradio ChatInterface集成示例

将上述异步生成器函数集成到Gradio的`ChatInterface`中非常简单。

```python
# ... (上述 chat_with_gpt_streaming 函数定义) ...

# 创建Gradio ChatInterface实例
# fn 参数接受一个函数，该函数应返回一个字符串或一个生成器
demo = gr.ChatInterface(
    chat_with_gpt_streaming,
    chatbot=gr.Chatbot(height=400), # 设置聊天框高度
    textbox=gr.Textbox(placeholder="向ChatGPT提问...", container=False, scale=7),
    title="Gradio ChatGPT 流式聊天",
    description="一个展示Gradio与OpenAI API异步流式输出的聊天应用。",
    theme="soft", # 可以选择不同的主题
    examples=["你好，能帮我写一首诗吗？", "解释一下量子力学。", "推荐三部科幻电影。"],
    cache_examples=False,
    undo_btn=None,
    clear_btn="清空聊天",
)

# 启动Gradio应用
if __name__ == "__main__":
    demo.launch()