【Tutorial】一文学会在AIStudio上部署Deepseek-R1

import os

os.environ["AI_STUDIO_API_KEY"] = "your_access_token"

import osfrom openai import OpenAI

client = OpenAI(
     api_key=os.environ.get("AI_STUDIO_API_KEY"),  # 含有 AI Studio 访问令牌的环境变量，https://aistudio.baidu.com/account/accessToken,
     base_url="https://aistudio.baidu.com/llm/lmapi/v3",  # aistudio 大模型 api 服务域名)

chat_completion = client.chat.completions.create(
    messages=[
        {'role': 'system', 'content': '你是开发者助理，你精通开发相关的知识，负责给开发者提供搜索帮助建议。'},
        {'role': 'user', 'content': '你好，请介绍一下你自己'}
    ],
    model="deepseek-r1",
    temperature=0.6,
)print(chat_completion.choices[0].message.content)

import os
from openai import OpenAI

def get_response(messages):
    client = OpenAI(
        api_key=os.environ.get("AI_STUDIO_API_KEY"),  # 含有 AI Studio 访问令牌的环境变量，https://aistudio.baidu.com/account/accessToken,
        base_url="https://aistudio.baidu.com/llm/lmapi/v3",  # aistudio 大模型 api 服务域名
    )
    completion = client.chat.completions.create(model="ernie-3.5-8k", messages=messages)
    return completion

messages = [
    {
        "role": "system",
        "content": "你是 AI Studio 开发者助理，你精通开发相关的知识，负责给开发者提供搜索帮助建议。",
    }
]

assistant_output = "您好，我是AI Studio 开发者助理，请问有什么能帮助你的吗？"
print(f"""输入："结束"，结束对话
""")
print(f"模型输出：{assistant_output}
")
user_input = ""
while "结束" not in user_input:
    user_input = input("请输入：")
    # 将用户问题信息添加到messages列表中
    messages.append({"role": "user", "content": user_input})
    assistant_output = get_response(messages).choices[0].message.content
    # 将大模型的回复信息添加到messages列表中
    messages.append({"role": "assistant", "content": assistant_output})
    print(f"模型输出：{assistant_output}")
    print("
")

import osfrom openai import OpenAI

client = OpenAI(
    api_key=os.environ.get("AI_STUDIO_API_KEY"),  # 含有 AI Studio 访问令牌的环境变量，https://aistudio.baidu.com/account/accessToken,
    base_url="https://aistudio.baidu.com/llm/lmapi/v3",  # aistudio 大模型 api 服务域名)

completion = client.chat.completions.create(
    model="ernie-3.5-8k",
    messages=[
        {'role': 'system', 'content': '你是 AI Studio 实训AI开发平台的开发者助理，你精通开发相关的知识，负责给开发者提供搜索帮助建议。'},
        {'role': 'user', 'content': '你好，请介绍一下AI Studio'}
    ],
    stream=True,
)for chunk in completion:    print(chunk.choices[0].delta.content or "", end="")

!pip install nest_asyncio

import nest_asyncio
nest_asyncio.apply()

import osfrom openai import AsyncOpenAIimport asyncio

client = AsyncOpenAI(
    api_key=os.environ.get("AI_STUDIO_API_KEY"),  # 含有 AI Studio 访问令牌的环境变量，https://aistudio.baidu.com/account/accessToken,
    base_url="https://aistudio.baidu.com/llm/lmapi/v3",  # aistudio 大模型 api 服务域名)async def main() -> None:
    chat_completion = await client.chat.completions.create(
        messages=[
            {'role': 'system', 'content': '你是 AI Studio 实训AI开发平台的开发者助理，你精通开发相关的知识，负责给开发者提供搜索帮助建议。'},
            {'role': 'user', 'content': '你好，请介绍一下AI Studio'}
        ],
        model="ernie-3.5-8k",
    )    print(chat_completion.choices[0].message.content)
    

asyncio.run(main())

import osfrom openai import OpenAI

client = OpenAI(
     api_key=os.environ.get("AI_STUDIO_API_KEY"),  # 含有 AI Studio 访问令牌的环境变量，https://aistudio.baidu.com/account/accessToken,
     base_url="https://aistudio.baidu.com/llm/lmapi/v3",  # aistudio 大模型 api 服务域名)

chat_completion = client.chat.completions.create(
    messages=[
        {'role': 'system', 'content': '你是 AI Studio 实训AI开发平台的开发者助理，你精通开发相关的知识，负责给开发者提供搜索帮助建议。'},
        {'role': 'user', 'content': '你好，请介绍一下AI Studio'}
    ],
    model="deepseek-r1",
)print(chat_completion.choices[0].message.reasoning_content)print(chat_completion.choices[0].message.content)

import osfrom openai import OpenAI

client = OpenAI(
    api_key=os.environ.get("AI_STUDIO_API_KEY"),  # 含有 AI Studio 访问令牌的环境变量，https://aistudio.baidu.com/account/accessToken,
    base_url="https://aistudio.baidu.com/llm/lmapi/v3",  # aistudio 大模型 api 服务域名)

completion = client.chat.completions.create(
    model="deepseek-r1",
    messages=[
        {'role': 'system', 'content': '你是 AI Studio 实训AI开发平台的开发者助理，你精通开发相关的知识，负责给开发者提供搜索帮助建议。'},
        {'role': 'user', 'content': '你好，请介绍一下AI Studio'}
    ],
    stream=True,
)for chunk in completion:    if hasattr(chunk.choices[0].delta, 'reasoning_content') and chunk.choices[0].delta.reasoning_content:        print(chunk.choices[0].delta.reasoning_content, end="", flush=True)    else:        print(chunk.choices[0].delta.content, end="", flush=True)

import osfrom openai import OpenAI

client = OpenAI(
    api_key="f3fe51a610b66b6774dd1c20cece21899b94d9fd", # 更换为你的
    base_url="https://api-p5n1pfy5r2g9sez9.aistudio-app.com/v1" # 更换为你的)

chat_completion = client.chat.completions.create(
    model="deepseek-r1:70b", # 根据你部署的版本更改
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': '你好，请介绍一下你自己'}
    ],
    temperature=0.6,  # DeepSeek 官方推荐值)print(chat_completion.choices[0].message.content)

# 1. 在根目录下创建`ollama`文件夹!mkdir ollama# 2. 解压ollama!tar -C ollama -xzf data/data315295/ollama-linux-amd64.tgz# 3. 解压deepseek-r1模型!tar -zxvf data/data315295/ollama-models.tar.gz# 4. 复制模型文件到.ollama路径(这是Ollama存放模型的目录, 这样就可以省去从网络下载模型的步骤)!cp -r ./models .ollama# 5. 删除解压的模型文件, 其实3和4可以合并为一步 mv 命令，懒得改了!rm -rf models/

/home/aistudio/.ollama
└── models
    ├── blobs
    │   ├── sha256-369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150
    │   ├── sha256-40fb844194b25e429204e5163fb379ab462978a262b86aadd73d8944445c09fd
    │   ├── sha256-6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4
    │   ├── sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49
    │   └── sha256-f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588
    └── manifests
        └── registry.ollama.ai
            └── library
                └── deepseek-r1
                    └── latest

ollama/bin/ollama serve

# 查看模型!ollama/bin/ollama ls

ollama/bin/ollama run deepseek-r1

from openai import OpenAI# 配置 OpenAI SDKclient = OpenAI(
    base_url="http://localhost:11434/v1/",  # Ollama 的 API 地址
    api_key="ollama",  # Ollama 的 API 密钥,固定为 "ollama")# 调用模型进行对话chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", ""}
        {"role": "user", "content": "解释下人工智能、机器学习、深度学习三者的关系。"}
    ],
    model="deepseek-r1",  # 模型名称
    temperature=0.6,
)print(chat_completion.choices[0].message.content)

# 自动确认并卸载已安装的 paddlenlp 库!pip uninstall paddlenlp -y# 解压安装PaddleNLP，文件来自PaddleNLP GitHub仓库 develop分支（2025年1月24日）!tar -xf PaddleNLP-20250124-1801.tgz# 创建一个名为 'external-libraries' 的目录，用于存放安装的外部库（星河平台默认安装库重启后会被清空，所以需要将安装的库放到外部目录中）# 创建环境依赖库，针对不同的GPU环境，请使用者自行切换# !mkdir -p /home/aistudio/external-libraries!tar zxf external-libraries.tgz# !!! 依赖文件已经安装在external-libraries中，无需再次安装,

# 将自定义的外部库目录添加到系统路径中，以便Python能够导入这些库中的模块import sys 
# 添加包含已安装外部库的目录sys.path.insert(0, '/home/aistudio/external-libraries')# 添加PaddleNLP项目的根目录到系统路径，以便可以导入其模块和包sys.path.insert(0, '/home/aistudio/PaddleNLP')

import paddlefrom llm.predict.predictor import PredictorArgument, ModelArgument, create_predictorfrom paddlenlp.utils import is_paddlenlp_ops_available# 安装paddlenlp_ops算子后需重启内核启用# 支持模型名称# deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B # deepseek-ai/DeepSeek-R1-Distill-Qwen-7B# deepseek-ai/DeepSeek-R1-Distill-Qwen-14B (A100 40G环境可以使用)# deepseek-ai/DeepSeek-R1-Distill-Qwen-32B (A100 40G环境可以使用wint8量化)# deepseek-ai/DeepSeek-R1-Distill-Llama-8B# deepseek-ai/DeepSeek-R1-Distill-Llama-70B (需4卡V100 32G环境)predictor_args = PredictorArgument(
    model_name_or_path="deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
    src_length=1024,
    min_length=32,
    max_length=2048,
    top_k=0,
    top_p=0.7,
    temperature=0.95,
    repetition_penalty=1.0,
    dtype="float16",
    inference_model= True if is_paddlenlp_ops_available() else False,    # quant_type="weight_only_int8",)

paddle.set_default_dtype(predictor_args.dtype)
predictor = create_predictor(predictor_args, ModelArgument())

from IPython.display import Markdown

input_text = "介绍下现代自然语言处理的基石Transformer架构。"result = predictor.predict(input_text)[0]
output = result.replace("<think>\n", "```\n").replace("</think>\n", "```\n")
Markdown(output)

import requests

API_URL = "https://***************.aistudio-app.com" # AI Studio接口地址input_text = "《诗三百》收录了多少篇李白的诗歌？" # 输入文本# 请求头headers = {    "Content-Type": "application/json"}# 发送请求response = requests.post(API_URL, json={'input_text': input_text}, headers=headers, timeout=3600, verify=False)print(response.content.decode('utf-8'))

@app.route('/', methods=['POST'])def home():
    # 从POST请求中获取input_text
    input_text = request.json.get('input_text', "")    print(f"input_text: {input_text}")
    result = predictor.predict(input_text)[0]    # output = result.replace("<think>\n", "```\n").replace("</think>\n", "```\n")
    print(f"result: {result}") 
    return result