[大模型]DeepSeek-7B-chat WebDemo 部署

<pre class="brush:php;toolbar:false;"># 升级pippython -m pip install --upgrade pip# 更换 pypi 源加速库的安装pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip install modelscope==1.9.5pip install transformers==4.35.2pip install streamlit==1.24.0pip install sentencepiece==0.1.99pip install accelerate==0.24.1pip install transformers_stream_generator==0.0.4

<pre class="brush:php;toolbar:false;">import torchfrom modelscope import snapshot_download, AutoModel, AutoTokenizerfrom modelscope import GenerationConfigmodel_dir = snapshot_download('deepseek-ai/deepseek-llm-7b-chat', cache_dir='/root/autodl-tmp', revision='master')

/root/autodl-tmp

chatBot.py

<pre class="brush:php;toolbar:false;"># 导入所需的库from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfigimport torchimport streamlit as st# 在侧边栏中创建一个标题和一个链接with st.sidebar:    st.markdown("## DeepSeek LLM")    "[开源大模型食用指南 self-llm](https://github.com/datawhalechina/self-llm.git)"    # 创建一个滑块，用于选择最大长度，范围在0到1024之间，默认值为512    max_length = st.slider("max_length", 0, 1024, 512, step=1)# 创建一个标题和一个副标题st.title("? DeepSeek Chatbot")st.caption("? A streamlit chatbot powered by Self-LLM")# 定义模型路径mode_name_or_path = '/root/autodl-tmp/deepseek-ai/deepseek-llm-7b-chat'# 定义一个函数，用于获取模型和tokenizer@st.cache_resourcedef get_model():    # 从预训练的模型中获取tokenizer    tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, trust_remote_code=True)    # 从预训练的模型中获取模型，并设置模型参数    model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, trust_remote_code=True,torch_dtype=torch.bfloat16,  device_map="auto")    # 从预训练的模型中获取生成配置    model.generation_config = GenerationConfig.from_pretrained(mode_name_or_path)    # 设置生成配置的pad_token_id为生成配置的eos_token_id    model.generation_config.pad_token_id = model.generation_config.eos_token_id    # 设置模型为评估模式    model.eval()      return tokenizer, model# 加载Chatglm3的model和tokenizertokenizer, model = get_model()# 如果session_state中没有"messages"，则创建一个包含默认消息的列表if "messages" not in st.session_state:    st.session_state["messages"] = [{"role": "assistant", "content": "有什么可以帮您的？"}]# 遍历session_state中的所有消息，并显示在聊天界面上for msg in st.session_state.messages:    st.chat_message(msg["role"]).write(msg["content"])# 如果用户在聊天输入框中输入了内容，则执行以下操作if prompt := st.chat_input():    # 将用户的输入添加到session_state中的messages列表中    st.session_state.messages.append({"role": "user", "content": prompt})    # 在聊天界面上显示用户的输入    st.chat_message("user").write(prompt)        # 构建输入         input_tensor = tokenizer.apply_chat_template(st.session_state.messages, add_generation_prompt=True, return_tensors="pt")    # 通过模型获得输出    outputs = model.generate(input_tensor.to(model.device), max_new_tokens=max_length)    # 解码模型的输出，并去除特殊标记    response = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)    # 将模型的输出添加到session_state中的messages列表中    st.session_state.messages.append({"role": "assistant", "content": response})    # 在聊天界面上显示模型的输出    st.chat_message("assistant").write(response)

autodl

<pre class="brush:php;toolbar:false;">streamlit run /root/autodl-tmp/chatBot.py --server.address 127.0.0.1 --server.port 6006