快速搭建dify和deepseek，让普通人也能轻松训练AI

01

背景

AI已成为当今的热门话题。过去，由于私有化部署成本高昂，大多数用户仅限于简单的问答阶段，很少有人尝试训练大型模型。然而，随着DeepSeek R1的出现，其部署成本仅为chatGPT的十分之一，这为许多企业和个人带来了参与的希望。未来，必将有越来越多的垂直领域AI大模型或应用涌现，这可能是一个巨大的机遇。那么，普通人如何参与呢？如何训练自己的AI呢？本文将介绍一种简单且无需编写代码的方法，帮助您轻松训练AI应用。

02

Ollama的安装

Ollama 是一个用go语言开发的开源框架，可用于本地运行和管理大语言模型（LLM）。我们将使用Ollama来运行和管理DeepSeek大模型。Ollama支持在CPU或GPU环境下运行，具体安装步骤如下。

1. 基于CPU运行

DeepSeek R1:7b大模型在CPU环境下也能运行，但不是很流畅，个人或实验用途倒也无妨。运行Ollama的指令如下：

docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama

2. 基于GPU运行

经测试，DeepSeek R1:7b大模型在10G以上显存的环境下可以流畅运行。使用GPU需要先配置依赖环境。

2.1. 使用apt方式安装

配置仓库：

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

安装NVIDIA Container Toolkit：

sudo apt-get install -y nvidia-container-toolkit

2.2. 使用yum或dnf方式安装

配置仓库：

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

安装NVIDIA Container Toolkit：

sudo yum install -y nvidia-container-toolkit

配置docker，使其支持NVIDIA驱动：

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

3. 运行Ollama

完成上述依赖环境配置后，运行如下指令，比CPU的方式多了一个参数--gpus，用于指定使用宿主机的GPU。

docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama

03

运行DeepSeek大模型

通过如下指令下载并运行DeepSeek R1:7b大模型：

docker exec -it ollama ollama run deepseek-r1:7b

下载可能需要一些时间，但没关系，我们可以边下载边继续部署Dify，搭建一个可视化的管理平台。

04

Dify的安装

Dify是一款开源的大语言模型（LLM）应用开发平台。它结合了后端即服务（Backend as a Service）和LLMOps的理念，使开发者能够快速构建生产级的生成式AI应用。即使是非技术人员，也可以参与到AI应用的定义和数据运营中。通过Dify，不仅可以实现知识库应用，还能开发更多功能。

1. 使用Docker-Compose安装

这里使用Docker-Compose V2进行安装，V1时会遇到异常。

mkdir -p ~/.docker/cli-plugins/
curl -SL https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-linux-x86_64 -o ~/.docker/cli-plugins/docker-compose

2. 克隆Dify仓库

git clone https://github.com/langgenius/dify.git

3. 运行Dify

进入Dify源代码的Docker目录：

cd dify/docker

复制环境配置文件：

cp .env.example .env

启动Docker容器：

docker compose up -d

Dify初始化后，替换成您的服务器IP，访问并设置您的账号和密码。

http://your_server_ip/install

至此，我们完成了Dify和DeepSeek大模型的部署，接下来需要在Dify进行大模型配置和创建我们的AI应用。

05

Dify添加大模型

完成上述安装后，我们需要在Dify控制台上添加我们部署的DeepSeek R1:7b大模型，操作如下：

登录控制台后，点击右上角-->设置

在弹窗左侧栏目选择“模型供应商”，然后添加Ollama配置

06

创建AI应用

终于到了这个环节，我们可以借助Dify快速创建我们的AI应用，并赋予它处理的逻辑。

创建一个空白应用，选择Chatflow

创建后，在LLM节点选择deepseek-r1:7b大模型，然后设置上下文为用户查询变量sys.query，接着在SYSTEM处设置提示词（Prompt）赋予它处理逻辑。

在预览没问题后，发布应用即可

07

结语

通过上述内容，我们了解了DeepSeek大模型的部署和AI应用的搭建，并尝试了Chatflow和Prompt的使用。由于一些条件限制，许多人无法进行基础模型的开发或微调，但Chatflow和Prompt为我们展示了另一种训练的方向。本期内容到此为止，下一期我们将深入探讨Chatflow和Prompt的高级应用。

以上就是快速搭建dify和deepseek，让普通人也能轻松训练AI的详细内容，更多请关注php中文网其它相关文章！