一个超强的代码Agent大模型，开源了，本地部署

大家好，我是 ai 学习的老章

Mistral AI 是一家位于法国的人工智能初创公司，成立于 2023 年 4 月。由曾在 Google DeepMind 工作的 Arthur Mensch，以及曾在 Meta AI 工作的 Guillaume Lample 和 Timothée Lacroix 共同创立。

Mistral AI 最突出个贡献应该是它 2023 年 12 月发布了全球首个基于 MoE（Mixture of Experts，混合专家）技术的大型语言模型 ——Mistral - 8x7B - MoE，比 DeepSeek 还要早。

今天我们一起看看它最近开源的一个面向软件工程任务的代理型大语言模型——Devstral

Devstral 擅长使用工具探索代码库、编辑多个文件并为软件工程代理提供支持。

该模型在 SWE-bench 上表现出色，使其成为此基准测试中排名第一的开源模型。

Devstral 与在任何框架（包括为模型量身定制的框架）下评估的封闭和开放模型进行了比较，在多项指标上的表现明显优于一些封闭源代码的替代方案。例如，Devstral 在某些方面超越了 GPT-4.1-mini 20%。

很讨巧，没有跟大佬们比较，毕竟不是一个量级，不过在开源里算不错了

没有官方数据，貌似 DeepSeek-R1-0528 在 SWE - bench Verified 上得分是 57.6

我稍微查了一下当前最牛逼的模型应该是 Claude Opus 4 和 Sonnet 4，它们在 SWE - Bench 上的分数是 72.5% 和 72.7% 。

官方介绍可以在单个 RTX 4090 或具有 32GB 内存的 Mac 上运行

可能指的是量化版吧

我看了一下 Ollama，4Bit 精度量化模型文件只有 14GB

https://ollama.com/library/devstral

它部署很简单，不做介绍了 ollama run devstral 即可

下面介绍的是其 fp16 精度版，模型文件 47GB 的样子

https://modelscope.cn/models/mistralai/Devstral-Small-2505/files

pip install modelscopemkdir devstral-small-2505cd devstral-small-22505modelscope download mistralai/Devstral-Small-2505 --local_dir .

47GB 的模型，2 张 4090 估计不够用

直接 4 卡启动

pip install vllm --upgradecd devstral-small-22505CUDA_VIDIBLE_DEVICES=1,2,3,4 vllm serve . --served-model-name Devstral-Small-2505 --tensor-parallel-size 4 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 4

启动成功之后就可以把 api 接入 chatbot 或 ide 中使用了

测试情况，后续更新

其实是我的卡不够用了，目前在跑的 Qwen3:32B 和 DeepSeek-R1-0528-Qwen3-8B 都正在用，等空闲了再测试吧。

制作不易，如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个?，谢谢你看我的文章，我们下篇再见！

搭建完美的写作环境：工具篇（12 章）

图解机器学习 - 中文版（72 张 PNG）

ChatGPT、大模型系列研究报告（50 个 PDF）

108 页 PDF 小册子：搭建机器学习开发环境及 Python 基础 

116 页 PDF 小册子：机器学习中的概率论、统计学、线性代数 

史上最全！371 张速查表，涵盖 AI、ChatGPT、Python、R、深度学习、机器学习等

以上就是一个超强的代码Agent大模型，开源了，本地部署的详细内容，更多请关注php中文网其它相关文章！