1、本地大语言模型（LLM）部署
使用 ollama 来运行 llama3.2 模型（体积较小，约 1gb）
ollama run llama3.2 # 也可替换为 deepseek-r1:7b
详细步骤可查阅：如何通过 ollama 搭建本地 AI 环境
2、创建新项目（结合 solon-ai 调用 LLM）
可通过 Solon Initializr 快速生成基础工程。项目建立后，引入以下依赖：
3、配置应用参数
在 app.yml 配置文件中添加如下信息：
solon.ai.chat: demo: apiUrl: "http://127.0.0.1:11434/api/chat" # 使用完整 API 地址（非 api_base） provider: "ollama" # 若使用 ollama 服务，需明确指定 provider model: "llama3.2" # 或选择 deepseek-r1:7b 模型
4、编写配置类与测试逻辑
新建一个名为 DemoConfig 的类，用于构建 ChatModel 并进行初步测试。
import org.noear.solon.ai.chat.ChatConfig;import org.noear.solon.ai.chat.ChatModel;import org.noear.solon.ai.chat.ChatResponse;import org.noear.solon.annotation.Bean;import org.noear.solon.annotation.Configuration;import org.noear.solon.annotation.Inject;import java.io.IOException;@Configurationpublic class DemoConfig { @Bean public ChatModel build(@Inject("${solon.ai.chat.demo}") ChatConfig config) { return ChatModel.of(config).build(); } @Bean public void test(ChatModel chatModel) throws IOException { // 发起请求并获取结果 ChatResponse resp = chatModel.prompt("hello").call(); // 输出返回内容 System.out.println(resp.getMessage()); }}
5、启动项目查看效果
示例源码下载地址：点击获取
