使用Spring Boot和Langchain探索JLAMA图书馆-java教程-PHP中文网

使用Spring Boot和Langchain探索JLAMA图书馆

花韻仙語

发布： 2025-01-28 08:10:01

原创

1268人浏览过

使用spring boot和langchain探索jlama图书馆

大型语言模型(LLM)正迅速改变着编程领域。LLM能够理解和生成文本，甚至根据文本提示生成代码，为开发者提供了强大的辅助工具。本文将探讨如何利用jlama库将LLM集成到Java生态系统中，并结合Spring Boot和Langchain框架，演示其在实际应用中的强大功能。

jlama库是一个纯Java实现的LLM库，支持多种使用方式，既可作为命令行工具，也可作为依赖项直接集成到您的项目中。本文将重点介绍如何将其与Spring Boot项目集成。

功能亮点与先决条件

jlama库需要Java 20及以上版本，因为它使用了Java的向量API。如果您已经熟悉Langchain，那么将它与jlama集成将会非常便捷，Langchain提供的工具可以简化与LLM的交互过程。

本例中的Spring Boot项目包含两个端点，用于与LLM模型交互：

一个直接使用jlama配置的端点。
一个结合Langchain和jlama的端点。

项目实现

1. 直接使用jlama的端点

该端点直接配置jlama库，根据用户提交的提示生成响应。

@PostMapping("/jlama")
public ResponseEntity<ChatPromptResponse> chatJlama(@RequestBody ChatPromptRequest request) {
    PromptContext context;
    if (abstractModel.promptSupport().isPresent()) {
        context = abstractModel.promptSupport()
                .get()
                .builder()
                .addSystemMessage("You are a helpful chatbot providing concise answers.")
                .addUserMessage(request.prompt())
                .build();
    } else {
        context = PromptContext.of(request.prompt());
    }

    System.out.println("Prompt: " + context.getPrompt() + "\n");
    Generator.Response response = abstractModel
            .generate(UUID.randomUUID(), context, 0.0f, 256, (s, f) -> {});
    System.out.println(response.responseText);

    return ResponseEntity.ok(new ChatPromptResponse(response.responseText));
}

登录后复制

代码首先配置所需的模型。如果本地不存在，jlama会自动下载到指定目录。然后，创建提示上下文并使用jlama生成响应。

// 定义模型和下载目录
String model = "tjake/llama-3.2-1b-instruct-jq4";
String workingDirectory = "./models";

// 下载或加载本地模型
File localModelPath = new Downloader(workingDirectory, model).huggingFaceModel();

// 加载模型
ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);

登录后复制

2. Langchain和jlama结合的端点

第二个端点利用Langchain简化了与jlama的交互。

@PostMapping("/langchain")
public ResponseEntity<Object> chatLangChain(@RequestBody ChatPromptRequest request) {
    var model = JlamaChatModel.builder()
            .modelName("meta-llama/Llama-3.2-1B")
            .temperature(0.7f)
            .build();

    var promptResponse = model.generate(
                    SystemMessage.from("You are a helpful chatbot providing concise answers."),
                    UserMessage.from(request.prompt()))
            .content()
            .text();

    System.out.println("\n" + promptResponse + "\n");

    return ResponseEntity.ok(promptResponse);
}

登录后复制

Langchain的builder模式简化了模型配置和参数设置，使代码更加简洁易懂。

资源与参考

本文的灵感来源于Isidro教授在SouJava的讲座。