文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 科技周边 > 人工智能 > 正文

GLM-4.1V-Thinking— 智谱AI开源的视觉语言模型系列

心靈之曲
发布： 2025-07-03 13:40:21
原创
802人浏览过

GLM-4.1V-Thinking是什么

glm-4.1v-thinking是智谱ai推出的开源视觉语言模型，专为复杂认知任务设计，支持图像、视频、文档等多模态输入。模型在glm-4v架构基础上引入思维链推理机制，基于课程采样强化学习策略，系统性提升跨模态因果推理能力与稳定性。模型轻量版glm-4.1v-9b-thinking（glm-4.1v-9b-base基座模型和glm-4.1v-9b-thinking具备深度思考和推理能力）参数量控制在10b级别，在28项权威评测中，有23项达成10b级模型最佳成绩，其中18项持平或超越参数量高达72b的qwen-2.5-vl，展现出小体积模型的极限性能潜力。

GLM-4.1V-Thinking— 智谱AI开源的视觉语言模型系列

GLM-4.1V-Thinking的主要功能

  • 图像理解：精准识别和分析图像内容，支持复杂的视觉任务，如目标检测、图像分类和视觉问答。
  • 视频处理：具备时序分析和事件逻辑建模能力，支持处理视频输入，进行视频理解、视频描述和视频问答。
  • 文档解析：支持处理文档中的图像和文本内容，支持长文档理解、图表理解和文档问答。
  • 数学与科学推理：支持复杂的数学题解、多步演绎和公式理解，能处理STEM领域的推理任务。
  • 逻辑推理：支持进行逻辑推理和因果分析，支持复杂的推理任务，如多步推理和逻辑判断。
  • 跨模态推理：合视觉和语言信息进行推理，支持图文理解、视觉问答和视觉锚定等任务。

GLM-4.1V-Thinking的技术原理

  • 架构设计：基于AIMv2Huge作为视觉编码器，处理和编码图像和视频输入。MLP适配器将视觉特征对齐到语言模型的token空间。语言解码器用GLM作为语言模型，处理多模态token并生成输出。
  • 训练方法：基于大规模的图像-文本对、学术文献和知识密集型数据进行预训练，构建强大的视觉语言基础模型。用长链推理（CoT）数据进行监督微调，提升模型的推理能力和人类对齐。基于课程采样强化学习（RLCS），动态选择最具信息量的样本进行训练，提升模型在多种任务上的性能。
  • 技术创新：引入思维链推理机制，让模型逐步思考生成详细的推理过程。基于课程采样策略，动态调整训练样本的难度，确保模型在不同阶段都能获得最有效的训练。基于2D-RoPE和3D-RoPE技术，支持任意分辨率和宽高比的图像输入，增强模型的时空理解能力。

GLM-4.1V-Thinking的性能表现

模型在MMStar、MMMU-Pro、ChartQAPro、OSWorld等28项权威评测中，有23项达成10B级模型的最佳成绩，其中18项持平或超越参数量高达72B的Qwen-2.5-VL。

GLM-4.1V-Thinking— 智谱AI开源的视觉语言模型系列

GLM-4.1V-Thinking的项目地址

  • GitHub仓库：http://github.com/THUDM/GLM-4.1V-Thinking
  • HuggingFace模型库：http://huggingface.co/collections/THUDM/glm-41v-thinking-6862bbfc44593a8601c2578d
  • arXiv技术论文：http://arxiv.org/pdf/2507.01006v1
  • 在线体验Demo：http://huggingface.co/spaces/THUDM/GLM-4.1V-9B-Thinking-Demo

如何使用GLM-4.1V-Thinking

  • API接口：
    • 注册账号：访问智谱AI开放平台，注册账号并登录。
    • 获取API Key：在平台上创建应用，获取专属的API Key。
    • 调用API：根据API文档，使用HTTP请求调用模型接口，发送输入数据并获取模型的输出结果。例如，使用Python调用API的代码示例： 
<span>import</span> requests
<span>import</span> json

<span># 设置API接口地址和API Key</span>
api_url <span>=</span> <span>"http://api.zhipuopen.com/v1/glm-4.1v-thinking"</span>
api_key <span>=</span> <span>"your_api_key"</span>

<span># 准备输入数据</span>
input_data <span>=</span> <span>{</span>
    <span>"image"</span><span>:</span> <span>"image_url_or_base64_encoded_data"</span><span>,</span>
    <span>"text"</span><span>:</span> <span>"your_input_text"</span>
<span>}</span>

<span># 设置请求头</span>
headers <span>=</span> <span>{</span>
    <span>"Authorization"</span><span>:</span> <span><span>f"Bearer </span><span><span>{</span>api_key<span>}</span></span><span>"</span></span><span>,</span>
    <span>"Content-Type"</span><span>:</span> <span>"application/json"</span>
<span>}</span>

<span># 发送请求</span>
response <span>=</span> requests<span>.</span>post<span>(</span>api_url<span>,</span> headers<span>=</span>headers<span>,</span> data<span>=</span>json<span>.</span>dumps<span>(</span>input_data<span>)</span><span>)</span>

<span># 获取结果</span>
result <span>=</span> response<span>.</span>json<span>(</span><span>)</span>
<span>print</span><span>(</span>result<span>)</span>
登录后复制
  • 开源模型：
    • 下载模型：访问Hugging Face，找到GLM-4.1V-Thinking模型页面，下载模型文件。
    • 加载模型：使用相应的深度学习框架（如PyTorch）加载模型。
    • 进行推理：将输入数据预处理后输入模型，获取模型的输出结果。例如，使用PyTorch加载模型并进行推理的代码示例：
<span>from</span> transformers <span>import</span> AutoModelForVision2Seq<span>,</span> AutoProcessor
<span>import</span> torch

<span># 加载模型和处理器</span>
model_name <span>=</span> <span>"THUDM/glm-4.1v-thinking"</span>
model <span>=</span> AutoModelForVision2Seq<span>.</span>from_pretrained<span>(</span>model_name<span>)</span>
processor <span>=</span> AutoProcessor<span>.</span>from_pretrained<span>(</span>model_name<span>)</span>

<span># 准备输入数据</span>
image_url <span>=</span> <span>"image_url_or_image_path"</span>
text <span>=</span> <span>"your_input_text"</span>
inputs <span>=</span> processor<span>(</span>images<span>=</span>image_url<span>,</span> text<span>=</span>text<span>,</span> return_tensors<span>=</span><span>"pt"</span><span>)</span>

<span># 进行推理</span>
<span>with</span> torch<span>.</span>no_grad<span>(</span><span>)</span><span>:</span>
    outputs <span>=</span> model<span>(</span><span>**</span>inputs<span>)</span>

<span># 获取结果</span>
result <span>=</span> processor<span>.</span>decode<span>(</span>outputs<span>.</span>logits<span>[</span><span>0</span><span>]</span><span>,</span> skip_special_tokens<span>=</span><span>True</span><span>)</span>
<span>print</span><span>(</span>result<span>)</span>
登录后复制
  • 在线体验平台：
    • 访问体验链接：访问Hugging Face平台上的GLM-4.1V-Thinking体验页面。
    • 输入数据：在网页上上传图像或输入文本。
    • 获取结果：点击“运行”按钮，等待模型处理并查看结果。

GLM-4.1V-Thinking的应用场景

  • 教育辅导：辅助学生解决数学、科学等学科的复杂问题，提供详细解题步骤和推理过程，帮助学生更好地理解和掌握知识。
  • 内容创作：结合图像和文本生成创意内容，如广告文案、社交媒体帖子、新闻报道等，提升内容创作的效率和质量。
  • 智能交互：作为智能客服或虚拟助手，理解用户的问题和需求，提供准确、及时的回答和解决方案，支持多模态输入。
  • 行业应用：在医疗、金融、工业等领域，辅助专业人员进行数据分析、报告生成、设备监控等任务，提高工作效率和准确性。
  • 娱乐与生活：为旅游提供攻略和景点介绍，为美食推荐菜品和烹饪方法，为游戏生成剧情和任务设计，丰富用户的娱乐体验。

以上就是GLM-4.1V-Thinking— 智谱AI开源的视觉语言模型系列的详细内容，更多请关注php中文网其它相关文章！

豆包AI编程
豆包AI编程

智能代码生成与优化，高效提升开发速度与质量！

下载
相关标签：
python git 处理器 ai Python 架构 Token 接口 事件 github pytorch 数据分析 http 开放平台 工作效率
来源：php中文网
收藏 点赞
上一篇：中润光学完成戴斯光电51%股权收购，总对价为1.58亿元 下一篇：Perplexity AI可以解读楔形文字吗 Perplexity AI两河文明研究
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
用豆包AI解析Python中的复杂数据结构 复杂数据结构指由基本数据结构组合而成的嵌套结构，如列表中包含字典、字典的值是字典或列表、元组中有嵌套等。豆包AI可帮助解析此类结构，1.拆解嵌套内容并解释访问方式；2.提供使用.get()避免KeyError的技巧；3.协助写出清晰的解析逻辑。实际应用中常见难点包括键不存在、类型不确定、结构层级深，应对策略有使用.get()、判断类型、封装深层访问为函数。
2025-07-06 13:31:13
653
万兴 AI 制作动画？角色动作与场景切换设置方法​ 万兴AI制作动画需用户干预设置角色动作与场景切换。首先导入角色素材并利用时间轴编排动作，通过关键帧设定动作节点，AI自动生成中间过渡；其次可使用动作模板提升效率并微调细节；再者添加表情使角色生动；场景切换可通过直接切换、转场特效及镜头运动增强表现力；同时注意切换节奏服务于故事内容；为避免动作僵硬，可增加关键帧数量并调整过渡曲线；参考真人动画细节亦有助于提升自然度；营造场景氛围需注重色彩搭配、光影效果及环境音效；此外还可探索插件功能、结合其他软件及参与社区交流拓展创作潜力。
2025-07-06 13:29:01
410
怎么用豆包AI帮我写Git钩子脚本 用AI自动化代码提交检查的5个步骤 使用豆包AI可以帮助你快速编写Git钩子脚本，自动化提交检查。首先，确定要使用的Git钩子类型：pre-commit用于代码风格和单元测试检查，commit-msg用于验证提交信息格式，pre-push用于执行集成测试等耗时操作。其次，通过豆包AI生成基础脚本逻辑，例如输入“帮我写一个pre-commit脚本，在提交前检查代码是否有未处理的console.log和debugger”，将返回包含关键字查找和退出状态判断的shell脚本，可直接复制到对应钩子文件中。第三，结合项目实际需求优化脚本，如
2025-07-06 13:28:01
627
想将 AI 模型数据共享工具与豆包联用实现共享？方法详解​ 豆包支持API接口、文档嵌入和第三方工具中转等方式实现与AI模型数据共享工具的整合，具体方式包括：1.利用豆包开放的API接口推送数据；2.上传CSV、JSON等格式文件作为文档附件并设置共享权限；3.通过GoogleDrive或阿里云盘中转后分享链接。配置步骤为：首先确认AI模型输出格式是否适配豆包，其次选择开发脚本或自动化工具接入，接着设定共享权限与通知机制，最后测试优化流程。常见问题及建议：同步延迟可调整上传频率；权限混乱需提前规划访问层级；兼容性问题可通过格式转换解决；建议为文件添加时间
2025-07-06 13:22:01
998
如何用豆包AI生成Python图像处理代码 豆包AI可以辅助生成Python图像处理代码。使用时先明确任务，如调整尺寸、灰度化、滤镜、裁剪或边缘检测；接着在豆包AI中输入具体指令，例如指定使用Pillow或OpenCV库完成特定功能；若初次生成的代码不满足需求，可进一步补充细节，如异常处理或格式支持；最后根据实际路径和依赖库进行调试，确保代码正常运行。
2025-07-06 13:21:01
919
怎么用豆包AI帮我写动态规划代码 动态规划算法的AI实现解析 使用豆包AI辅助编写动态规划代码的关键在于明确问题类型、理清思路、提供模板和补充边界条件。1.先确定问题类型并告知AI具体需求，如“用自顶向下实现0-1背包”；2.让AI先解释状态定义和转移逻辑，帮助理解后再生成代码；3.提供代码框架让AI填充关键部分，提高准确性；4.主动提出变体或边界情况，增强代码健壮性。通过这些方法，能有效提升DP代码的编写效率和正确率。
2025-07-06 13:11:01
536
豆包AI怎么编译程序 豆包AI程序编译教程 豆包AI虽不能直接编译程序，但能有效辅助编程。1.它可帮助写代码、解释逻辑、提供调试建议、优化结构；2.正确使用需描述清楚需求、提供上下文、多轮交互确认细节并验证输出内容；3.遇问题时可让AI分析错误提示，检查语法、依赖及环境配置；4.可配合VSCode、GitHubCopilot等工具完成开发全流程，提升效率。
2025-07-06 13:07:01
287
用豆包AI生成正则表达式？复杂文本匹配一键解决 使用豆包AI辅助生成正则表达式的方法包括：1.明确描述匹配需求，如提取网址、时间格式或特定关键词；2.输入清晰的提示词，例如“匹配合法IPv4地址”以获取更精确的表达式；3.利用AI生成的基础表达式，在线验证其准确性并根据实际数据调整，如增加边界判断或忽略大小写；4.对复杂场景进行手动优化，确保表达式符合具体要求。通过以上步骤，可高效地借助AI工具生成实用的正则表达式。
2025-07-06 13:06:01
301
夸克AI怎么打开_夸克AI软件开启保姆级攻略 要使用夸克AI功能，首先确保夸克浏览器为最新版本；其次在底部或侧边栏点击“AI”图标，或在搜索框输入“AI”查找入口，也可在“设置”的“实验室功能”中开启。实用功能包括智能搜索、内容总结、网页翻译、图片识别和文案生成，建议详细描述问题、多尝试不同功能并关注更新。遇到问题时可检查网络、重启浏览器、清理缓存或重装应用，若搜索不准则优化关键词，总结出错则手动提取信息或换用其他工具。
2025-07-06 13:04:01
239
突破豆包AI限制：DeepSeek满血接入后的高级指令（Prompt）编写指南 掌握DeepSeek满血接入后的高级Prompt编写，关键在于明确性、情境化与迭代优化。1.理解DeepSeek相较于豆包AI更强的复杂指令处理能力，可放心使用更长更精细的Prompt；2.通过提供详细背景、角色设定及任务分解，激发其深度理解和生成能力；3.针对代码生成、数据分析、创意写作等任务，需像与助手协作般清晰描述需求并辅以示例；4.避免模糊指令、缺乏上下文、过度限制和忽略优化，持续调整Prompt以提升输出质量。
2025-07-06 13:03:01
302
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部