英伟达发布nim微服务预览版,搭载deepseek r1 671b大型语言模型!
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

据1月31日英伟达官方消息,其网站已上线采用DeepSeek R1 671b模型的“英伟达NIM微服务”预览版。英伟达宣称DeepSeek-R1在推理、数学和编码方面拥有“最先进”的性能。
该微服务在单HGX H200系统上,每秒可处理高达3872个tokens。这一速度的提升,不仅得益于H200的HBM3e高带宽内存等硬件优势,更离不开软件层面的优化,包括动态批处理、量化和TensorRT加速等技术。
此次预览版的发布,旨在收集开发者反馈,完善产品功能,并为正式版发布积累用户基础。未来,NIM微服务将集成至英伟达AI Enterprise平台,进一步丰富平台功能,为企业用户提供更完善的AI解决方案,增强其市场竞争力。
英伟达此举意在完善NIM生态,吸引更多开发者采用其全栈解决方案,巩固其在AI基础设施领域的领先地位,同时也是与AWS Bedrock、Azure AI Model Catalog等云服务巨头竞争,通过灵活的本地化部署方案,争夺企业AI市场份额。
以上就是英伟达宣布使用DeepSeek的详细内容,更多请关注php中文网其它相关文章!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号