首页 > 新闻 > IT新闻 > 正文

京东开源基于国产芯片自研的 xLLM 大模型推理引擎

心靈之曲
发布: 2025-09-29 18:17:31
原创
491人浏览过

京东宣布开源其基于国产芯片自主研发的大模型推理引擎 xllm,旨在帮助企业更高效、低成本地部署ai应用。

京东开源基于国产芯片自研的 xLLM 大模型推理引擎

本次开源的核心特性涵盖:

  • 支持请求优先级的动态调度机制;
  • 具备动态自适应能力的 PD 分离架构,可依据实时负载灵活调整 PD 实例配比;
  • 面向多模态场景设计的 EPD 混合分离调度方案;
  • 结合硬件特性的多级流水线执行引擎;
  • 集成图融合、投机推理与动态负载均衡的完整计算优化工具集;
  • 基于 Mooncake 技术实现的多层级 KV 缓存全局管理机制;

官方表示,xLLM 推理引擎源于京东零售核心业务的实际需求。目前,该引擎已广泛应用于京言AI助手、智能客服、风险控制、供应链辅助决策、广告推荐等多个关键场景,实现整体效率提升超5倍,服务器成本下降达90%。

可图大模型
可图大模型

可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型

可图大模型32
查看详情 可图大模型

“我们始终相信,AI基础设施生态的发展离不开广大开发者的共同参与。此次开源只是一个起点。未来,京东零售AI Infra团队将根据社区反馈持续释放更多高级功能,并携手清华大学、北京大学、中国科学技术大学、北京航空航天大学等高校及产业伙伴,深化产学研合作,共同推进国产AI基础软件技术生态的创新与发展,助力行业智能化转型。”

源码地址:点击下载

以上就是京东开源基于国产芯片自研的 xLLM 大模型推理引擎的详细内容,更多请关注php中文网其它相关文章!

京东
京东

京东app是一款移动购物软件,具有商品搜索/浏览、评论查阅、商品购买、在线支付/货到付款、订单查询、物流跟踪、晒单/评价、返修退换货等功能,为您打造简单、快乐的生活体验。有需要的小伙伴快来保存下载体验吧!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号