字节跳动携手香港中文大学、香港科技大学及香港大学共同研发的 dreamomni2 系统现已正式对外开源。
DreamOmni2 专注于增强人工智能在图像生成与编辑中的指令遵循能力，实现了真正的多模态理解突破。该系统能够同时解析文本指令和参考图像内容，有效克服了传统模型在处理抽象概念（如艺术风格、材质质感、光影效果）时的不足，使用户与 AI 的交互更加直观自然。
为提升 AI 对复杂图文指令的理解能力，研究团队设计了一套创新的三阶段训练流程。第一阶段，通过构建提取模型，使 AI 能够精确捕捉图像中的特定元素或抽象特征；第二阶段，利用该模型生成高质量的多模态指令编辑数据，形成包含源图像、编辑指令、参考图以及目标结果的完整样本；第三阶段，则进一步扩展提取与组合策略，生成多样化的参考图像，从而构建出规模庞大且丰富的多模态指令驱动数据集。
立即进入“豆包AI人工智官网入口”；
立即学习“豆包AI人工智能在线问答入口”；
在架构设计上，DreamOmni2 引入了索引编码与位置编码偏移机制，确保模型能准确识别并区分多张输入图像的来源与顺序。同时，系统融合了先进的视觉语言模型（VLM），显著缩小了用户意图与模型理解之间的语义差距。这一系列技术创新大幅提升了模型对复杂指令的响应精度，使其更能精准捕捉用户的实际需求。
实测结果显示，DreamOmni2 在多模态图像编辑任务中表现优异，性能超越所有主流开源模型，并已逼近当前顶级商业模型水平。相较于传统商业方案，DreamOmni2 在应对高难度指令时展现出更强的一致性与准确性，有效减少了非预期修改和图像失真问题。
以上就是字节跳动与港中大等联合开源 DreamOmni2的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
444
收藏
