Florence-VL来了！使用生成式视觉编码器，重新定义多模态大语言模型视觉信息

Florence-VL：基于生成式视觉编码器的多模态大语言模型

马里兰大学与微软研究院合作推出了一种新型多模态大语言模型Florence-VL，该模型利用生成式视觉编码器Florence-2，显著提升了对图像中细节信息的理解能力。 这项研究由马里兰大学博士生陈玖海领衔，Bin Xiao担任通讯作者，并由马里兰大学助理教授Tianyi Zhou以及微软研究院研究员Jianwei Yang, Haiping Wu, Jianfeng Gao共同完成。

资源链接:

• 论文：https://www.php.cn/link/345d307ea2410ecb7f4d00b23ed9a399
• 开源代码：https://www.php.cn/link/4e5916dda041e42d18d9cf266d56b62b
• 项目主页：https://www.php.cn/link/c9c346f0d25cac2d93439db2c736bc8b
• 在线Demo：https://www.php.cn/link/f3c013d50e1737ca632a8f17e5815afc
• 模型下载：https://www.php.cn/link/8c76acf2b5b98f72bec5c3e3b258f122

Florence-VL的核心在于采用Florence-2作为视觉编码器。不同于传统的CLIP等模型仅提供单一全局图像表示，Florence-2通过生成式预训练，能够根据不同的任务提示生成多样化的视觉特征，从而更全面地理解图像细节，包括局部信息和像素级信息。 Florence-VL巧妙地利用多个任务提示（例如图像描述、OCR和物体定位），并融合不同深度层的特征，实现了更强大的视觉理解能力。

核心技术：深度-广度融合策略 (DBFusion)

Florence-VL的创新之处在于其深度-广度融合策略，它有效地结合了多任务提示和多层级特征，以获得更丰富的视觉表征：

• 广度: 通过不同的任务提示（例如图像描述、OCR和物体定位），生成针对不同任务的视觉特征。
• 深度: 利用Florence-2不同深度层捕获从低级到高级的视觉特征，实现对细节和整体信息的兼顾。
• 融合: 采用通道拼接策略，将不同任务和不同深度层的特征高效整合，避免增加模型计算负担，同时保留特征的多样性。

实验结果与对比

研究团队通过一系列实验，在多个多模态基准任务上评估了Florence-VL的性能，包括通用视觉问答、OCR、知识理解等。结果显示，Florence-VL在多个任务上超越了基于CLIP等传统视觉编码器的模型，尤其在文本提取任务上表现突出。消融实验也证明了Florence-2作为视觉编码器的优越性。

总结与展望

Florence-VL凭借其创新的生成式视觉编码器和深度-广度融合策略，在多模态大语言模型领域取得了显著进展。未来研究方向包括探索更先进的自适应融合策略，以根据不同任务动态调整特征融合的策略。

(脚注：[1] https://www.php.cn/link/3f26de5213216fe4c8a797b1ad68d771)

以上就是Florence-VL来了！使用生成式视觉编码器，重新定义多模态大语言模型视觉信息的详细内容，更多请关注php中文网其它相关文章！