清华大学报道基于衍射与偏振深度线索融合的拓展场景单目三维成像

清华新闻网6月18日电 三维视觉在机器与人工智能感知和交互世界的过程中起着至关重要的作用。目前主流的三维成像技术，如结构光、飞行时间法以及双/多目立体视觉，尽管近年来取得了长足进展，但其体积、成本和功耗普遍远高于二维相机，同时点云分辨率仍存在一定限制。近年来备受关注的单目三维视觉虽然在一定程度上缓解了这些问题，但仍存在对弱纹理场景适应性差、难以重建复杂表面形貌等缺陷。此外，现有各类三维成像方案普遍存在一些失效情况，例如面对高度透明或镜面反射物体时表现不佳。

针对上述挑战，清华大学精密仪器系杨原牧副教授团队提出了一种创新性的拓展单目三维（Extended Monocular 3D, EM3D）成像框架。该系统采用一种易于量产的折衍混合透镜，并结合商用分焦面偏振CMOS传感器组成紧凑型单目相机，可一次性快照获取衍射和偏振两种深度线索。通过多阶段融合这两种线索的计算成像算法，实验成功实现了对传统三维成像中难以处理的弱纹理、高复杂度、高反射或近乎透明等场景进行百万像素级别的精确点云采集，且无需依赖先验数据。更重要的是，结合深度与偏振信息还可进一步识别材料属性，从而有望提升机器视觉在目标识别与活体检测等方面的能力。

北京时间6月13日，相关研究成果以“基于衍射与偏振深度线索融合的拓展场景单目三维成像”（Extended monocular 3D imaging via the fusion of diffraction- and polarization-based depth cues）为题，在《光学》（Optica）期刊在线发表。

图1. 基于衍射与偏振深度线索融合的拓展单目三维成像系统框架

EM3D系统的核心架构如图1所示。基于衍射（即点扩散函数工程）的深度线索具有较高的绝对深度精度，且不依赖主动光源；但其缺点是对物体纹理有一定要求，难以捕捉细节。而基于偏振测量物体法线方向的方法则可在无纹理情况下获取表面细节，但其表面法线方向可能存在歧义，同时无法提供绝对深度值。两者优缺点互补明显。EM3D系统中的单目相机集成了调制点扩散函数的衍射光学元件（DOE）与分焦面偏振CMOS传感器，能够实现两种深度线索的同步快照采集，为后续算法融合提供了基础。

图2. 传统易失效场景下的三维成像实验结果（a）弱纹理纸箱（b）高度反光金属罐（c）近乎透明玻璃烧杯（d）复杂面型活体人脸（e）多个复杂物体

图2展示了EM3D系统在多种传统三维成像难点场景中的表现，包括弱纹理纸箱、高反光金属罐、几乎透明的玻璃烧杯、复杂曲面的活体人脸及多个复杂物体组合。结果显示，单独使用衍射或偏振线索得到的三维图像均存在较大误差和粗糙问题，而EM3D融合两种线索后成功获得了精细的百万像素级点云数据，所有场景的绝对深度误差控制在0.2%以内。

图3. 利用材料特性实现物体辨识的实验结果（a）场景示意图（b）-（c）传统成像系统的成像效果（d）-（f）EM3D系统的成像效果

除了生成高质量三维点云之外，EM3D还具备传统二维或偏振成像系统所不具备的物体辨识能力。如图3所示，在机器人需要从桌面三个不同材质物体中选取一个的任务中，传统的彩色、近红外或偏振成像方式均难以区分三者。而EM3D不仅能够提供准确的三维定位信息，还能结合偏振与深度信息提取材料特征，清晰分辨出不同材质的物体。这一集成于单目相机内的多模态成像功能将极大增强受限空间内机器视觉系统的能力。

该系统使用的相机由可大规模生产的DOE与单一折射透镜构成，通过优化多片折衍混合透镜设计，可进一步提升成像质量。增加镜头孔径后，深度测量范围可扩展至百米级别。借助标准镜头模组制造工艺或晶圆级封装技术，相机外形尺寸也可大幅缩小。

本研究由清华大学精密仪器系与精密测试技术与仪器全国重点实验室联合完成。清华大学精密仪器系2021级博士生沈子程与博士后赵峰为论文共同第一作者，杨原牧副教授与赵峰博士为共同通讯作者。博士毕业生倪一博也为本研究作出了重要贡献。项目获得北京市科技计划、国家重点研发计划、国家自然科学基金及博士后面上基金的支持。

以上就是清华大学报道基于衍射与偏振深度线索融合的拓展场景单目三维成像的详细内容，更多请关注php中文网其它相关文章！