0

0

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

WBOY

WBOY

发布时间:2023-09-11 18:53:07

|

830人浏览过

|

来源于机器之心

转载

近年来,针对视觉感知系统安全性评估的探索逐步深入,先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术,也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。


随着人工智能技术的发展,可见光 - 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中,其中可见光成像可以在白天提供丰富的纹理信息,红外成像则可以在夜间清晰显示目标的热辐射分布,二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此,针对多模态视觉感知系统的统一安全评估方法也亟须研究。

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

然而,实现多模态评估极具挑战性。首先,在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出,在其他模态下很难起到作用。再者,平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易,实现低成本便捷制作与使用更是难上加难。

面对诸多挑战,来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性,创新性地提出 「跨模态通用对抗补丁」,实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片,即拆即用,在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时,兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性,以及多场景下的泛化性。目前,该论文已被 ICCV 2023 接收。
北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

Buildt.ai
Buildt.ai

AI驱动的软件开发平台,可以自动生成代码片段、代码分析及其他自动化任务

下载

论文链接:https://arxiv.org/abs/2307.07859
代码链接:https://github.com/Aries-iai/Cross-modal_Patch_Attack

技术要点

该研究以进化算法为基础框架,立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进,具体流程如图所示:
   
北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

1. 基于样条插值的多锚点形状建模

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了
对于基础形状建模部分,研究人员设计点优化建模新范式,其可通过改变点坐标直接调整补丁形状,此过程中锚点的运动不会受方向、距离等限制,有效增大了补丁形状的搜索空间。在此基础上,为了确保形状自然性,其还利用样条插值方法实现平滑连接,样条会更紧密地跟随控制点。

2. 基于差分进化的边界限定形状优化算法

实现攻击需要有效的优化手段,为此研究人员从时间成本、实际效果等角度考量,以进化算法作为基本框架,并从边界设定、适应度函数两个角度改进:

(1)边界设定:针对锚点进行边界设定提高形变有效性,降低时间成本。其具有以下设定:不会在曲线段内形成循环或自交;在曲线段内不容易出现尖点;不会出现在无效区域。 

以锚点北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了为例,下图蓝色部分为边界设定图例,橙色部分为错误实例:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了
关于锚点图片的边界判定 北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了 数学表达如下所示:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了
(2)适应度函数:不同于前人工作仅针对于单个模态进行攻击评估,本文工作聚焦于可见光 - 红外两个模态,天然存在平衡模态效果差异的问题。因此为了避免走向易优化单一模态极端,研究人员创新性提出了基于检测器置信度得分感知的跨模态适应度函数,鼓励探索成功方向的同时平衡两模态效果差异,最后根据评分优胜劣汰。考虑到初始阶段和后期阶段攻击难度的不同,其使用指数函数代替线性函数,更加突出不同阶段攻击进度的差异性。
北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了
                             
算法迭代该探索过程直至两模态都攻击成功,输出最优形状策略。完整优化流程如下所示:

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

实验结果

实验一:针对不同系列检测器的跨模态攻击性能验证

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

实验二:针对形状的消融实验

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

实验三:针对跨模态适应度函数的消融实验

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

实验四:物理实施偏差下的方法鲁棒性验证

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

实验五:不同物理条件下的方法有效性验证

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了

北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了
不同角度、距离、姿势、场景下的性能验证可视化结果

总结

本文工作以自然形状优化为核心,将形变补丁与跨模态攻击相结合,设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可对多模态(可见光 - 红外)目标检测系统的鲁棒性进行评估,根据评估结果有效修正检测器模型,同时提高可见光、红外两种模态下目标图像检测的准确性,在物理环境下做到真正的可实施、可应用,为多模态检测系统的鲁棒性评估与改进作出贡献。

相关专题

更多
页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

383

2023.08.14

人工智能在生活中的应用
人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容,供大家免费下载体验。

395

2023.08.17

人工智能的基本概念是什么
人工智能的基本概念是什么

人工智能的英文缩写为AI,是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

287

2024.01.09

人工智能不能取代人类的原因是什么
人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

620

2024.09.10

Python 人工智能
Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用,系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例(如房价预测、图像分类、文本情感分析),帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

32

2025.10.21

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1614

2024.08.16

Golang 命令行工具(CLI)开发实战
Golang 命令行工具(CLI)开发实战

本专题系统讲解 Golang 在命令行工具(CLI)开发中的实战应用,内容涵盖参数解析、子命令设计、配置文件读取、日志输出、错误处理、跨平台编译以及常用CLI库(如 Cobra、Viper)的使用方法。通过完整案例,帮助学习者掌握 使用 Go 构建专业级命令行工具与开发辅助程序的能力。

1

2025.12.29

ip地址修改教程大全
ip地址修改教程大全

本专题整合了ip地址修改教程大全,阅读下面的文章自行寻找合适的解决教程。

162

2025.12.26

压缩文件加密教程汇总
压缩文件加密教程汇总

本专题整合了压缩文件加密教程,阅读专题下面的文章了解更多详细教程。

52

2025.12.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Git 教程
Git 教程

共21课时 | 2.3万人学习

Django 教程
Django 教程

共28课时 | 2.5万人学习

MySQL 教程
MySQL 教程

共48课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号