7 Papers & Radios | Bengio等用GFlowNets统一生成模型；首个黑箱防御框架

机器之心 & arxiv weekly radiostation

参与：杜伟、楚航、罗若天

目录

整合生成模型与 GFlowNets在遥感中的变换器：一项综述自然语言处理的有效方法：一项综述通过与原型表示交互学习概念的交互式解构基于度量学习的交互式调制用于现实世界超分辨率的 MM-RealSR使用递归门控卷积进行高阶空间交互的 HorNet如何使黑箱机器学习模型更健壮？从零阶优化角度出发ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：整合生成模型与 GFlowNets

作者：Dinghuai Zhang 等 论文地址：https://www.php.cn/link/1fb292ae59ee45f603e48aed2b9b7491 摘要：生成流网络（GFlowNets）是图灵奖得主 Yoshua Bengio 对 AI 领域未来方向提出的想法。灵感来源于信息在时序差分 RL 方法中的传播方式，两者都依赖于 credit assignment 一致性原则，它们只有在训练收敛时才能实现渐近。由于状态空间中的路径数量呈指数级增长，因此实现梯度的精确计算比较困难，因此，这两种方法都依赖于不同组件之间的局部一致性和一个训练目标，即如果所有学习的组件相互之间都是局部一致性的，那么我们就得到了一个系统，该系统可以进行全局估计。

现在，Bengio 及其学生张鼎怀等发表了一篇新论文，简要介绍了现有深度生成模型与 GFlowNet 框架之间的联系，阐明了它们的重叠特征，并通过马尔可夫轨迹学习的视角提供了一个统一的观点，并进一步提供了一种统一训练和推理算法的方法。

推荐：使用 GFlowNets 统一生成模型，Bengio 等人在数页论文中详细阐述。

论文 2：在遥感中的变换器：一项综述

作者：Abdulaziz Amer Aleissaee 等 论文地址：https://www.php.cn/link/87755e2bb813ed0ad03d9801b4e0320d 摘要：这篇综述论文涵盖了 60 多种最近基于变换器的方法，用于解决遥感子领域中不同的遥感问题，包括超高分辨率 (VHR)、高光谱 (HSI) 和合成孔径雷达 (SAR) 图像。

最近遥感成像领域基于变换器的技术概览。 推荐：内容详实，方法全面，对于想要了解该领域的读者来说值得阅读。

论文 3：自然语言处理的有效方法：一项综述

作者：Marcos Treviso 等 论文地址：https://www.php.cn/link/370abbc7e1cbca7ae9e5d71dd316f28f 摘要：这项综述论文涵盖了 NLP 高效方法的发现与实现，旨在指导该领域的新研究人员并激发新方法开发灵感。

高效 NLP 方法汇总。 推荐：本文根据传统的 NLP pipeline 组织了现有文献，并对现有提高效率的方法及其缺点进行了广泛的概述。

论文 4：通过与原型表示交互学习概念的交互式解构

作者：Wolfgang Stammer 等 论文地址：https://www.php.cn/link/9bf9e4342000488a6910bbb1e8ceddf9 摘要：本文旨在通过弱监督和人机互动在原型离散的潜在空间上学习视觉概念。本文提出交互式概念交换网络（interactive Concept Swapping Networks, iCSNs），这是一个通过弱监督和隐性原型表征来学习以概念为基础的表征的新框架。这种以语义为基础的、离散的潜在空间有利于人类理解和人机互动。

交互式概念交换网络。 推荐：通过基于概念解释进行交互，被 CVPR 2022 会议接收。

论文 5：基于度量学习的交互式调制用于现实世界超分辨率的 MM-RealSR

作者：Chong Mou 等 论文地址：https://www.php.cn/link/0ecb6f61668018486c7ae0c73fef41f2 摘要：最近无监督的对比学习在底层视觉领域受到越来越多的关注。这类方法方便了复杂降质特征的提取，这给来自腾讯 ARC Lab 的研究者们提供了一个思路: 是否可以利用对比的方式无监督的构建现实场景下图像超分辨率的可调节交互机制?

这篇工作的核心是利用度量学习在高阶仿真退化中，通过对比不同样本退化强度大小的方式无监督地构建退化强度的度量空间。度量空间中的退化得分不代表真实的退化强度，但可以反映退化强度的相对大小。本篇文章提出的方法（MM-RealSR）通过度量空间中的退化得分来构建现实场景下图像超分辨率的可调节交互机制。文章已被 ECCV 2022 会议接收。

本文提出方案与现有方法的对比。 推荐：可调节的真实场景图像超分辨率, 腾讯 ARC Lab 利用度量学习来解决。

论文 6：使用递归门控卷积进行高阶空间交互的 HorNet

天工大模型

中国首个对标ChatGPT的双千亿级大语言模型

115

查看详情

作者：Yongming Rao 等 论文地址：https://www.php.cn/link/43675d9e95fa6fcff3217c6429c3e4cb 摘要：视觉变换器的最新进展表明，在基于点积自注意力的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，来自清华大学和 Meta AI 的研究者证明了视觉变换器背后的关键成分，即输入自适应、长程和高阶空间交互，也可以通过基于卷积的框架有效实现。作者提出了递归门卷积（

），它用门卷积和递归设计进行高阶空间交互。新操作具有高度灵活性和可定制性，与卷积的各种变体兼容，并将自注意力中的二阶交互扩展到任意阶，而不引入显著的额外计算。

HorNet 基本构建块概览。 推荐：清华 & Meta 提出 HorNet，用递归门控卷积进行高阶空间相互作用。

论文 7：如何使黑箱机器学习模型更健壮？从零阶优化角度出发

作者：Yimeng Zhang 等 论文地址：https://www.php.cn/link/23fd4faa302cb93d315147b1b7e713f1 摘要：这里介绍一篇密歇根州立大学 (Michigan State University) 和 MIT-IBM AI 实验室的一篇关于黑箱防御工作的文章，本文被 ICLR 2022 接收为 spotlight paper， 代码和模型均已开源。

ZO-AE-DS 的模型架构。 推荐：MSU 联合 MIT-IBM 提出首个黑箱防御框架。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 篇论文的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. 关于预训练与随机初始化在资源丰富的机器翻译中的互补性。 (来自 Dacheng Tao)
2. 通过关系路径的混合语义来利用多跳知识图上的问题回答。 (来自 Tong Zhang)
3. 规模化生成常识问题回答的阐述生成。 (来自 Noah A. Smith)
4. 使用一阶逻辑进行自然语言推理的 FOLIO。 (来自 Dragomir Radev)
5. 改进数学词问题解决中的组合泛化。 (来自 Jing Jiang, Ee-Peng Lim)
6. 通过多语言微调和回译实现多语言双向无监督翻译。 (来自 Chris Callison-Burch)
7. 实体对齐的多模态对比表示学习。 (来自 Meng Wang)
8. 使用开关记忆进行跨时代的序列分割：That Slepen Al the Nyght with Open Ye! (来自 Jun Wang)
9. 调查自然语言推理中的分歧原因。 (来自 Marie-Catherine de Marneffe)
10. 关于紧凑型生物医学变换器的有效性。 (来自 David A. Clifton)

本周 10 篇 CV 精选论文是：

1. 通过种族透镜研究 GAN 中的偏见。 (来自 Trevor Darrell, Alexei A. Efros)
2. 自监督视觉变换器中的先验知识引导注意力。 (来自 Kurt Keutzer, Trevor Darrell)
3. 不是所有实例的贡献都相同：针对少样本视觉识别的实例自适应类别表示学习。 (来自 Dacheng Tao)
4. 通过量化反向探测测量无监督表示的可解释性。 (来自 Andrea Vedaldi)
5. 神经特征融合场：自监督 2D 图像表示的 3D 蒸馏。 (来自 Andrea Vedaldi)
6. 改进唇读的训练策略。 (来自 Maja Pantic)
7. GAN 引发的属性操作是否会影响面部识别？ (来自 Arun Ross)
8. 面部去变形：从单一形态中提取组成面部。 (来自 Arun Ross)
9. 使用学习到的几何先验进行 3D 纹理形状恢复。 (来自 Marc Pollefeys)
10. 使用多反射激光雷达返回检测和映射镜面表面。 (来自 Ramesh Raskar)

本周 10 篇 ML 精选论文是：

1. 自监督多模态神经影像产生阿尔茨海默病表型光谱的预测表示。 (来自 Vince D. Calhoun)
2. 关于随机长度情节性 MDP 的 Monte Carlo UCB 的收敛性。 (来自 Keith Ross)
3. 双光谱神经网络。 (来自 Bruno Olshausen)
4. 带有折扣 UCB 的 MaxWeight：针对未知统计数据的非平稳多服务器系统的可证明稳定调度策略。 (来自 R. Srikant)
5. 学习微分算子进行可解释的时间序列建模。 (来自 Yang Liu)
6. 基于图核信息最大化的电子健康记录的自监督表示学习。 (来自 Der-Chen Chang, Ophir Frieder)
7. W-变换器：基于小波的变换器框架用于单变量时间序列预测。 (来自 Abdenour Hadid)
8. 递归卷积神经网络学习简洁的学习算法。 (来自 Sham Kakade)
9. 重新审视对抗训练中的外部优化。 (来自 Nasser M. Nasrabadi)
10. 当生物过程工程遇上机器学习：从自动化生物过程开发的角度进行的综述。 (来自 Lars Schmidt-Thieme)

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

以上就是7 Papers & Radios | Bengio等用GFlowNets统一生成模型；首个黑箱防御框架的详细内容，更多请关注php中文网其它相关文章！