Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心
机器之心原创

7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名

今年共评选出 5 篇杰出论文奖以及 11 篇荣誉提名。

ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年举办的是第十二届，于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。

在机器学习社区中，ICLR 是较为「年轻」的顶级学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办，2013 年才刚刚举办第一届。不过 ICLR 很快就获得了学术研究者们的广泛认可，被认为是深度学习的顶级会议。

本届会议共收到了 7262 篇提交论文，接收 2260 篇，整体接收率约为 31%，与去年持平（31.8%）。此外 Spotlights 论文比例为 5%，Oral 论文比例为 1.2%。

图片

图片

相比于往年，无论是参会人数还是论文提交量，ICLR 的热度可以说是有极大的提升。

图片

                                历届 ICLR 论文数据图

在近日公布的获奖论文中，大会评选出了 5 篇杰出论文奖和 11 篇荣誉提名奖。

5 篇杰出论文奖

Outstanding Paper winners

论文：Generalization in diffusion models arises from geometry-adaptive harmonic representations

图片

  • 论文地址：https://openreview.net/pdf?id=ANvmVS2Yr0

  • 机构：纽约大学、法兰西公学院

  • 作者：Zahra Kadkhodaie 、Florentin Guth 、Eero P. Simoncelli 、Stéphane Mallat

本文对图像扩散模型的泛化和记忆方面进行了重要的深入分析。作者通过实证研究了图像生成模型何时从记忆输入切换到泛化模式，并通过几何自适应谐波表示与谐波分析的思想建立联系，从架构归纳偏差的角度进一步解释了这一现象。本文涵盖了我们对视觉生成模型理解中缺失的关键部分，对未来研究启发巨大。

论文：Learning Interactive Real-World Simulators

图片

  • 论文地址：https://openreview.net/forum?id=sFyTZEqmUY

  • 机构：UC 伯克利、 Google DeepMind 、 MIT 、阿尔伯塔大学

  • 作者：Sherry Yang、 Yilun Du 、 Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans、Pieter Abbeel

跨多个来源聚合数据以训练机器人基础模型是一个长期目标。由于不同的机器人具有不同的感知运动接口，这给跨大规模数据集的训练带来了重大挑战。

UniSim，是朝着这个方向迈出的重要一步，也是一项工程壮举，它利用了基于视觉感知和控制的文本描述的统一接口来聚合数据，并通过利用视觉和语言领域的最新发展来训练机器人模拟器。

总结而言，本文探索了通过生成模型学习真实世界交互的通用模拟器 UniSim，迈出了构建通用模拟器的第一步。例如 UniSim 可以通过模拟「打开抽屉」等高级指令和低级指令的视觉结果来模拟人类和智能体如何与世界交互。

本文将大量数据（包括互联网文本 - 图像对，来自导航、人类活动、机器人动作等的丰富数据，以及来自模拟和渲染的数据）结合到一个条件视频生成框架中。然后通过仔细编排沿不同轴的丰富数据，本文表明 UniSim 可以成功地合并不同轴数据的经验并泛化到数据之外，通过对静态场景和对象的细粒度运动控制来实现丰富的交互。

如下图 3 所示，UniSim 能够模拟一系列丰富动作，例如厨房场景中洗手、拿碗、切胡萝卜、擦干手这一系列动作；图 3 右上是按下不同的开关；图 3 下是两个导航场景。

图片

                               对应上图 3 右下的导航场景

图片

                             上图 3 右下的导航场景

论文：Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

图片

  • 论文地址：https://openreview.net/forum?id=PdaPky8MUn

  • 机构：特拉维夫大学、IBM

  • 作者：Ido Amos、Jonathan Berant、Ankit Gupta

这篇论文深入探讨了最近提出的状态空间模型和 transformer 架构对建模长期序列依赖性的能力。

令人惊讶的是，作者发现从头开始训练 transformer 模型会导致其性能被低估，并且通过预训练和微调设置可以实现显著的性能提升。该论文在关注简洁性和系统性见解方面表现极佳。

论文：Protein Discovery with Discrete Walk-Jump Sampling

图片

  • 论文地址：https://openreview.net/forum?id=zMPHKOmQNb

  • 机构：基因泰克、纽约大学

  • 作者：Nathan C. Frey、Dan Berenberg、Karina Zadorozhny、Joseph Kleinhenz、Julien Lafrance-Vanasse、Isidro Hotzel、Yan Wu、Stephen Ra、Richard Bonneau、Kyunghyun Cho、Andreas Loukas、Vladimir Gligorijevic、Saeed Saremi

这篇论文解决了基于序列的抗体设计问题，这是蛋白质序列生成模型的一个及时而重要的应用。

为此，作者引入了一种创新而有效的新建模方法，用来专门针对处理离散蛋白质序列数据的问题。除了在硅中验证该方法外，作者还进行了大量的湿法实验室实验，以测量体外抗体结合亲和力，展示了他们生成方法的有效性。

论文：Vision Transformers Need Registers

图片

  • 论文地址：https://openreview.net/forum?id=2dnO3LLiJ1

  • 机构：Meta 等

  • 作者：Timothée Darcet、Maxime Oquab、Julien Mairal、Piotr Bojanowski

该篇论文识别了 vision transformer 网络的特征图中的人工痕迹，这些痕迹以低信息背景区域中的高范数 tokens 为特征。

作者提出了这种现象发生的关键假设，并提供了一个简单而优雅的解决方案，使用额外的 register tokens 来解决这些痕迹，从而增强了模型在各种任务上的性能。从这项工作中获得的见解还可以影响其他应用领域。

这篇论文行文极佳，为进行研究提供了一个很好的示范：「识别问题，理解其发生的原因，然后提出解决方案。」

11 篇荣誉提名

除了 5 篇杰出论文，ICLR 2024 还评选出了 11 篇荣誉提名奖。

论文：Amortizing intractable inference in large language models

  • 机构：蒙特利尔大学、牛津大学

  • 作者：Edward J Hu、Moksh Jain、Eric Elmoznino、Younesse Kaddar、Guillaume Lajoie、Yoshua Bengio、Nikolay Malkin

  • 论文地址：https://openreview.net/forum?id=Ouj6p4ca60

这篇论文从贝叶斯推理的角度提出了一种在大型语言模型中替代自回归解码的有前景的方法，这可能会激发后续研究。

论文：Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

  • 机构：DeepMind

  • 作者：Ian Gemp、Luke Marris、Georgios Piliouras

  • 论文地址：https://openreview.net/forum?id=cc8h3I3V4E

这是一篇写得非常清晰的论文，对解决开发高效且可扩展的纳什求解器这一重要问题意义重大。

论文：Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

  • 机构：北京大学、北京智源人工智能研究院

  • 作者：张博航 盖景初 杜逸恒 叶启威 贺笛 王立威

  • 论文地址：https://openreview.net/forum?id=HSKaGOi7Ar

GNN 的表达能力是一个重要课题，而当前的解决方案仍然存在很大的局限性。作者提出了一种基于同态计数的新表达理论（expressivity theory）。

论文：Flow Matching on General Geometries

  • 机构：Meta

  • 作者：Ricky T. Q. Chen、Yaron Lipman

  • 论文地址：https://openreview.net/forum?id=g7ohDlTITL

本文探讨了在一般几何流形上进行生成建模这一具有挑战性但又十分重要的问题，并提出了一种实用且高效的算法。本文的呈现非常出色，并在广泛的任务上进行了全面的实验验证。

论文：Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

  • 机构：中佛罗里达大学、 Google DeepMind、阿姆斯特丹大学等

  • 作者：Shashanka Venkataramanan、Mamshad Nayeem Rizve、Joao Carreira、Yuki M Asano、Yannis Avrithis

  • 论文地址：https://openreview.net/forum?id=Yen1lGns2o

本文提出了一种新颖的自监督图像预训练方法，即通过从连续视频中学习。本文既贡献了新类型的数据，也贡献了一种从新数据中学习的方法。

论文：Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

  • 机构：香港城市大学、腾讯 AI 实验室、西安交通大学等

  • 作者：Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、魏颖（Ying Wei）

  • 论文地址：https://openreview.net/forum?id=TpD2aG1h0D

作者提出了一种新的元连续学习方差减少方法。该方法表现良好，不仅具有实际影响，而且还得到了 regret 分析的支持。

论文：Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

  • 机构：伊利诺伊大学厄巴纳 - 香槟分校、微软

  • 作者：Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao

  • 论文地址：https://openreview.net/forum?id=uNrFpDPMyo

本文针对 KV 缓存压缩问题（该问题对基于 Transformer 的 LLM 影响很大），通过一个简单的想法来减少内存，并且无需耗费大量资源进行微调或重新训练即可部署。这种方法非常简单，事实证明它非常有效。

论文：Proving Test Set Contamination in Black-Box Language Models

  • 机构：斯坦福大学、哥伦比亚大学

  • 作者：Yonatan Oren、Nicole Meister、Niladri S. Chatterji、Faisal Ladhak、Tatsunori Hashimoto

  • 论文地址：https://openreview.net/forum?id=KS8mIvetg2

本文使用了一个简单而优雅的方法，用于测试受监督的学习数据集是否已被包含在大型语言模型的训练中。

论文：Robust agents learn causal world models

  • 机构：Google DeepMind

  • 作者：Jonathan Richens、Tom Everitt

  • 论文地址：https://openreview.net/forum?id=pOoKI3ouv1

这篇论文在奠定理论基础方面取得了长足进展，以便理解因果推理在智能体推广到新领域的能力中所起到的作用，对一系列相关领域也产生了影响。

论文：The mechanistic basis of data dependence and abrupt learning in an in-context classification task

  • 机构：普林斯顿大学、哈佛大学等

  • 作者：Gautam Reddy

  • 论文地址：https://openreview.net/forum?id=aN4Jf6Cx69

这是一项及时而极其系统性的研究，探讨了我们在开始理解这些现象的时候，in-context 学习与 in-weight 学习之间的机制。

论文：Towards a statistical theory of data selection under weak supervision

  • 机构：Granica Computing

  • 作者：Germain Kolossov、Andrea Montanari、Pulkit Tandon

  • 论文地址：https://openreview.net/forum?id=HhfcNgQn6p

这篇论文为数据子集选择建立了统计基础，并确定了流行的数据选择方法的缺点。

参考链接：https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/

产业ICLR 2024
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
相关技术
图神经网络支持向量机非完全信息博弈逻辑理论机深度神经网络空间变换网络深度生成模型对抗特征学习随机梯度下降贝尔曼方程策略网络像素递归神经网络模型神经图灵机深度学习感受野强化学习阿尔法围棋增量学习神经算术逻辑单元双Q学习马尔可夫链随机最大似然估计Softmax生成对抗网络机器学习STRIPS 表达式分层强化学习神经网络Alex网络归一化指数函数深度Q学习降噪自编码器语音合成机器阅读(理解)变分自编码器邻里成分分析完美信息博弈深度强化学习卷积神经网络梯度遮蔽Adadelta 优化器深度卷积逆图形网络大规模生成对抗网络零样本学习掩饰的基于区域的卷积神经网络（文本）情感分析逻辑推理
IBM机构

是美国一家跨国科技公司及咨询公司，总部位于纽约州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件，并且为系统架构和网络托管提供咨询服务。截止2013年，IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM虽然是一家商业公司，但在材料、化学、物理等科学领域却也有很高的成就，利用这些学术研究为基础，发明很多产品。比较有名的IBM发明的产品包括硬盘、自动柜员机、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。

https://www.ibm.com/us-en/
相关技术
感知
深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.
范数技术

范数(norm)，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。

来源：CSDN Blog
因果推理技术

基于因果关系的一类推理方法，是一种常见推理模式，涉及观察到的共同效应的原因的概率依赖性。

来源：Intercausal reasoning with uninstantiated ancestor nodes
机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.
感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科
人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.
图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode
生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科
语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科
Anki机构

Anki 公司是由卡内基梅隆机器人研究所（Carnegie Mellon Robotics Institute）的三名毕业生在 2010 年创办的，现已获得了超过 2 亿美元的风险投资。更重要的是，它的产品确确实实吸引到了客户。Anki 目前已经售出了 150 万台机器人，并且他们找到了他们认为是最容易打入家庭市场的道路——玩具。这个明星产品是一个狂躁的小推土机机器人，名为 Cozmo，它可以在桌面上行走，玩简单的游戏，它的顶部装有会亮的立方体。根据一项分析，如果按照收入计算的话，Cozmo 是 2017 年美国、英国和法国的亚马逊网站上最畅销的玩具。 2017 年，Anki 公司就声称收入接近 1 亿美元了，当时 Anki 本可以进入「盈利」状态了，但它却将资金投入了一个 10 到 15 年的计划——一个从 Roomba 到 Rosie 的转变。

http://anki.com/
相关技术
机器人技术
腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。 腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/
相关技术
语音识别
Jianfeng Gao人物

微软研究院人工智能深度学习组合作研究经理、IEEE Fellow，研究兴趣主要为自然语言处理、强化学习等。

来源：Jianfeng Gao
视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。

北京大学机构

北京大学创办于1898年，初名京师大学堂，是中国第一所国立综合性大学，也是当时中国最高教育行政机关。辛亥革命后，于1912年改为现名。2000年4月3日，北京大学与原北京医科大学合并，组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校，创建于1912年10月26日。20世纪三、四十年代，学校一度名为北平大学医学院，并于1946年7月并入北京大学。1952年在全国高校院系调整中，北京大学医学院脱离北京大学，独立为北京医学院。1985年更名为北京医科大学，1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构，为促进医学与人文社会科学及理科的结合，改革医学教育奠定了基础。

官网，http://www.pku.edu.cn/
推荐文章
登录后评论
暂无评论
暂无评论~
返回顶部