Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

原子、分子、复合物级性质预测均最佳,清华分子预训练框架登Nature子刊

图片

编辑 | KX

AI 已广泛用于药物发现和材料设计中的分子筛选。当前的自监督分子预训练方法往往忽略了分子的基本化学特性和物理原理。

为了解决这个问题,来自清华大学的研究人员提出了一种称为分数去噪(Fractional denoising,Frad)的分子预训练框架,以学习有效的分子表示。通过这种方式,噪声变得可自定义,允许纳入化学先验,从而大大改善分子分布建模。

实验表明,Frad 始终优于现有方法,在力预测、量子化学特性和结合亲和力任务中,取得最先进的结果。改进的噪声设计提高了力准确性和采样覆盖范围,这有助于创建物理一致的分子表示,最终实现卓越的预测性能。

相关研究以「Pre-training with fractional denoising to enhance molecular property prediction」为题,于 9 月 18 日发布在《Nature Machine Intelligence》上。

图片

论文链接:https://www.nature.com/articles/s42256-024-00900-z

AI 用于分子性质预测的挑战

分子性质预测是药物发现和材料设计等各个领域的一项关键任务。传统方法,包括第一性原理计算和湿实验室实验,需要巨大的成本,从而阻碍了具有所需特性的分子的高通量筛选。科学家认为深度学习方法可以降低成本和大幅加速筛选过程。

深度学习分子性质预测方法面临的主要困难是标记分子数据的稀缺性。为了缓解这一困难,已经提出了各种自监督分子预训练方法来利用未标记分子数据中的内在信息。

不幸的是,直接借用计算机视觉自然语言处理中流行的预训练任务可能不适合分子,因为它们忽略了分子的基本物理原理。

相比之下,在预训练中应用去噪可以解释为等效的力学习,但有限的噪声分布会给分子分布带来偏差。这里的挑战在于有效地模拟全面的分子分布,同时保留力学习的基本物理解释。

Frad:分数去噪的分子预训练框架

鉴于模拟真实分子分布的难度,清华团队选择通过将有关分子分布的化学先验引入噪声设计来更全面地表征分布,由于噪声分布的限制,这在以前的方法中是被禁止的。

因此,研究人员提出了一种称为分数去噪(Frad)的分子预训练框架,证明其具有力学习解释。

具体而言,给定一个平衡分子构象,添加化学感知噪声(CAN)和坐标高斯噪声(CGN)的混合噪声并获得噪声构象。训练模型以从噪声构象中预测 CGN。「分数」(fractional)是指恢复引入的全部噪声的一小部分。特别是,CAN 是可定制的,使 Frad 能够结合化学先验来优化分子分布建模。

受描述分子构象变化的化学先验的启发,研究人员提出了两个版本的 CAN。具体来说,旋转噪声(RN)被用来捕捉单键的旋转,而振动和旋转噪声(VRN)被用来反映各向异性的振动。

Frad 框架的整个流程如下图所示。给定一个平衡分子构象 xeq,添加 CAN 和 CGN 的混合,其中平衡构象是指分子势能面局部最小值处的结构。

然后,训练模型从噪声构象(即 Frad)中预测 CGN,因为它恢复了一部分引入的噪声。具体来说,利用等变图神经网络 (GNN) 从噪声构象中提取特征,然后噪声预测头根据这些特征预测 CGN。

研究使用 TorchMD-NET 作为骨干模型,从 3D 分子输入中获得等变特征。具体来说,理论分析表明,无论 CAN 分布如何,该任务都具有力学习解释,而 CAN 分布会影响力目标和采样分布。因此,精心设计 CAN 以与真实的分子构象分布保持一致,与现有的去噪方法相比,可以实现更精确的力目标和更广泛的采样分布。

在微调过程中,研究人员从预训练权重初始化等变 GNN,随后为每个单独的下游任务量身定制不同的属性预测头。预训练的 GNN 权重以及预测头中的参数在下游标签的监督下继续更新。

图片

图片

图示:Frad 框架概述。(来源:论文)

Frad 提升了性质预测性能

为了评估 Frad 在预测分子性质方面的有效性,进行了一系列具有挑战性的下游任务,包括原子级力预测、分子级量子化学性质预测和蛋白质-配体复合物级结合亲和力预测。

Frad 模型与已建立的基线进行了系统比较,包括预训练方法以及未经预训练的性质预测模型。

原子级力预测

首先,评估了 Frad 在各种分子动力学数据集(即 MD17、ISO17 和 MD22)中预测力的表现。

Frad 在八种分子中的七种上的表现都优于基线。特别是与 Frad 方法具有相同主干的去噪预训练方法,即 3D-EMGP 和 Coord 相比,Frad 的优越性显而易见。这凸显了在去噪中引入化学先验以准确模拟分子分布的必要性。在训练集的大小有限的情况下,Frad 预训练始终能大幅度增强主干模型 TorchMD-NET,表明 Frad 有效地学习了分子的内在原理并具有出色的泛化能力。

对于大训练集设置中的苯,在 Frad 的微调过程中出现了过拟合现象,而这在其他分子中并没有观察到。这可能是由于苯的结构相对固定,导致低维特征容易出现过拟合

ISO17 和 MD22 上的结果如表 1 所示。骨干模型 TorchMD-NET 的性能通过 Frad 预训练不断提高。

图片

分子级量子化学性质预测

为了验证 Frad 是否能在不同性质上取得有竞争力的结果,研究人员在 QM9 数据集中的 12 个任务上评估了 Frad(RN) 和 Frad(VRN)。表 2 总结了 Frad 的结果以及预训练和监督基线。

图片

总体而言,Frad 超越了监督和预训练方法,并在 12 个目标中的 9 个目标上取得了最先进的结果。此外,在 11 个目标上基于骨干模型 TorchMD-NET 取得了显著的改进,表明 Frad 预训练学到的知识对大多数下游任务都有帮助。

此外,在表格下半部分明显优于去噪预训练方法。特别是,Frad 在所有 12 个任务中都达到或超过了使用相同骨干 TorchMD-NET 的 Coord 方法的结果,表明引入的分布化学先验有助于多类性质。还注意到 VRN 和 VN 的性能相当。以此推测,对于 QM9 数据集中对输入构象不太敏感的任务(与力预测任务相比),各向异性振动噪声的建模可能并不重要。

复合物结合亲和力预测

蛋白质-配体结合亲和力 (LBA) 预测旨在预测蛋白质和配体之间的相互作用强度。研究人员在 ATOM3D 数据集中评估了 Frad 在 LBA 任务上的表现。

在 ATOM3D 预处理之后,Frad 从蛋白质中提取结合口袋,并利用口袋-配体复合物结构作为输入来预测结合亲和力值。结果显示在表 3 中。

图片

Frad 击败了针对蛋白质表示量身定制的基于序列和基于结构的基线,表明 Frad 是一种适用于小分子和蛋白质的通用表示学习方法。预训练基线 SE(3)-DDM 不评估训练集和测试集之间涉及 60% 蛋白质序列同一性的分割设置,是一种等变 Coord 方法,可对成对原子距离上的高斯噪声进行去噪。同样,Frad 超越了传统的去噪方法,再次表明了引入化学先验的重要性。

未来工作

未来研究的几个探索方向如下:

  • 首先,增加预训练数据量有可能显著提高整体性能。由于获得精确的分子构象成本高昂,目前使用的预训练数据集仍然比二维和一维分子数据集小得多。将来会有更多 3D 分子数据可用。
  • 其次,目前的重点是使用 3D 输入进行属性预测。通过与其他预训练方法相结合,可以生成一个能够跨数据模态处理分子任务的模型。
  • 最后,如何为典型的分子类别设计 CAN 值得研究,例如核酸、蛋白质和材料,以便 Frad 可以有效地应用于更广泛的领域,并加快药物和材料的发现。

通过这些改进,Frad 有可能成为适用于各种分子任务的强大分子基础模型。从而催化药物发现和材料科学等领域的突破。

理论
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

药物发现技术

在医学,生物技术和药理学领域,药物发现是发现新候选药物的过程。

推荐文章
暂无评论
暂无评论~