2024/08/21 16:01

中科院计算所团队提出CarbonNovo，基于AI进行蛋白质结构和序列的端到端从头设计

编辑 | ScienceAI

作者 | 计算所张海仓团队

近期，中国科学院计算所张海仓带领的研究团队提出了 CarbonNovo，以端到端的方式联合设计蛋白质主链结构和序列。

该研究以「CarbonNovo: Joint Design of Protein Structure and Sequence Using a Unified Energy-based Model」为题发表在机器学习会议 ICML 2024 上。

背景介绍

蛋白质是生物执行功能的重要大分子。蛋白质从头设计旨在创造全新的蛋白质，在药物开发和酶工程中有着广泛的应用。

近几年，基于 AI 的蛋白质从头设计快速发展，已被成功应用于抗体设计、小蛋白药物设计等领域，和传统设计方法相比，其显著提高了设计成功率和效率。

AI 蛋白质设计得益于近几年的两大技术突破：

一是蛋白质结构预测领域的 AlphaFold2 模型，它为蛋白质计算领域包括蛋白质设计领域，提供了基础的神经网络模型架构、蛋白质序列表示和结构表示方法、以及先进的训练策略（蒸馏训练、端到端训练）等技术；

二是 AIGC 在文字、图像、视频生成领域的快速发展，为蛋白质设计提供了成熟的生成模型，例如 DDPM, SDE, Flow Matching，Bayesian Flow Network 等。代表性的蛋白质设计模型，例如 RFDiffusion 和 Chroma 等，主要思路都是将这两大技术融合，将蛋白质的序列和结构表示网络嵌入到基于 AI 的生成模型框架中。

图 1：蛋白质从头设计的「两阶段」框架。(来源，作者)

蛋白质从头设计主要包含两个步骤，蛋白质主链结构设计和序列设计（图1）。相应地，当前的主流模型通常采用「两阶段」框架进行：在训练过程中，结构设计模块和序列设计模块分别训练；在推断过程中，首先生成主链结构，然后为主链结构生成最优序列。代表性地，领域内使用 RFDiffusion 和 ProteinMPNN 这两个软件，依次生成主链结构和序列。

蛋白质从头设计的「两阶段」框架存在固有的局限性：

(1) 序列设计模块面临过拟合风险。序列设计模块是在准确的结晶结构上训练的，而在推断阶段，结构模块生成的结构是包含噪音的，其准确性与晶体结构不一致。

(2) 序列设计模块缺乏与结构设计模块的交互，设计序列无法为结构生成模块提供反馈以进一步优化生成的结构。

CarbonNovo进行端到端的结构和序列联合设计

针对蛋白质设计「两阶段」框架的局限性，中科院计算所张海仓带领的研究团队提出 CarbonNovo，以端到端的方式联合设计蛋白质主链结构和序列。论文近期已于近期发表在机器学习会议 ICML 2024 上。

图 2：CarbonNovo 端到端生成蛋白质结构和序列。（来源：论文）

CarbonNovo 的主要贡献总结如下：

1）设计了基于能量的生成模型，以端到端的方式设计主链结构和序列（图 2）。之前的结构-序列联合设计模型主要针对抗体等特殊的蛋白质家族，CarbonNovo 是第一个针对所有蛋白质家族的结构-序列联合设计模型。

2）基于 network recycling 技术，CarbonNovo 首次将蛋白质语言模型引入蛋白质结构设计任务，以利用海量天然蛋白质序列数据包含的先验信息。

3）CarbonNovo 采用多种技术，以提高结构-序列联合生成模型的训练和推断效率，例如多阶段训练策略和用于序列采样的离散 M-H Langevin 算法。

蛋白质结构-序列的联合能量模型

在经典物理模型下，天然蛋白质构象具有比较低的自由能，这也是蛋白质结构预测和设计的一般假设。基于此，CarbonNovo 建立了蛋白质结构和序列的联合能量模型:

1) 采用SE(3)空间的扩散模型刻画主链结构能量。最近的一些研究，无论是在训练目标还是推理策略方面，都已将扩散模型统一在能量模型（Energy-based model）下。

CarbonNovo也是基于此，将AI模型下的能量和经典物理模型下的能量联系在一起。需要指出的是，主流扩散模型（例如 FrameDiff 和 Genie）只是用IPA (Invariant Point Attention network)作为生成网络。而 CarbonNovo 引入了 AlphaFold2 模型里的三角更新网络，也是该工作的创新之一。

2) 采用 amortized Potts 模型刻画给定主链结构下的序列能量。Potts 模型是经典的能量模型，在蛋白质结构预测领域被用来学习同源序列中的共进化信号。CarbonNovo 利用学习到的结构表示来参数化 Potts 模型，建立给定结构条件的序列能量模型。

图 2 展示了 CarbonNovo 的具体生成过程:

1) 基于扩散模型设计出当前时间步的主链结构。

2) 给定当前的主链结构，基于 Potts 模型设计出可能的序列。

3) 通过 network recycling 机制，将中间序列的语言模型表示回传到结构模块来帮助生成更一致的序列-结构，实现了结构模块、序列模块和预训练语言模型的统一。

CarbonNovo 生成蛋白质结构-序列的性能评测

图 3：CarbonNovo 和「两阶段」设计模型的性能比较。（来源：论文）

论文采用多种指标充分评价了 CarbonNovo 在蛋白质从头设计方面的性能（图 3），例如，可折叠性、多样性、新颖性是领域内常用的评价指标。此外，论文还采用了 Rosetta 能量和语言模型下的似然概率（Sequence plausibility）作为评价指标。

CarbonNovo 和当前主流的「两阶段」设计模型做了比较，例如 RFdiffusion, Chroma, Genie, FrameDiff 和 FrameFlow。在最关键的可折叠性指标上 CarbonNovo 显著超过了所有基线方法，在其他指标上也显著超过基线方法或者和基线方法相当。

为了展示 CarbonNovo 在联合设计序列与结构方面的优势，作者还对比了使用 ProteinMPNN 生成序列的结果（图 3 a-c）。可以观察到，联合设计模型可以设计出更加匹配的蛋白质主链结构和序列。

图 4：在不同蛋白质长度下的性能比较。（来源：论文）

作者进一步评估了 CarbonNovo 在不同长度的蛋白质设计上的性能（图 4）。在设计比较短的蛋白质时（例如长度 100），各个模型的表现相当。而随着蛋白质长度增长，CarbonNovo 的设计性能显著优于「两阶段」设计模型。

消融实验

图 5：消融实验结果。（来源：论文）

作者训练了多个消融模型，以评估关键组件对 CarbonNovo 性能的相对贡献（图 5）。语言模型、序列设计模块和辅助训练损失对 CarbonNovo 的性能都有贡献。其中，语言模型的引入表现出最显著的贡献。此外，使用基于能量的序列设计模块相比自回归模型，也能显著提升序列设计的性能。

Case study：蛋白质结构「插值」

图 5：从 all beta-sheets 结构到 all alpha-helices 结构的渐变。（来源：论文）

在图像生成领域，人脸图片插值/渐变是生成模型比较经典的应用。作者也尝试利用 CarbonNovo 进行蛋白质结构的插值。

图 5 展示了一个代表例子，随着在隐空间逐渐增加 all alpha-helices 结构向量的权重，生成的 all beta-sheets 结构会逐渐过渡到 all alpha-helices 结构。

这是领域内第一个关于蛋白质结构的插值实验，也体现了 CarbonNovo 学习到的蛋白质隐空间比较紧致。

结语

最后作者指出，虽然 CarbonNovo 主要侧重于蛋白质单体设计，但它也可以很容易被扩展到蛋白质复合物设计和条件设计，如多肽设计、抗体设计等。

作者团队目前在跟生物实验团队合作，通过湿实验的方式验证 CarbonNovo 设计的蛋白质。

作者所在 CarbonMatrix 团队，长期致力于 AI 蛋白质设计和 AI 药物设计，正在建立生物大分子结构设计和预测的统一生成模型。

其研究成果多次发表在 ICML、NeurIPS 等顶级机器学习会议和 Nature Machine Intelligence、Nature Communications 等顶级学术期刊上，目前也在和生物实验室合作，积极推动 AI 模型在药物设计领域的产业化落地。

论文链接：https://openreview.net/pdf?id=FSxTEvuFa7

代码链接：https://github.com/zhanghaicang/carbonmatrix_public

产业

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

插值技术

数学的数值分析领域中，内插或称插值（英语：interpolation）是一种通过已知的、离散的数据点，在范围内推求新数据点的过程或方法。求解科学和工程的问题时，通常有许多数据点借由采样、实验等方法获得，这些数据可能代表了有限个数值函数，其中自变量的值。而根据这些数据，我们往往希望得到一个连续的函数（也就是曲线）；或者更密集的离散方程与已知数据互相吻合，这个过程叫做拟合。

来源：维基百科

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中，我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。数据通常包含噪音，错误，例外或不确定性，或者不完整。错误和噪音可能会混淆数据挖掘过程，从而导致错误模式的衍生。去除噪音是数据挖掘（data mining）或知识发现（Knowledge Discovery in Database，KDD）的一个重要步骤。

来源：Han J.; Kamber M.; Pei J. (2011). Data mining: concepts and techniques. Morgan Kaufman.

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

AlphaFold技术

DeepMind 提出的深度神经网络蛋白质形态预测方法。AlphaFold系统，是DeepMind在2017-2018年中一直在研究的项目，它建立在多年以前使用大量基因组数据来预测蛋白质结构的研究基础之上。 AlphaFold产生的蛋白质3D模型比以往任何一种都精确得多，在生物学的核心挑战之一上取得了重大进展。

来源：机器之心 DeepMind博客

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

自回归模型技术

自回归模型，是统计上一种处理时间序列的方法，自回归模型被广泛运用在经济学、资讯学、自然现象的预测上。

来源：维基

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。