「两全其美」，从头设计分子，深度学习架构S4用于化学语言建模

编辑 | KX

生成式深度学习正在重塑药物设计。化学语言模型 (CLM) 以分子串的形式生成分子，对这一过程尤为重要。

近日，来自荷兰埃因霍芬理工大学（Eindhoven University of Technology）的研究人员将一种最新的深度学习架构（S4）引入到从头药物设计中。

结构化状态空间序列（Structured State Space Sequence，S4）模型在学习序列的全局属性方面表现卓越，那么 S4 能否推进从头设计的化学语言建模？

为了给出答案，研究人员系统地在一系列药物发现任务上对 S4 与最先进的 CLM 进行了基准测试，例如生物活性化合物的鉴定以及类药物分子和天然产物的设计。S4 在学习复杂分子特性的同时，还具有探索多种支架的优越能力。

最后，当前瞻性地应用于激酶抑制时，S4 设计的 10 个分子中有 8 个被分子动力学模拟预测为高活性。

总而言之，S4 在化学语言建模中极具潜力，尤其是在捕捉生物活性和复杂分子性质方面。这是首次将状态空间模型应用于分子任务。

相关研究以「Chemical language modeling with structured state space sequence models」为题，于 7 月 22 日发布在《Nature Communications》上。

论文链接：https://www.nature.com/articles/s41467-024-50469-9

从头开始设计具有所需特性的分子是一个「大海捞针」的问题。化学宇宙包含多达 10^60 个小分子，在相当大的程度上仍处于未知状态。

生成式深度学习无需手工设计规则即可生产所需的分子，从而以省时、低成本的方式探索化学宇宙。特别是，CLM 已经产生了经过实验验证的生物活性设计，并作为强大的分子发生器脱颖而出。

CLM 采用为序列处理开发的算法来学习「化学语言」，即如何生成化学有效（语法）并具有所需特性（语义）的分子。这是通过将分子结构表示为字符串符号来实现的，例如简化分子输入行输入系统 (SMILES) 等。然后，这些分子字符串用于模型训练，并随后以文本形式生成分子。

图示：化学语言建模的结构化状态空间序列（S4）模型的关键概念。（来源：论文）

几种用于从头设计的 CLM 架构，其中最受欢迎的是长短期记忆 (LSTM) 模型和 Transformer 架构。

结构化状态空间序列模型 (S4) 是状态空间架构家族中快速发展的新成员，其在深度学习社区中越来越受到关注。S4 在音频、图像和文本生成中表现出色，并且具有「双重性质」：它们 (1) 在整个输入序列上进行训练以学习复杂的全局属性，(2) 一次生成一个字符串元素，从而结合了 Transformer 和 LSTM 各自的一些优势。受这种「两全其美」的启发，研究人员在此提出以下问题：S4 能否推动化学语言建模的最新发展？

在该研究中，研究人员将 S4 应用于 SMILES 字符串上的化学语言建模，并针对与药物设计相关的各种任务对其进行基准测试，从学习生物活性到化学空间探索和天然产物设计。

类药物分子和天然产物设计

研究人员在一系列药物发现任务上对 S4 与最先进的 CLM 进行了基准测试，例如类药物分子和天然产物的设计。

首先，对 S4 进行了分析，以了解其设计从 ChEMBL 数据库中提取的类药物小分子（SMILES 长度低于 100 个 tokens）的能力。

所有 CLM 均生成了超过 91% 的有效分子、91% 的独特分子和 81% 的新分子。S4 通过生成比基准更多的新分子（大约 4000 到 12,000 多个）来设计最有效、最独特和最新颖的分子，并显示出良好的学习 SMILES 字符串「化学语法」的能力。与现有的从头设计方法相比，S4 的潜力在 MOSES 基准上得到了进一步证实，其中 S4 始终位列表现最好的深度学习方法之列。

S4 还针对比类药物分子更具挑战性的分子实体进行了进一步测试。为此，研究人员评估了其设计天然产物 (NPs) 的能力。与合成小分子相比，NPs 往往具有更复杂的分子结构和环系统，以及更大比例的 sp3 杂化碳原子和手性中心。这些特征对应于平均更长的 SMILES 序列，具有更多的长程依赖性，并使天然产物成为 CLM 的具有挑战性的测试用例。

所有 CLM 都可以设计天然产物，但与类药物分子相比，其性能较低。S4 设计的有效分子数量最多，比 S4 多出约 6000 到 12,000 个分子（好 7-13%），而 LSTM 的新颖性最高，比 S4 多出约 2000 个分子（2%）。

最后，还分析了增加 SMILES 长度时 CLM 架构的训练和生成速度，以测试它们在设计更大分子（如天然产物）时的实际适用性。分析强调，由于其双重性，S4 在训练过程中与 GPT 一样快（两者都比 LSTM 快约 1.3 倍），并且在生成方面最快。这进一步主张引入 S4 作为分子设计的有效方法，与 GPT 和 LSTM 相比，「兼具两全其美」。

前瞻性从头设计

研究人员使用 S4 进行了一项前瞻性计算机模拟研究，重点是设计丝裂原活化蛋白激酶 1 (MAPK1) 的抑制剂，这是肿瘤治疗的相关靶点。然后通过分子动力学 (MD) 评估设计的假定生物活性。

图示：使用 S4 进行假定 MAPK1 抑制剂的前瞻性从头设计。（来源：论文）

S4 模型经过微调，然后使用微调模型的最后五个 epochs 生成 256K 个分子。通过对数似然得分和与训练集的支架相似性对设计进行排序和筛选，10 个得分最高的分子使用 MD 模拟进行进一步表征。

通过 MD 预测，10 个设计中有 8 个对预期目标具有生物活性，并且预测亲和力与最接近的微调分子相当或更高，这些结果进一步证实了 S4 用于从头药物设计的潜力。

分子 S4 的机会

总之，本研究率先将状态空间模型引入化学语言建模，重点关注结构化状态空间 (S4)。S4 独特的双重性质，包括训练中的卷积和循环生成，使其特别适合从 SMILES 字符串开始的从头设计。

研究人员在各种药物发现任务上与 GPT 和 LSTM 进行了系统比较，揭示了 S4 的优势：虽然循环生成 (LSTM 和 S4) 在学习化学语法和探索各种支架方面更胜一筹，但对整个 SMILES 序列进行整体学习 (GPT 和 S4) 在捕捉某些复杂特性（如生物活性）方面表现出色。

S4 具有双重性质，「兼具两全其美」：它在设计有效且多样化的分子方面与 LSTM 表现相当或更好，并且在捕捉复杂分子性质方面系统性地优于基准，同时保持计算效率。

S4 在 MAPK1 抑制中的应用已通过 MD 模拟得到验证，这进一步展示了其设计强效生物活性分子的潜力。未来，研究人员将前瞻性地将 S4 与湿实验室实验相结合，以增强其在该领域的影响。

S4 在分子科学领域还有许多方面有待探索，例如其在更长序列（例如大环肽和蛋白质序列）和其他分子任务（例如有机反应规划和基于结构的药物设计中的潜力。

未来，S4 在分子发现中的应用将不断增加，并有可能取代 LSTM 和 GPT 等广泛应用的化学语言模型。

理论语言模型药物研发分子科学化学AI

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。