编辑 | 绿萝
强化学习可以做的不仅仅是掌握棋盘游戏。当接受训练解决蛋白质科学中长期存在的难题时，还擅长于创造有用的分子。
现在，蛋白质设计大神、华盛顿大学生物化学教授 David Baker 团队，开发了一款基于「自上而下」强化学习的功能强大的新型蛋白质设计软件。
在一项实验中，发现用新方法制造的蛋白质能在小鼠体内产生有用的抗体。这一突破可能很快会帮助科学家设计出更有效的疫苗。更广泛地说，这种方法可能会引领蛋白质设计的新纪元。
研究团队表示，该研究使具有所需系统特性的复杂蛋白质纳米材料的自上而下设计成为可能，并展示了强化学习在蛋白质设计中的力量。
该研究是利用 AI 进行蛋白质科学研究的里程碑。其潜在应用是巨大，从开发更有效的癌症疗法到创造新的可生物降解的纺织品。
该研究以「Top-down design of protein architectures with reinforcement learning」为题，于 2023 年 4 月 20 日发布在《Science》上。
论文链接：https://www.science.org/doi/10.1126/science.adf6591
强化学习是一种机器学习，计算机程序通过尝试不同的动作和接收反馈来学习做出决策。例如，这样的算法可以学习下棋，通过测试数百万种不同的走法来决定棋盘上的胜负。该计划旨在从这些经验中学习，并随着时间的推移变得更好地做出决策。
「自下而上」蛋白质设计思路是利用蛋白质单体首先形成对称的寡聚体，随后再进一步组装形成具有特定结构的蛋白质复合物。然而，AI 只能依据已有的寡聚体元件来搭建最终的蛋白质复合物，并且无法从全局来直接优化整个蛋白质结构的性质。
为此，研究人员试图通过开发一种「自上而下」的方法来克服「自下而上」的蛋白质复合物设计的局限性。该方法从结构的所需特性（整体对称性、孔隙率等）的规范开始，并系统地构建亚基，将这些亚基组合在一起以优化这些特性。其目标是优化整体系统特性。为了实现这种基于最终状态的优化，求助于强化学习。蒙特卡洛树搜索 (MCTS)是一种 RL 算法，可在搜索树中找到最佳选择序列。
图示：自上而下的设计策略和计算管道。（来源：论文）
为了设计用于蛋白质设计的强化学习程序，研究人员在计算机输入了数百万个简单的起始分子。然后，该软件进行了一万次尝试，随机改进每一次，以达到预定义的目标。计算机以特定的方式延长蛋白质或弯曲它们，直到它学会如何将它们扭曲成所需的形状。
「我们的方法是独特的，因为我们使用强化学习来解决创造蛋白质形状的问题，这些形状像拼图一样组合在一起。」该论文的共同一作、华盛顿大学博士生 Isaac D. Lutz 解释道。「使用以前的方法是不可能的，并且有可能改变我们可以构建的分子类型。」
作为这项研究的一部分，科学家们在实验室中制造了数百种 AI 设计的蛋白质。使用电子显微镜和其他仪器，他们证实了计算机创建的许多蛋白质形状确实在实验室中实现了。
「事实证明，这种方法不仅准确，而且可高度定制。例如，我们要求软件制作无孔、小孔或大孔的球形结构。它制造各种结构的潜力尚未得到充分探索，」该论文共同通讯作者、华盛顿大学博士后 Shunzhi Wang说。
该团队专注于设计由许多蛋白质分子组成的新型纳米级结构。这需要设计蛋白质成分本身和允许纳米结构自组装的化学界面。
图示：设计的 capsid与设计模型相匹配的近原子分辨率冷冻电镜结构。（来源：论文）
电子显微镜证实，许多 AI 设计的纳米结构能够在实验室中形成。为了衡量设计软件的准确性，科学家们观察了许多独特的纳米结构，其中每个原子都被发现位于预期的位置。换句话说，预期和实际纳米结构之间的偏差平均小于单个原子的宽度。即实现了原子精确设计。
作者预见到，在未来，这种方法可以使研究人员创造出使用以前的方法无法制造的治疗性蛋白质、疫苗和其他分子。
华盛顿大学干细胞和再生医学医学研究所的研究人员使用血管细胞的原代细胞模型表明，设计的蛋白质支架优于该技术的先前版本。例如，由于帮助细胞接收和解释信号的受体更密集地聚集在更紧凑的支架上，它们在促进血管稳定性方面更有效。
华盛顿大学医学院生物化学教授、该研究的作者之一 Hannele Ruohola-Baker 谈到了这项研究对再生医学的影响：「这项技术越精确，它就越能开辟潜在的应用，包括糖尿病、脑损伤、中风和其他血管有风险的病例的血管治疗。我们还可以设想更精确地传递我们用来将干细胞分化为各种细胞类型的因子，从而为我们提供调节细胞发育和衰老过程的新方法。」
参考内容：https://phys.org/news/2023-04-board-games-protein.html
