Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

浙大开发DeepSorption:专家知识共学习的晶态多孔材料吸附性能深度学习框架

编辑 | ScienceAI

近日,浙江大学杭州国际科创中心生物与分子智造研究院邢华斌教授团队和陈华钧教授团队瞄准多孔吸附剂材料的精准智造,开发出专家知识共学习的晶态多孔材料吸附性能端对端深度学习框架 DeepSorption,有效提升多孔材料吸附性能的预测精度与速度,并实现了原子尺度的可解释性。

这一成果以《Direct prediction of gas adsorption via spatial atom interaction learning》为题,于 2023 年 11 月 3 日发表在《Nature Communications》上。


论文链接:https://www.nature.com/articles/s41467-023-42863-6

基于多孔材料的物理吸附技术为二氧化碳捕获、能源气体储存、化工分离过程等全球挑战提供了低成本和节能环保的解决方案。然而,基于 trial-and-error 实验范式的传统高性能多孔材料的筛选和设计方式受到实验时间长、试错成本高等问题的阻碍。

机器学习通过学习多孔材料及其物理吸附行为的知识,为快速发现具有所需吸附特性的材料提供了一种有效的方法。传统的基于专家设计的多孔材料描述符的机器学习算法通过最大限度地包含多孔材料的关键结构信息来提高模型预测的准确性。然而,由于该方法存在的原始结构信息丢失和描述符生成和处理过程中计算成本高的固有缺点不可避免地会导致误差的传播,造成模型预测精准度的局限。

端到端的深度学习模型有利于保持完整的原始结构信息,具有实现准确预测的巨大潜力。然而,要直接从多孔材料结构出发实现有效的吸附性能预测,还面临三个艰巨的挑战:(1)完整的原始结构信息的输入和传递;(2)原子尺度的信息交互和计算以及良好可解释性;(3)在纯数据驱动的深度学习模型中存在的数据饥渴问题。


图 1:DeepSorption 深度学习框架的组成部分及多尺度原子注意力机制介绍。

本研究设计并训练了一个内置专家知识共学习模块的空间原子相互作用学习框架 DeepSorption,实现了利用晶态多孔材料的原子坐标和化学元素类型的信息作为输入,结构吸附性能的端对端预测。

该框架的独特架构在于开发的 Matformer 模型,该模型可以高保真地解释多孔材料的整体结构信息,包括原子空间排列和化学元素信息。此外,模型内的多尺度原子注意(MSA)机制实现了对不同尺度原子间相互作用的准确、高效认知,并实现了隐藏在编码层中的潜在原子相互作用的可视化。此外为针对纯数据驱动学习中存在的数据饥渴的弊端,采用了专家知识共同学习(knowledge co-learning, KCL)策略。

结果表明,KCL 可以将专家知识作为预测的辅助任务,促进模型在结构-吸附性能构效关系空间中的收敛,有利于提高吸附性质的预测精度。值得注意的是,专家知识的输出只在模型训练时需要,而不干扰预测过程,保证了快速的预测速度。

DeepSorption 深度学习框架拥有时间效率高、误差传播少以及数据效率高的优点。与巨正则蒙特卡罗分子模拟和其他机器学习模型相比,使用DeepSorption 进行晶态多孔吸附剂的气体吸附曲线预测的精度更高、速度更快。与基于专家信息描述符的机器学习模型和晶体图神经网络 CGCNN 相比,DeepSorption 在多个二氧化碳和氮气的吸附量数据集上预测性能的平均绝对误差下降了 20-35%。


图 2:DeepSorption 在 CoREMOF 和 hMOF 数据集上预测性能和对比。

DeepSorption 通过空间原子相互作用学习网络实现了晶体多孔材料复杂吸附特性的准确、快速预测。得益于多尺度原子注意机制,DeepSorption 能够准确评估原子之间的相互作用,实现物理吸附行为预测,并提供直观的可视化思维和执行轨迹。复杂物理化学性质的准确预测凸显了整体结构意识、原子级空间结构信息与化学元素信息的耦合传递和相互作用的重要性。

DeepSorption 深度学习框架不仅实现晶态多孔材料吸附性能的端对端准确预测,并在原子尺度揭示了决定晶体多孔材料表达功能的内在化学性质,并有望成为预测其他晶体材料(如钙钛矿和晶态催化剂)的各种物理化学和表面性质的一种基准算法工具。

文章的第一作者是浙江大学崔稷宇、清华大学吴方、浙江大学软件学院张文研究员和浙江大学化学工程与生物工程学院杨立峰研究员,浙江大学化学工程与生物工程学院邢华斌教授和浙江大学计算机科学与技术学院陈华钧教授为共同通讯作者。

产业深度学习
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

推荐文章
暂无评论
暂无评论~