Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

快速筛选海量数据,即时做出明智决策,MIT、普林斯顿&卡内基梅隆大学团队利用LLM进行聚变研究

图片

编辑 | X

可控核聚变能具有安全、清洁、燃料丰富等优点,是解决人类未来能源问题的主要选择之一。也许最有前途的核聚变装置是托卡马克(Tokamak)。尽管前景光明,但在人类和经济型托卡马克发电厂之间仍然存在重要的悬而未决的问题。

自核聚变研究开始以来,科学家们已经发表了数千份有关该主题的文件——论文、会议记录,甚至是世界各地聚变反应堆先前实验的书面日志。这样的信息源泉可能需要用一辈子的时间来阅读,甚至需要更长的时间来理解。

然而,在圣地亚哥 DIII-D 国家聚变设施进行的实际聚变实验中,研究人员在两次试验之间只有大约 10 分钟的时间来定位该信息,并利用这些信息来为下一次运行做出调整。

论文共同作者,普林斯顿等离子体物理实验室 Joseph Abbate 博士说:「每次核聚变都在几秒钟内结束,在下一次核聚变之前,你有一个很短的时间窗口来解决任何问题,并做出任何必要的改变。你必须在很短的时间内做出很多决定。」

现在,来自普林斯顿大学、卡内基梅隆大学(CMU)和麻省理工学院 (MIT) 的科学家已经应用大型语言模型(ChatGPT、Bard 和 LLaMA 等工具背后的驱动力)来帮助核聚变研究人员快速筛选数量惊人的数据,以便即时做出更明智的决策。该模型允许用户识别具有相似特征的先前实验,提供有关设备控制系统的信息,并快速返回有关聚变反应堆和等离子体物理学问题的答案。

「令人惊讶的是,核聚变研究是应用大型语言模型来帮助人类的理想方案,」 论文一作、卡内基梅隆大学的博士候选人 Viraj Mehta 说。「一方面,在论文、摘要和海报以及研究人员和操作员在每次聚变试验后写的笔记中,有大量关于聚变的可用文章。另一方面,你需要快速获取这些信息。这是这些模型的亮点所在。」

该研究以「Towards LLMs as Operating Copilots for Fusion Reactors」为题,于 2023 年 12 月 16 日发表在 NeurIPS 2023 AI for Science Workshop 上。

图片

论文链接:https://openreview.net/forum?id=yGVChrbJ4E

研究人员在普林斯顿大学校园举办的研究生主导的黑客马拉松上为他们的项目奠定了基础,在此期间,团队确定了可以对现有语言模型进行的调整,以利用其能力进行聚变研究。这些模型在经过互联网上数万亿个单词的训练后,因其能够生成类似人类文本的能力而迅速成名。

在仅仅几个晚上的协作编码中,该团队通过使用称为检索增强生成的过程增强原始大语言模型,为他们的研究奠定了基础。检索增强生成允许人们使用额外的数据源来补充模型的一般数据集(通常基于特定截止日期之前发布的互联网文本),以提高模型响应的准确性和质量。在这种情况下,研究人员添加了一个信息数据库,其中包括 DIII-D 先前实验的 shot 日志和注释,这些信息在互联网上不公开存在。

「在黑客马拉松上,我们能够从一群人那里获得即时反馈和灵感,保持项目向前发展,使我们能够克服任何障碍,最终为我们的模型奠定坚实的基础,」Abbate 说。

通过增强模型,研究人员收到了对各种提示的有用响应,从如何操作特定设备的信息到建议更改设备参数。此外,他们可以构建问题,要求模型参考生成响应的确切实验或论文,从而提高模型的可信度。

Abbate 说:「这就像房间里有另一个助手一直陪伴在你身边,他了解反应堆中进行的每一次聚变试验,并可以根据过去发生的情况提供建议。」

虽然研究人员在黑客马拉松上为他们的模型奠定了基础,但此后他们改进了他们的研究,以便可以在实际的聚变设施中复制。例如,Abbate 正在与 DIII-D 的操作员合作,探索在该设施中实施该框架的方法,以便在那里进行实验的每个研究小组都可以访问该框架。

该团队还指出,该框架可以应用于不再运行的聚变反应堆,使科学家能够访问信息源,否则这些信息可能会随着反应堆操作员退休或转移到其他设施而被遗忘。合著者、麻省理工学院研究生 Allen Wang 证明,为 DIII-D 开发的相同框架可以适用于 Alcator C-Mod,这是麻省理工学院的一个聚变反应堆,已于 2016 年停止运行。

「有些机器已经关闭了几十年,没有人记得这些实验期间发生了什么,」主要作者、普林斯顿等离子体物理实验室 (PPPL) 的研究物理学家 Egemen Kolemen 说。「但是通过收集所有文本数据并将它们插入语言模型中,我们可能会重新学习一些关键信息,这些信息可以帮助我们解决未来反应堆面临的问题。」

Mehta 充说,该模型对于担任反应堆会议领导者的年轻聚变研究人员来说也可能是一个有价值的工具,他和 Abbate 在研究生生涯中多次担任过这一角色。

他说:「有了这个模型,可以参考现有的每一篇核聚变论文,我们创造了一个工具,让下一代研究人员比以前更容易地获取信息。」

参考内容:https://techxplore.com/news/2023-12-leveraging-language-fusion-energy.html

产业
暂无评论
暂无评论~