LLM学习原子「结构语言」，生成未知化合物的晶体结构，登Nature子刊

预测材料特性，首先需要构建其晶体结构。然而，现有的预测方法计算成本高昂，阻碍了材料科学的快速发展。利用高质量的候选结构预测晶体结构，有望突破这一瓶颈。雷丁大学的研究人员开发了一种名为crystallm的多功能晶体结构生成方法，该方法基于自回归大型语言模型 (llm)，并利用晶体学信息文件 (cif) 格式。

CrystaLLM 历经数百万个 CIF 文件训练，能够对晶体结构进行文本建模，并生成各种未在训练数据中出现的无机化合物的晶体结构。此方法颠覆了传统的晶体结构表示方式，展现了LLM在学习有效晶体化学模型方面的潜力，有望加速材料科学的发现和创新。这项研究成果已于2024年12月6日发表在《Nature Communications》期刊上，题为“基于自回归大型语言模型的晶体结构生成”。

在计算机辅助的材料科学发现中，晶体结构预测 (CSP) 至关重要，它旨在根据特定物理条件推导出给定化学成分的基态晶体结构。传统 CSP 方法依赖于计算成本极高的从头算技术，而CrystaLLM通过生成候选结构来优化搜索过程。 随着机器学习技术的进步，诸如自动编码器和生成对抗网络等生成模型已被应用于晶体结构的生成。然而，将LLM应用于晶体结构的文本表示生成仍处于早期探索阶段。

CrystaLLM 的创新之处

CrystaLLM是专门为晶体结构生成而设计的LLM，它直接针对无机晶体结构的文本表示（CIF格式）进行训练，而非依赖于自然语言语料库或化学成分信息。 项目负责人Luis M. Antunes博士解释道，预测晶体结构如同拼凑一个复杂的多维拼图，而CrystaLLM能够高效地完成这项任务。

该方法基于两个假设：首先，符号序列是许多预测任务（包括化学结构相关任务）的有效表示；其次，LLM不仅学习标记的条件概率分布，还可能学习目标现象的因果过程。 CrystaLLM是一个基于Transformer架构的解码器专用语言模型，在数百万个CIF文件上进行自回归训练。

训练过程中，模型学习预测CIF文件中的下一个标记。训练完成后，CrystaLLM可以根据初始标记序列生成新的CIF文件。 测试结果表明，CrystaLLM能够生成逼真的晶体结构，即使对于从未见过的材料也能胜任。

不同于依赖预定义模板的传统方法，CrystaLLM通过自回归训练隐式学习模板，并自动调整晶胞参数，生成新结构。与基于扩散的晶体生成方法相比，CrystaLLM在多个方面表现更优，并具有更高的灵活性。

局限性和未来展望

CrystaLLM目前存在一些局限性，例如无法生成无序结构，以及训练数据集的不一致性可能影响模型的学习效果。 然而，研究人员相信CrystaLLM将成为晶体结构生成的有力工具，并计划将其用于物理性质预测等任务。 CrystaLLM的架构使其具有良好的可扩展性，有望成为通用的材料信息学模型，应用于各种材料科学研究领域。

以上就是LLM学习原子「结构语言」，生成未知化合物的晶体结构，登Nature子刊的详细内容，更多请关注php中文网其它相关文章！