近期，上海交通大学计算机科学与工程系跨媒体语言智能实验室与苏州实验室的联合团队首次提出了一种面向化学材料领域的跨模态通用大模型 ChemDFM-X，在多项任务测试中性能表现卓越，相关成果在《中国科学：信息科学》（Science China Information Sciences）上发表。
研究意义
构建跨模态化学材料大模型对于推动化学、材料及相关领域科研具有重要意义。材料科学本质上是一个多模态学科，其研究对象多样，数据形式也迥异，包括文本描述、分子结构、图像及光谱等多种类型。当前大多数人工智能模型主要聚焦于单一任务，输入数据通常限于单一模态，限制了此类模型在实际应用中的灵活性与泛化性。构建能够融合多种模态的大模型将有助于更全面地理解复杂的材料与化学体系，这类多模态大模型不仅能处理来自不同来源的数据，还能有效利用不同模态间的关系信息，从而加深对物质现象的理解。例如，结合分子结构信息与实验数据（如光谱）可更有效的设计实验、构建材料构效关系，甚至揭示传统方法可能忽略的新规律。
研究成果
跨模态化学材料大模型ChemDFM-X是研究团队在前期开源的通用化学材料大模型ChemDFM的基础上研发的，将模型只支持文本、SMILES模态扩展到支持更多的化学材料模态数据和任务类型。经过数百万多模态化学材料数据的对齐与微调，该模型能够理解文本、SMILES以及五种非文本形式的数据：二维分子结构、三维分子构象、分子或反应图片、质谱图和红外光谱图。
图1 ChemDFM-X 所支持的模态和任务
ChemDFM-X采用了独立编码器与统一解码器相结合的设计思路。首先对不同模态的编码器进行预训练，之后将其接入文本大模型中，并通过监督学习更新编码器及投影层的参数。在推理过程中，文本信息与其他模态的信息按照自然语言顺序混合输入到大模型中，由共享的大语言模型解码器负责信息整合与分析，使得同一组参数能够解释多种不同的物质科学数据模态。
图2 ChemDFM-X 模型架构
研究团队在不同任务、不同模态数据上评测了ChemDFM-X的跨模态理解与多任务支持能力。评测结果标明，ChemDFM-X通过有效整合多种模态的信息，大幅提高了大模型的泛化能力与整体性能。例如，ChemDFM-X能够理解并推断分子图和分子构象，在所有测试中表现均达到或超过了开源通用模型的最佳水平，尤其是当同时提供SMILES表示和3D分子构象时，ChemDFM-X的表现尤为优异。
图3 ChemDFM-X 应用示例
研究团队
本工作由上海交通大学计算机系跨媒体语言智能实验室（X-LANCE Lab）团队和苏州实验室团队共同完成，计算机系博士生赵梓涵和苏州实验室博士后陈博为共同第一作者，计算机系俞凯教授、陈露副研究员、苏州实验室陈忻研究员为共同通讯作者。该团队聚焦大模型与科学智能（AI for Science）的交叉研究，开源了首个百亿级参数的化学材料大模型ChemDFM以及完全自主从头训练的混合专家科学大模型SciDFM-MoE，构建了评估大模型科学知识水平和辅助科研能力的评测基准及平台SciEval。该系列工作得到了科技部科技创新2030重大专项、国家自然科学基金、上海市人工智能重大专项、上海交通大学—思必驰联合实验室等项目支持。
俞凯，上海交通大学计算机系特聘教授、博士生导师，国家级高层次人才，思必驰公司联合创始人兼首席科学家。长期从事智能语音及自然语言处理、机器学习及人机交互的研究和产业化工作，发表国际期刊会议论文200余篇，获得权威国际期刊和会议最佳论文奖6次。曾获中国人工智能学会“吴文俊人工智能科学技术奖”，中国计算机学会“青竹奖”，《科学中国人》年度人物等。担任IEEE信号处理学会会议委员会（Conference Board）和成员委员会（Membership Board）双委员（中国大陆首位），IEEE T-ASLP 副主编，InterSpeech等国际会议程序委员会主席，NeurIPS、ACL、EMNLP等国际会议研究领域主席。兼任中国人工智能产业发展联盟学术和知识产权组组长、中国计算机学会语音对话及听觉专委会主任、世界顶尖科学家论坛青年科学家委员会委员、上海市欧美同学会副会长。
陈露，上海交通大学计算机系副研究员、博士生导师。主要研究兴趣包括大语言模型、人机对话系统、科学智能（AI for Science）等。目前已在《中国科学院院刊》、TPAMI、SCIS、NeurIPS、ICML、ACL等国内外重要期刊和会议上发表论文60余篇，研究成果获自然语言处理权威国际会议COLING 2018最佳论文奖提名、NCMMSC 2022最佳论文奖、2020年上海交通大学优博奖、2021年中国计算机学会优博奖提名。其部分研究成果通过产学研合作获得了大规模推广应用，转化专利获得第二十三届中国专利奖。近年来作为技术负责人带领团队研发了DFM（Dialogue Foundation Model）系列大模型，包括联合思必驰公司研发了东风大模型DFM-2，联合苏州实验室研发了化学材料大模型ChemDFM(-X)。
文章下载
Zihan Zhao, Bo Chen, Jingpiao Li, Lu Chen, Liyang Wen, Pengyu Wang, Zichen Zhu, Danyang Zhang, Yansi Li, Zhongyang Dai, Xin Chen & Kai Yu. ChemDFM-X: Towards Large Multimodal Model for Chemistry. Sci China Inf Sci, 2024, 67(12): 220109. (https://arxiv.org/abs/2409.13194)