讲座题目：预训练语言模型研究及应用

讲座时间：11月20日 下午3点

讲座地点：瀚学楼1014

讲座人：北京大学二级教授，博士生导师，张铭 

讲座内容简介：预训练语言模型是目前最具前景的技术之一，被广泛应用于多种自然语言处理和科学智能任务中。本报告介绍北京大学张铭团队的相关工作。在数学方面，团队在EMNLP 2021提出了一个基于预训练语言模型的多任务数学问题求解框架Generate & Rank。通过在生成任务和排序任务上的联合训练，两个模块相互增强，提高了整体推理精度。此外，还提出了多种表达式库构建策略和在线更新策略，来进一步提升排序器的判别性能。该工作被OpenAI 团队的一篇论文中引用三次， 他们认可 Generate & Rank 是提升预训练模型数学推理能力非常有效的方法， 并且在 OpenAI 中也采用了类似的方法。在化学方面，团队在ACL 2023提出了一个分子与文献混合预训练的语言模型。通过将 SMILES 分子式插入文本进行预训练使得模型能同时编码文献知识和分子的结构知识，实现两种模态信息的相互补充，在分子预测与生成任务上都表现突出，发表一年已经被引50多次。我们认为预训练语言模型具有强大的文本理解和生成能力，并且泛化性能很强，在科学智能领域具有广阔的研究前景。