讲座时间：2024年3月20日，14:30

讲座地点：南实验楼203会议室

举办单位：统计与数据科学学院

主 讲 人：郑豪 副教授

讲座内容：

2017年12月, Google Brain和Google Research的Vaswani等撰写的具有重要影响的Attention Is All You Need一文发表，标志着Transformer的诞生。当前Transformer已成为大语言模型(LLM)中的核心组成部分，并衍生生出一系列优秀成果, 如ChatGPT等。本次报告简单介绍LLM的发展历史，相关技术比如Transformer、迁移学习、强化学习的相关概念，重点交流 Transformer 中的输入、输出，编码器、解码器，注意力机制，掩码等内容，并通过代码实例帮助理解相应的细节。

主讲人简介：

郑豪，理学博士，毕业于北京交通大学。现任北京物资学院统计与数据科学学院副教授。受国家留学基金委资助作为访问学者到日本东北大学访学一年，并在日本筑波大学、日本长崎工业大学交流学习。主要研究方向组合设计与编码理论，主持完成国家自然科学基金青年基金一项，主持国家自然科学基金面上子课题一项。发表SCI论文8篇，中文论文2篇。

欢迎广大师生前来交流！