大规模语言模型

《大规模语言模型：从理论到实践》详细介绍了构建大语言模型的四个主要阶段：预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。 《大规模语言模型：从理论到实践》以大语言模型的基础理论开篇，探讨了大语言模型预训练数据的构建方法，以及大语言模型如何理解并服从人类指令，介绍了大语言模型的应用和评估方法，为读者提供了更全面的视野。 《大规模语言模型：从理论到实践》旨在为对大语言模型感兴趣的读者提供入门指南，也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。 张奇 复旦大学计算机科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索。兼任中国中文信息学会理事，中国中文信息学会信息检索专委会常务委员，中国人工智能学会青年工作委员会常务委员。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际、国内会议的程序委员会主席、领域主席、讲习班主席等。承担国家重点研发计划课题、国家自然科学基金、上海市科委等多个项目，在国际重要学术刊物和会议上发表论文150余篇，获得美国授权专利4项。获得WSDM 2014最佳论文提名奖、COLING 2018领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步...