编者按：本文内容来自Datawhale《AI第一课》，目标是向普通大众传播AI相关知识。本文是第一稿，太过于偏技术，因此需要重新修改打磨。不过从有编程背景读者的角度看我觉得内容尚可，特记录在此。同时也是便于后面对比最终内容和最初内容的差别，提升自己科普内容创作方面的技巧。

简介

本节主要介绍LLM（Large Language Model，大语言模型）的基础科普。大纲如下：

• 计算机如何识别文字：Token化+词嵌入（Tokenize+Embedding）
• 大模型如何学习（训练）：下个词预测（Next Token Prediction，NTP）
• 大模型如何理解文本：多层多头注意力（Multi-Layer+Multi-Head Self-Attention，MHA）
• 大模型如何处理任务：上下文学习或情境学习（In-Context Learning）
• 大模型如何生成回复：推理（Inference）

本文涉及到上面提到的重要概念时，会以中文表述，括号内的是对应的英文表达。

More →