LLM中的演绎推理、归纳推理和溯因推理

一篇简单探索少样本上下文学习和指令推理的文章：[2404.03028] An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models。

编者按：本文内容来自Datawhale《AI第一课》，目标是向普通大众传播AI相关知识。本文是第一稿，太过于偏技术，因此需要重新修改打磨。不过从有编程背景读者的角度看我觉得内容尚可，特记录在此。同时也是便于后面对比最终内容和最初内容的差别，提升自己科普内容创作方面的技巧。

简介

本节主要介绍LLM（Large Language Model，大语言模型）的基础科普。大纲如下：

计算机如何识别文字：Token化+词嵌入（Tokenize+Embedding）
大模型如何学习（训练）：下个词预测（Next Token Prediction，NTP）
大模型如何理解文本：多层多头注意力（Multi-Layer+Multi-Head Self-Attention，MHA）
大模型如何处理任务：上下文学习或情境学习（In-Context Learning）
大模型如何生成回复：推理（Inference）

本文涉及到上面提到的重要概念时，会以中文表述，括号内的是对应的英文表达。

Programming Language Environment Cheat Sheet

编程语言环境相关备忘（我只想复制粘贴）。

LLM Tiny Pretrain：H2O-Danube and Stable LM

StableLM 一直致力于小模型（从7B、3B 到 1.6B），不过 License 商用有些限制，H2O-Danube 是 Apache2.0 的小模型（1.8B），整体指标略逊于 StableLM。本文通过这两篇 Paper，记录小模型的预训练。

LLM DataManagement：Weaver

本文记录 Weaver 的数据处理。

Weaver是一个垂直领域（文字创作）的LLM，做的是继续训练，训练上循规蹈矩，没有什么好说的。稍微有一点点特色的是数据这块，对垂直领域可能有一定借鉴意义。

另外有提出一个Constitutional DPO的东西，其实就是利用专家写的规则（原则）合成违反这些规则的负样本。相较而言，遵循这些规则的就是正样本。这其实和数据有点关系，垂直领域往往有不少正样本（比如文字创作领域大家的小说、散文等），但负样本却不好找，所以就违反”好“的规则生成负样本。

LLM DataManagement：Ziya2

高质量的数据对LLM的重要性无需赘述，本文记录Ziya2的数据管理。

LLM Continual Pre-training：Ziya2

LLM的训练策略非常讲究，本文主要记录Ziya2的继续训练策略。

【Rust与AI】LLM模型基本架构

本篇是《Rust与AI》系列的第二篇，上一篇我们主要介绍了本系列的概览和方向，定下了一个基调。本篇我们将介绍LLM的基本架构，我们会以迄今为止使用最广泛的开源模型LLaMA为例展开介绍。

【Rust与AI】概览和方向

本系列主要介绍Rust与AI的那些天作之合（开源项目），我们会以开源项目代码阅读的方式推进，以Rust为主，同时科普AI相关知识，目的是让更多非算法、非Rust的程序员进一步学习Rust和AI相关知识。当然，很显然地，我们也希望Rust程序员和AI算法工程师能从中有所收获。前者可以关注AI算法的设计和优化，后者可以关注Rust如何助力AI算法。

本篇是系列第一篇，主要介绍Rust和AI各自的特点与发展近况，以及它俩的遇见会碰撞出怎样的火花。我们热爱AI，我们喜欢Rust语言，仅此而已。

OpenAIGC大赛小结

很荣幸周末参加了第一届OpenAIGC开发者大赛，并担任大赛评委之一。期间收获良多，感慨万千，特记录如下。

长琴

... →