说明：读书笔记（类型为 Feeling）并非原创，内容和图均来自原作，仅用于学习交流。

目录导航

Table of Contents generated with DocToc

• 🚀 前沿与核心 (Frontier & Core)
  • 大模型 (LLM)
    • 【对齐与后训练】
      • 实时学习/在线学习
      • Reward
      • RL
      • GRPO
      • R1
      • 上下文与指令
    • 【预训练与基座】
      • LLM预训练
      • LLM继续训练
      • LLM数据处理相关
      • Hybrid架构
    • 【推理与优化】
      • 算子
      • Rust与AI
    • 【产品与应用】
      • 产品
      • 应用开发
  • 多模态 (LMM)
    • VoiceAgent
    • LMM论文速览
    • LMM论文笔记
• 🧰 基础与筑基 (Foundation & Base)
  • 自然语言处理 (NLP)
    • 基础
    • 思考
    • 语言
    • 设计
    • 图谱
    • 论文笔记
    • SLP笔记
    • 自然语言计算机形式分析的理论与方法
  • 深度学习 (Deep Learning)
  • 机器学习 (Machine Learning)
  • 推荐广告 (Recommendation)
  • 数学 (Math)
  • 数据科学 (Data Science)
• 🛠️ 工程与开发 (Engineering & Develop)
  • 编程 (Coding)
    • 基础环境
    • Rust
    • The Rust Programming Language笔记
    • Python
    • Python 小白快速入门教程
    • C 语言课程笔记
    • 服务基础
  • 算法 (Algorithm)
    • LeetCode
    • 剑指 Offer2（Python 版）解析
    • 数据结构与算法
  • 系统 (Unix)
  • 网络 (Net)
  • 树莓派 (Raspberry Pi)
• 🧠 认知与成长 (Cognition & Growth)
  • 人工智能 (AI)
    • 思考
    • 哲学
    • 商业
    • 科普
  • 个人成长 (Growth)
  • 聆听微光 (Listen Glimmer)
• ✨ 生活与体验 (Life & Experience)
  • 认知心理 (Cognitive Psychology)
  • 经金商管 (EFBM)
  • 育儿 (Baby)
  • 杂文随笔 (Essay)

---

🚀 前沿与核心 (Frontier & Core)

这是我现阶段深耕的核心。这里不仅有[大模型文章原理]，更对应了 GitHub 上的 hcgf、hands-on-llama、lightinfer 等【前沿模型训推实战】开源代码。

大模型 (LLM)

【对齐与后训练】

实时学习/在线学习

• 探寻实时学习新路径：挖掘极致高效的“子空间微调” | 长琴

Reward

• 自我验证：搞数据的风吹到了奖励模型 | 长琴
• 解锁模型潜能：Reward 数据如何塑造与激发 LLM 的推理策略 | Yam
• Reward建模新范式：无验证RL——当模型只能相信自己，会发生什么？ | 长琴
• Reward建模新范式：无验证器RL与Reference的妙用 | 长琴
• Reward Model建模 | Yam

RL

• RL新范式：从经验到更高质量数据——我们不再训练模型，而是在制造数据 | 长琴
• Training-Free RL：当“训练”不再更新参数，而是更新上下文 | 长琴
• MoE RL 训练不稳定性再思考：训推不一致，还是采样噪声？ | 长琴
• 稳定性压倒一切：MoE RL 训推不一致问题及解决策略 | 长琴
• LLM 强化的“炼金术”：主流开源模型的 RL 优化策略赏析 | 长琴
• RL究竟能不能突破Base边界——关于推理能力外推、稳定性与训练条件的系统分析 | 长琴
• VAPO：基于价值方法的新突破 | Yam

GRPO

• DeepSeekV3.2后训练：稳定压倒一切 | 长琴
• Reinforce++与它的KL Loss选择 | Yam
• GRPO“又一背锅侠”：Clip的各种拉扯 | Yam
• GRPO“第一背锅侠”Token Level X2：GTPO双“T”傍地走 | Yam
• GRPO“第一背锅侠”Token Level X：DAPO/DrGRPO与GSPO/GMPO的殊途同归 | Yam
• GiGPO：双层级优势函数驱动的Agent强化学习新范式 | Yam
• GRPO优化在继续——CISPO和熵 | Yam
• 异曲同工之妙的DrGRPO——DAPO几乎同时出现的又一GRPO优化！ | Yam
• DAPO：为GRPO的锦上加四点花 | Yam

R1

• R1后范式最佳实践：Seed-Thinking和Qwen3 | 长琴
• Yarz-Logic：R1-Zero相关实验报告 | Yam
• R1相关：R1-Zero的进一步理解和探索 | Yam
• DeepSeek R1后应用、职业与行业影响——2025年梳理 | Yam
• DeepSeek R1后LLM新范式 | Yam
• DeepSeek R1：新范式、新纪元 | Yam
• R1相关：少量高质量数据SFT激活LLM推理能力 | Yam
• R1相关：RL数据选择与Scaling | Yam
• R1相关：DPO数据选择与DPO等RL算法 | Yam
• LLM、强化、蒸馏讨论 | Yam

上下文与指令

• 重识LLM法则：上下文工程与数据进化 | Yam
• 激活诱导LLM指令跟随 | Yam
• 指令跟随近期工作梳理（2025年上半年） | Yam
• LLM指令跟随论文速览
• ChatGPT Prompt工程：设计、实践与思考
• ChatGPT Prompt 示例

【预训练与基座】

LLM预训练

• 预训练：无处安放的躁动之心 | Yam
• 预训练：NTP和Scaling Law | Yam

LLM继续训练

• Tiny LLM Continual Pre-training：RHO-1 | Yam
• LLM Tiny Pretrain：H2O-Danube and Stable LM | Yam
• LLM Continual Pre-training：Ziya2 | Yam

LLM数据处理相关

• LLM DataManagement：Weaver | Yam
• LLM DataManagement：Ziya2 | Yam
• ChatGPT 标注指南：任务、数据与规范

Hybrid架构

• DLM 漫谈：并行不是重点，模式才是 —— 从 ARM 到 DLM 的 LLM 第二曲线 | 长琴
• Hybrid LLM 之 Gated DeltaNet | 长琴
• Hybrid LLM 之 Gated Attention | 长琴
• 关于gpt-oss那些值得关注的点 | Yam

【推理与优化】

算子

• 从 FlashAttention 到 Streaming Reduction：如何把“全局算子”改写成可分块计算 | 长琴

Rust与AI

• 【Rust与AI】概览和方向 | Yam
• 【Rust与AI】LLM模型基本架构 | Yam

【产品与应用】

产品

• Roleplay AI 观察：从 C.AI 到 Talkie，产品、数据、模型与情感需求 | 长琴

应用开发

• LLM打街霸

• ChatGPT 开发指南：Hugging LLM Hugging Future

• OpenAIGC 大赛小结

多模态 (LMM)

VoiceAgent

• 从Voila看语音端到端发展 | Yam
• 实时语音交互场景下RAG的机遇和挑战 | Yam

LMM论文速览

• OMNI论文速览（2025） | Yam
• OMNI论文速览（2024） | Yam
• SLM论文速览
• 音频Codec论文速览

LMM论文笔记

• 2024 MIO
• 2024 BigCodec
• 2024 TS3-Codec
• 2023 DAC
• 2023 XTTS
• 2021 VITS

---

🧰 基础与筑基 (Foundation & Base)

支撑上层建筑的基础学科与经典理论。这里不仅有大量 NLP/机器学习[总结笔记]，更对应了 GitHub 上的 pnlp、hnlp、巨硬的NumPy 等【底层数据建设】项目。

自然语言处理 (NLP)

基础

• 自然语言处理（NLP）知识地图
• hscspring/All4NLP: All For NLP, especially Chinese.
• 中文分词系列一：思考分词
• 正则表达式笔记
• 《Elasticsearch 权威指南》之基础入门 Note（基于 7.x）
• 浅析文本分类 —— 情感分析与自然语言处理
• TensorBay 指南

思考

• 对NLP预训练模型的思考
• NLP 表征的历史与未来
• 句子表征综述

语言

• 《纳博科夫最喜欢的词》读书笔记与思考

设计

• 2018CCF-GAIR：自然语言如何商业落地摘录及思考
• ChatBot 设计方案

图谱

• 关系提取简述
• 自然语言记忆模块（NLM）

论文笔记

• 2024 LLM中的演绎推理、归纳推理和溯因推理
• 2022 LM Cascades
• 2022 Put Human in NLP Loop
• 2022 DeepGen
• 2022 Global Pointer
• 2022 大脑解码与NLP
• 2022 MarkBERT
• 2022 深度vsBM25排序
• 2022 Impossible Triangle
• 2022 NLM Memorization
• 2022 REINA
• 2022 FLAN
• 2021 W2NER
• 2021 W2NER 代码
• 2021 W2NER 解读
• 2021 ExT5
• 2021 多任务Prompt元学习
• 2021 Prompt综述
• 2021 数据增强综述
• 2021 去偏技术综述
• 2021 在上下文中学习如何学习：MetaICL
• 2021 通过最优转移进行词表学习：VOLT
• 2021 SimCSE 和 R-Drop 在 TextCNN 上的实验
• 2021 R-Drop
• 2021 简单的对比学习框架：SimCSE
• 2021 高效深度学习：让模型更小、更快、更好
• 2021 预训练模型的过去、现在和未来
• 2021 Few-Shot NER and BERT Noisy Learning：ProtoBERT
• 2020 GPT3 和它的 In-Context Learning
• 2020 T5
• 2020 SqueezeBERT
• 2020 深度探索 Bert：BERTology
• 2020 Bert-Flow
• 2020 Funnel Transformer
• 2020 PEGASUS
• 2020 DeBERTa
• 2020 Reformer
• 2019 T5
• 2019 UniLM
• 2019 Sentence-Bert
• 2019 Bart
• 2019 DistilBERT
• 2019 ALBERT
• 2019 GPT2
• 2019 ELECTRA
• 2019 CTRL
• 2019 RoBERTa
• 2019 ERNIE
• 2019 XLNet
• 2019 Bert
• 2018 Attributes External Feature
• 2017 Transformer Code
• 2017 Transformer Paper
• 2016 Node2Vec
• 2016 NER with Bi-LSTM and CRF
• 2015 Bahdanau Attention
• 2015 Luong Attention
• 2004 TextRank Keyword Extraction

SLP笔记

• Regular Expressions, Text Normalization, and Edit Distance Note (SLP Ch02)
• Language Model Note (SLP Ch03)
• Naive Bayes and Sentiment Classification Note (SLP Ch04)
• Logistic Regression Note (SLP Ch05)
• Vector Semantics Note (SLP Ch06)
• Neural Networks and Neural Language Models Note (SLP Ch07)
• Part-of-Speech Tagging Note (SLP Ch08)
• Sequence Processing with Recurrent Networks Note (SLP Ch09)
• Encoder-Decoder Models Attention and Contextual Embedding Note (SLP Ch10)
• Formal Grammars of English Note (SLP Ch12)
• Syntactic Parsing Note (SLP Ch13)
• Statistical Parsing Note (SLP Ch14)
• Information Extraction Note (SLP Ch18)

自然语言计算机形式分析的理论与方法

• 第一章：自然语言处理的学科定位
• 第二章：自然语言研究的先驱
• 第三章：基于短语结构语法的形式模型
• 第四章：基于合一运算的形式模型
• 第五章：基于依存和配价的形式模型
• 第六章：基于格语法的形式模型
• 第七章：基于词汇主义的形式模型
• 第八章：语义自动处理的形式模型
• 第九章：系统功能语法
• 第十章：语用自动处理的形式模型
• 第十一章：概率语法
• 第十二章：Bayes 公式与动态规划算法
• 第十三章：N 元语法和数据平滑
• 第十四章：隐 Markov 模型
• 第十五章：语音自动处理的形式模型
• 自然语言计算机形式分析的理论与方法笔记(Ch16) | Yam
• 第十七章：自然语言处理系统评测
• 第十八章：自然语言处理中的理性主义与经验主义

深度学习 (Deep Learning)

• “心有麟熙”《强化学习炼金术》系列笔记 | Yam
• Gan 原理、证明与实现 | Yam
• NG CNN 笔记 | Yam
• AI 小课堂：Activation Function | Yam

机器学习 (Machine Learning)

• 机器学习概念
• Metrics
• EDA
• 特征工程
• 建模调参
• 模型融合
• Hard-SVM, Soft-SVM 和 KKT
• 核方法 和 SMO

推荐广告 (Recommendation)

• 推荐系统概述
• 协同过滤
• 矩阵分解
• Wide & Deep
• GBTD + LR

数学 (Math)

• 辛普森悖论及其哲学思考 | Yam
• 信息熵与选择：由三门问题想到的 | Yam
• 线性代数的本质笔记 | Yam
• 微积分的本质笔记 | Yam

数据科学 (Data Science)

• 高性能数据处理 | Yam
• List, Dict, Array, Series, DataFrame 相互转换
• Numpy 入门
• Pandas 入门
• 绘制文本分类数据
• QA 小课堂：Introduction | Yam

---

🛠️ 工程与开发 (Engineering & Develop)

将算法变为可用产品，以及日常开发的底层能力。这里不仅有[编程语言和系统级笔记]，更对应了 GitHub 上的 create-vibe-app 脚手架、yoc、toolhub 等【全栈应用产品】。

编程 (Coding)

基础环境

• hscspring/ALL4AI: AI Related Tools/Projects
• Programming Language Environment Cheat Sheet | Yam
• IDE Memo | 长琴

Rust

• Rust str 转 String
• Rust Tutorial
• Rust by Example Brief Note | Yam

The Rust Programming Language笔记

• The Rust Programming Language Brief Note (Vol1-Basic) | 长琴
• The Rust Programming Language Brief Note (Vol2-Manage) | 长琴
• The Rust Programming Language Brief Note (Vol3-Style) | 长琴
• The Rust Programming Language Brief Note (Vol4-Advance) | 长琴
• The Rust Programming Language Brief Note (Vol5-Project) | 长琴

Python

• 两处容易踩的坑：LLM 消息数组与字典工具的隐藏副作用 | 长琴
• 记一次诡异的 FD 泄露：躲在暗处的猴子补丁 | Yam
• Python 编码笔记整理 | Yam
• Jupyter Notebook Cheat Sheet | Yam
• Python 调用 Java
• Python Ellipsis | Yam

Python 小白快速入门教程

• Ch00：在开始前
• Ch01：基础知识
• Ch02：使用模块
• Ch03：使用框架
• Ch04：阅读源码
• Ch05：在结束后

C 语言课程笔记

• 浙大翁恺老师《程序设计入门 ——C 语言》笔记
• 浙大翁恺老师《C 语言程序设计进阶》笔记

服务基础

• GraphQL Glance
• GraphQL Elixir Glance
• 常用 DataBase 相关操作和资源
• DataBase Foreign Data Wrapper

算法 (Algorithm)

LeetCode

• Longest Substring Without Repeating Characters (LeetCode 3)
• Median of Two Sorted Arrays (LeetCode 4)
• Longest Palindromic Substring (LeetCode 5)
• Generate Parentheses (LeetCode 22) | Yam
• Swap Nodes in Paris (LeetCode 24)
• Search in Rotated Sorted Array (LeetCode 33, 81, 153)
• Find First and Last Position of Element in Sorted Array (LeetCode 34)

剑指 Offer2（Python 版）解析

• 剑指 Offer2（Python 版）解析（Ch2）
• 剑指 Offer2（Python 版）解析（Ch3）
• 剑指 Offer2（Python 版）解析（Ch4）
• 剑指 Offer2（Python 版）解析（Ch5）
• 剑指 Offer2（Python 版）解析（Ch6）

数据结构与算法

• 数据结构与算法：前言
• 数据结构与算法：导论
• 数据结构与算法：思考排序
• 数据结构与算法：线性结构
• Sort Based on Multiway Tree

系统 (Unix)

• Ubuntu16.04 安装 VirtualBox & Vagrant 管理 VirtualBox 各种问题总结 | Yam
• AINLP GPU 使用体验指南 | Yam
• Unix Cheat Sheet | Yam
• Docker Memo | Yam
• Git Memo | Yam

网络 (Net)

• 虚拟网络指南 | Yam

树莓派 (Raspberry Pi)

• 机器之脑：树莓派初使用 | Yam
• 机器之眼：树莓派摄像头 | Yam

---

🧠 认知与成长 (Cognition & Growth)

跨学科思维、对行业未来的洞察与生活随笔。这里对应了 GitHub 上的 daily-interview 以及我在知乎/公众号上的【行业反思与随笔】。

人工智能 (AI)

思考

• 从 OpenClaw 再谈 AI Coding：我们还剩下什么 | 长琴
• 通向 AGI 的技术路径：多模态、强化学习与新架构的交汇点——结合近期研究者访谈的一些技术判断与个人思考 | 长琴
• 为了让AI干活儿，我竭尽所能——我的 Vibe Coding 认知升级之路 | 长琴
• 从平面国到硅世界：当文明被困在自己的维度里 | 长琴
• 以 AI Coding 之管窥探世界之变 | 长琴
• 子非我，安知我不知鱼之乐——AI、人类与意识的边界 | 长琴
• 群聊中的AGI拼图：GPT-5发布后关于全模态、推理、世界模型与实时学习的思考 | Yam
• 关于AI前沿的思考 | Yam
• 关于大语言模型的思考
• 分类与 AI
• NLP 与 AI
• 语言、AI、情感

哲学

• 西蒙《人工科学》读书笔记
• 人工智能哲学笔记
• 《与机器人共舞》读后感兼谈 AI 与 IA

商业

• 「+AI」需要什么？ | 长琴
• ChatGPT 影响冲击：职业、行业与产业

科普

• LLM极简科普
• ChatGPT 基础科普：知其一点所以然

个人成长 (Growth)

• AI 工程师养成记（上）
• 一些关于工作的观点（From《华为工作法》）

聆听微光 (Listen Glimmer)

• 聆听·微光 | 长琴
• 【聆听·微光】001：一位研究生在读的”reward hacker“关于学习的困惑 | 长琴
• 【聆听·微光】002：一位普通院校硕士研究生的毕业之际 | 长琴
• 【聆听·微光】003：一位对工作迷茫的程序员的觉醒时刻 | 长琴
• 【聆听·微光】004：一位算法后端开发工程师的AI转型之路 | 长琴
• 【聆听·微光】006：一位传统企业中层管理在AI转型升级中的“蜀道” | 长琴

---

✨ 生活与体验 (Life & Experience)

技术从业者的另一面——读书感悟、生活思考、平凡日子里的点滴记录。

认知心理 (Cognitive Psychology)

• 多贝里《清醒思考的艺术》读书笔记
• 《自私的基因》读书笔记
• 麦肯锡战略化思维》读书笔记

经金商管 (EFBM)

• 由一场供应链讲座引发的思考
• 《基业长青》读书笔记
• 《管人的真理》读书笔记
• 《海底捞你学不会》读书笔记

育儿 (Baby)

• 《真希望父母读过这本书》读书笔记 | Yam

杂文随笔 (Essay)

• 站在 30-40 岁的档口 | 长琴
• 所爱隔山海，山海亦可平 | 长琴
• 60小时备考高架擦边过经验 | Yam
• 我为什么做开源？ | Yam
• 随笔：人生，当有所为有所不为 | Yam
• 随笔：命运 | Yam
• 《舞狮少年》观后 —— 信念、文化与希望 | Yam
• 只如初见的不只爱情 | Yam
• 人生随笔 | Yam
• 基础和取舍 | Yam