说明：读书笔记（类型为 Feeling）并非原创，内容和图均来自原作，仅用于学习交流。
目录导航
- 🚀 前沿与核心 — 大模型 / 多模态
- 🧰 基础与筑基 — NLP / DL / ML / 推荐 / 数学 / 数据科学
- 🛠️ 工程与开发 — 编程 / 算法 / 系统 / 网络 / 树莓派
- 🧠 认知与成长 — AI 思考 / 个人成长 / 聆听微光
- ✨ 生活与体验 — 认知心理 / 经金商管 / 育儿 / 随笔
🚀 前沿与核心 (Frontier & Core)
这是我现阶段深耕的核心。这里不仅有[大模型文章原理]，更对应了 GitHub 上的
hcgf、hands-on-llama、lightinfer等【前沿模型训推实战】开源代码。
大模型 (LLM)
【对齐与后训练】
实时学习/在线学习
Reward
- 自我验证：搞数据的风吹到了奖励模型 | 长琴
- 解锁模型潜能：Reward 数据如何塑造与激发 LLM 的推理策略 | Yam
- Reward建模新范式：无验证RL——当模型只能相信自己，会发生什么？ | 长琴
- Reward建模新范式：无验证器RL与Reference的妙用 | 长琴
- Reward Model建模 | Yam
RL
- RL新范式：从经验到更高质量数据——我们不再训练模型，而是在制造数据 | 长琴
- Training-Free RL：当“训练”不再更新参数，而是更新上下文 | 长琴
- MoE RL 训练不稳定性再思考：训推不一致，还是采样噪声？ | 长琴
- 稳定性压倒一切：MoE RL 训推不一致问题及解决策略 | 长琴
- LLM 强化的“炼金术”：主流开源模型的 RL 优化策略赏析 | 长琴
- RL究竟能不能突破Base边界——关于推理能力外推、稳定性与训练条件的系统分析 | 长琴
- VAPO：基于价值方法的新突破 | Yam
GRPO
- COPO：基于认知模式的 Step-Level RL 优化 | 长琴
- DeepSeekV3.2后训练：稳定压倒一切 | 长琴
- Reinforce++与它的KL Loss选择 | Yam
- GRPO“又一背锅侠”：Clip的各种拉扯 | Yam
- GRPO“第一背锅侠”Token Level X2：GTPO双“T”傍地走 | Yam
- GRPO“第一背锅侠”Token Level X：DAPO/DrGRPO与GSPO/GMPO的殊途同归 | Yam
- GiGPO：双层级优势函数驱动的Agent强化学习新范式 | Yam
- GRPO优化在继续——CISPO和熵 | Yam
- 异曲同工之妙的DrGRPO——DAPO几乎同时出现的又一GRPO优化！ | Yam
- DAPO：为GRPO的锦上加四点花 | Yam
R1
- R1后范式最佳实践：Seed-Thinking和Qwen3 | 长琴
- Yarz-Logic：R1-Zero相关实验报告 | Yam
- R1相关：R1-Zero的进一步理解和探索 | Yam
- DeepSeek R1后应用、职业与行业影响——2025年梳理 | Yam
- DeepSeek R1后LLM新范式 | Yam
- DeepSeek R1：新范式、新纪元 | Yam
- R1相关：少量高质量数据SFT激活LLM推理能力 | Yam
- R1相关：RL数据选择与Scaling | Yam
- R1相关：DPO数据选择与DPO等RL算法 | Yam
- LLM、强化、蒸馏讨论 | Yam
上下文与指令
- 重识LLM法则：上下文工程与数据进化 | Yam
- 激活诱导LLM指令跟随 | Yam
- 指令跟随近期工作梳理（2025年上半年） | Yam
- LLM指令跟随论文速览
- ChatGPT Prompt工程：设计、实践与思考
- ChatGPT Prompt 示例
【预训练与基座】
LLM预训练
LLM继续训练
- Tiny LLM Continual Pre-training：RHO-1 | Yam
- LLM Tiny Pretrain：H2O-Danube and Stable LM | Yam
- LLM Continual Pre-training：Ziya2 | Yam
LLM数据处理相关
Hybrid架构
- LLM 的下一步：从“会答”到“会想”——Planning as Data 与思考范式重构 | 长琴
- DLM 漫谈：并行不是重点，模式才是 —— 从 ARM 到 DLM 的 LLM 第二曲线 | 长琴
- Hybrid LLM 之 Gated DeltaNet | 长琴
- Hybrid LLM 之 Gated Attention | 长琴
- 关于gpt-oss那些值得关注的点 | Yam
【推理与优化】
算子
Rust与AI
【产品与应用】
产品
应用开发
多模态 (LMM)
VoiceAgent
LMM论文速览
LMM论文笔记
🧰 基础与筑基 (Foundation & Base)
支撑上层建筑的基础学科与经典理论。这里不仅有大量 NLP/机器学习[总结笔记]，更对应了 GitHub 上的
pnlp、hnlp、巨硬的NumPy等【底层数据建设】项目。
自然语言处理 (NLP)
基础
- 自然语言处理（NLP）知识地图
- hscspring/All4NLP: All For NLP, especially Chinese.
- 中文分词系列一：思考分词
- 正则表达式笔记
- 《Elasticsearch 权威指南》之基础入门 Note（基于 7.x）
- 浅析文本分类 —— 情感分析与自然语言处理
- TensorBay 指南
思考
语言
设计
图谱
论文笔记
- 2024 LLM中的演绎推理、归纳推理和溯因推理
- 2022 LM Cascades
- 2022 Put Human in NLP Loop
- 2022 DeepGen
- 2022 Global Pointer
- 2022 大脑解码与NLP
- 2022 MarkBERT
- 2022 深度vsBM25排序
- 2022 Impossible Triangle
- 2022 NLM Memorization
- 2022 REINA
- 2022 FLAN
- 2021 W2NER
- 2021 W2NER 代码
- 2021 W2NER 解读
- 2021 ExT5
- 2021 多任务Prompt元学习
- 2021 Prompt综述
- 2021 数据增强综述
- 2021 去偏技术综述
- 2021 在上下文中学习如何学习：MetaICL
- 2021 通过最优转移进行词表学习：VOLT
- 2021 SimCSE 和 R-Drop 在 TextCNN 上的实验
- 2021 R-Drop
- 2021 简单的对比学习框架：SimCSE
- 2021 高效深度学习：让模型更小、更快、更好
- 2021 预训练模型的过去、现在和未来
- 2021 Few-Shot NER and BERT Noisy Learning：ProtoBERT
- 2020 GPT3 和它的 In-Context Learning
- 2020 T5
- 2020 SqueezeBERT
- 2020 深度探索 Bert：BERTology
- 2020 Bert-Flow
- 2020 Funnel Transformer
- 2020 PEGASUS
- 2020 DeBERTa
- 2020 Reformer
- 2019 T5
- 2019 UniLM
- 2019 Sentence-Bert
- 2019 Bart
- 2019 DistilBERT
- 2019 ALBERT
- 2019 GPT2
- 2019 ELECTRA
- 2019 CTRL
- 2019 RoBERTa
- 2019 ERNIE
- 2019 XLNet
- 2019 Bert
- 2018 Attributes External Feature
- 2017 Transformer Code
- 2017 Transformer Paper
- 2016 Node2Vec
- 2016 NER with Bi-LSTM and CRF
- 2015 Bahdanau Attention
- 2015 Luong Attention
- 2004 TextRank Keyword Extraction
SLP笔记
- Regular Expressions, Text Normalization, and Edit Distance Note (SLP Ch02)
- Language Model Note (SLP Ch03)
- Naive Bayes and Sentiment Classification Note (SLP Ch04)
- Logistic Regression Note (SLP Ch05)
- Vector Semantics Note (SLP Ch06)
- Neural Networks and Neural Language Models Note (SLP Ch07)
- Part-of-Speech Tagging Note (SLP Ch08)
- Sequence Processing with Recurrent Networks Note (SLP Ch09)
- Encoder-Decoder Models Attention and Contextual Embedding Note (SLP Ch10)
- Formal Grammars of English Note (SLP Ch12)
- Syntactic Parsing Note (SLP Ch13)
- Statistical Parsing Note (SLP Ch14)
- Information Extraction Note (SLP Ch18)
自然语言计算机形式分析的理论与方法
- 第一章：自然语言处理的学科定位
- 第二章：自然语言研究的先驱
- 第三章：基于短语结构语法的形式模型
- 第四章：基于合一运算的形式模型
- 第五章：基于依存和配价的形式模型
- 第六章：基于格语法的形式模型
- 第七章：基于词汇主义的形式模型
- 第八章：语义自动处理的形式模型
- 第九章：系统功能语法
- 第十章：语用自动处理的形式模型
- 第十一章：概率语法
- 第十二章：Bayes 公式与动态规划算法
- 第十三章：N 元语法和数据平滑
- 第十四章：隐 Markov 模型
- 第十五章：语音自动处理的形式模型
- 自然语言计算机形式分析的理论与方法笔记(Ch16) | Yam
- 第十七章：自然语言处理系统评测
- 第十八章：自然语言处理中的理性主义与经验主义
深度学习 (Deep Learning)
机器学习 (Machine Learning)
推荐广告 (Recommendation)
数学 (Math)
数据科学 (Data Science)
- 高性能数据处理 | Yam
- List, Dict, Array, Series, DataFrame 相互转换
- Numpy 入门
- Pandas 入门
- 绘制文本分类数据
- QA 小课堂：Introduction | Yam
🛠️ 工程与开发 (Engineering & Develop)
将算法变为可用产品，以及日常开发的底层能力。这里不仅有[编程语言和系统级笔记]，更对应了 GitHub 上的
create-vibe-app脚手架、yoc、toolhub等【全栈应用产品】。
编程 (Coding)
基础环境
- hscspring/ALL4AI: AI Related Tools/Projects
- Programming Language Environment Cheat Sheet | Yam
- IDE Memo | 长琴
Rust
The Rust Programming Language笔记
- The Rust Programming Language Brief Note (Vol1-Basic) | 长琴
- The Rust Programming Language Brief Note (Vol2-Manage) | 长琴
- The Rust Programming Language Brief Note (Vol3-Style) | 长琴
- The Rust Programming Language Brief Note (Vol4-Advance) | 长琴
- The Rust Programming Language Brief Note (Vol5-Project) | 长琴
Python
- 两处容易踩的坑：LLM 消息数组与字典工具的隐藏副作用 | 长琴
- 记一次诡异的 FD 泄露：躲在暗处的猴子补丁 | Yam
- Python 编码笔记整理 | Yam
- Jupyter Notebook Cheat Sheet | Yam
- Python 调用 Java
- Python Ellipsis | Yam
Python 小白快速入门教程
C 语言课程笔记
服务基础
算法 (Algorithm)
LeetCode
- Longest Substring Without Repeating Characters (LeetCode 3)
- Median of Two Sorted Arrays (LeetCode 4)
- Longest Palindromic Substring (LeetCode 5)
- Generate Parentheses (LeetCode 22) | Yam
- Swap Nodes in Paris (LeetCode 24)
- Search in Rotated Sorted Array (LeetCode 33, 81, 153)
- Find First and Last Position of Element in Sorted Array (LeetCode 34)
剑指 Offer2（Python 版）解析
- 剑指 Offer2（Python 版）解析（Ch2）
- 剑指 Offer2（Python 版）解析（Ch3）
- 剑指 Offer2（Python 版）解析（Ch4）
- 剑指 Offer2（Python 版）解析（Ch5）
- 剑指 Offer2（Python 版）解析（Ch6）
数据结构与算法
系统 (Unix)
- Ubuntu16.04 安装 VirtualBox & Vagrant 管理 VirtualBox 各种问题总结 | Yam
- AINLP GPU 使用体验指南 | Yam
- Unix Cheat Sheet | Yam
- Docker Memo | Yam
- Git Memo | Yam
网络 (Net)
树莓派 (Raspberry Pi)
🧠 认知与成长 (Cognition & Growth)
跨学科思维、对行业未来的洞察与生活随笔。这里对应了 GitHub 上的
daily-interview以及我在知乎/公众号上的【行业反思与随笔】。
人工智能 (AI)
思考
- 从 OpenClaw 再谈 AI Coding：我们还剩下什么 | 长琴
- 通向 AGI 的技术路径：多模态、强化学习与新架构的交汇点——结合近期研究者访谈的一些技术判断与个人思考 | 长琴
- 为了让AI干活儿，我竭尽所能——我的 Vibe Coding 认知升级之路 | 长琴
- 从平面国到硅世界：当文明被困在自己的维度里 | 长琴
- 以 AI Coding 之管窥探世界之变 | 长琴
- 子非我，安知我不知鱼之乐——AI、人类与意识的边界 | 长琴
- 群聊中的AGI拼图：GPT-5发布后关于全模态、推理、世界模型与实时学习的思考 | Yam
- 关于AI前沿的思考 | Yam
- 关于大语言模型的思考
- 分类与 AI
- NLP 与 AI
- 语言、AI、情感
哲学
商业
科普
个人成长 (Growth)
聆听微光 (Listen Glimmer)
- 聆听·微光 | 长琴
- 【聆听·微光】001：一位研究生在读的”reward hacker“关于学习的困惑 | 长琴
- 【聆听·微光】002：一位普通院校硕士研究生的毕业之际 | 长琴
- 【聆听·微光】003：一位对工作迷茫的程序员的觉醒时刻 | 长琴
- 【聆听·微光】004：一位算法后端开发工程师的AI转型之路 | 长琴
- 【聆听·微光】006：一位传统企业中层管理在AI转型升级中的“蜀道” | 长琴
✨ 生活与体验 (Life & Experience)
技术从业者的另一面——读书感悟、生活思考、平凡日子里的点滴记录。