这是2025年1月4日笔者受邀参加Zilliz举办的【向心力】系列会议《中美AI应用与落地分享》专场中的演讲，特此记录。
本文与演讲不完全相同，但核心内容一致。其中涉及到的内容还比较新，观点不一定准确，供参考交流。
这次分享的题目是《实时语音交互场景下RAG的机遇和挑战》，内容主要包括四个方面：主题引入、实时语音交互与RAG的结合、面临的技术挑战和未来的机遇与发展方向。
预训练：无处安放的躁动之心
背景
这个系列打算开始做一个预训练小模型，Size暂定在1.5B。这个念头源于和几个朋友的一次聚餐，当时聊到了Scale Law，以及小模型，有两个观点促使了笔者做这个决定。
- 小模型，在智能和一些大模型相媲美的时候是有意义的。
- Scale Law不光表现在模型层面，也表现在数据层面。
LLM指令跟随论文速览（2024-2025）
LLM指令跟随相关论文。
OMNI论文速览（2024）
OMNI相关论文。
SLM论文速览（2024）
SLM相关论文。
音频Codec论文速览（2024）
Codec相关论文。