实时语音交互场景下RAG的机遇和挑战

这是2025年1月4日笔者受邀参加Zilliz举办的【向心力】系列会议《中美AI应用与落地分享》专场中的演讲，特此记录。

本文与演讲不完全相同，但核心内容一致。其中涉及到的内容还比较新，观点不一定准确，供参考交流。

这次分享的题目是《实时语音交互场景下RAG的机遇和挑战》，内容主要包括四个方面：主题引入、实时语音交互与RAG的结合、面临的技术挑战和未来的机遇与发展方向。

预训练：无处安放的躁动之心

背景

这个系列打算开始做一个预训练小模型，Size暂定在1.5B。这个念头源于和几个朋友的一次聚餐，当时聊到了Scale Law，以及小模型，有两个观点促使了笔者做这个决定。

小模型，在智能和一些大模型相媲美的时候是有意义的。
Scale Law不光表现在模型层面，也表现在数据层面。

LLM指令跟随论文速览（2024-2025）

LLM指令跟随相关论文。

SLM论文速览（2024）

SLM相关论文。

音频Codec论文速览（2024）

Codec相关论文。

VITS

论文：Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
代码：jaywalnut310/vits: VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech

一个并行的端到端TTS模型。

XTTS

论文：XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model
代码：coqui-ai/TTS: 🐸💬 - a deep learning toolkit for Text-to-Speech, battle-tested in research and production

基于Tortoise的改进，自回归。本文主要关心架构。

OMNI论文速览（2024）

OMNI相关论文。

DAC

论文：High-Fidelity Audio Compression with Improved RVQGAN
代码：descriptinc/descript-audio-codec: State-of-the-art audio codec with 90x compression factor. Supports 44.1kHz, 24kHz, and 16kHz mono/stereo audio.

TS3-Codec

论文：TS3-Codec: Transformer-Based Simple Streaming Single Codec

没开源代码。