预训练：无处安放的躁动之心

背景

这个系列打算开始做一个预训练小模型，Size暂定在1.5B。这个念头源于和几个朋友的一次聚餐，当时聊到了Scale Law，以及小模型，有两个观点促使了笔者做这个决定。

小模型，在智能和一些大模型相媲美的时候是有意义的。
Scale Law不光表现在模型层面，也表现在数据层面。

LLM指令跟随论文速览

LLM指令跟随相关论文。

SLM论文速览

SLM相关论文。

音频Codec论文速览

Codec相关论文。

VITS

论文：Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
代码：jaywalnut310/vits: VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech

一个并行的端到端TTS模型。

XTTS

论文：XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model
代码：coqui-ai/TTS: 🐸💬 - a deep learning toolkit for Text-to-Speech, battle-tested in research and production

基于Tortoise的改进，自回归。本文主要关心架构。

OMNI论文速览（2024）

OMNI相关论文。

DAC

论文：High-Fidelity Audio Compression with Improved RVQGAN
代码：descriptinc/descript-audio-codec: State-of-the-art audio codec with 90x compression factor. Supports 44.1kHz, 24kHz, and 16kHz mono/stereo audio.

TS3-Codec

论文：TS3-Codec: Transformer-Based Simple Streaming Single Codec

没开源代码。

BigCodec

论文：BigCodec: Pushing the Limits of Low-Bitrate Neural Speech Codec

代码：Aria-K-Alethia/BigCodec