预训练:无处安放的躁动之心

背景

这个系列打算开始做一个预训练小模型,Size暂定在1.5B。这个念头源于和几个朋友的一次聚餐,当时聊到了Scale Law,以及小模型,有两个观点促使了笔者做这个决定。

  • 小模型,在智能和一些大模型相媲美的时候是有意义的。
  • Scale Law不光表现在模型层面,也表现在数据层面。

More