论文:[2111.10952] ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning
Code:T5
一句话概述:任务数量很多时,不妨试试 MTL 预训练。
摘要:尽管多任务和迁移学习取得了巨大成功,但很少有工作研究预训练期间扩大任务数量的效果。本文提出 ExMIX(Extreme Mixture):一个包含 107 个有监督任务的跨领域大规模任务集合。并借此研究了迄今为止最大规模的多任务预训练效果,分析常见任务族之间的协同训练迁移。结果显示,为多任务预训练手动策划一组理想的任务并不简单,而且多任务扩展本身可以极大地改进模型。最后,提出 ExT5:使用自监督跨度去噪和监督 ExMIX 的多任务目标预训练模型,在多个数据集上超过了 T5。