Chinchilla：大模型不是越大越好，数据也要一起扩展
Chinchilla 用同等训练算力证明：70B 参数、1.4T token 的模型可以胜过 280B 的 Gopher。本文拆解计算最优缩放律、三种拟合方法与它对现代大模型训练的影响。
InstructGPT：用 RLHF 教会大模型「听话」
模型越大，不一定越懂你。OpenAI 用人类反馈强化学习（RLHF）三步走，让 1.3B 的 InstructGPT 比 175B 的 GPT-3 更受用户青睐。本文拆解 SFT、奖励建模、PPO 的每个环节。
T5 / BART：把一切 NLP 任务统一成 Text-to-Text
T5 用一个统一的 text-to-text 框架吞下所有 NLP 任务，BART 用去噪自编码器把 BERT 的双向理解与 GPT 的生成能力拼在一起——Encoder-Decoder 路线的巅峰。
