近日，Meta FAIR与华盛顿大学联合发表最新论文，提出“字节级蒸馏”技术，成功突破大模型Token天花板。研究团队创新性地将模型蒸馏的学习单位从词元转换为字节，让学生模型直接学习字节级概率分布，并提出End-Of-Token等转换方案。以Llama 3-8B为教师模型的实验表明，End-Of-Token方案表现最佳，其下游平均准确率预测上限达52.4%，比传统Token蒸馏高出4个百分点。此外，该技术显著降低了存储压力，处理文本量和存储量分别降至传统方案的六分之一和五分之一。该研究为小模型高效训练提供了全新路径。