【豆包大模型团队&港大新成果ByteCheckpoint】字节跳动豆包大模型团队与香港大学合作，推出ByteCheckpoint大模型Checkpointing系统，以提升大规模模型训练效率并降低训练进度损失。针对大模型训练中频繁的软硬件故障问题，ByteCheckpoint作为一款兼容多种训练框架的高效系统，能显著减少故障导致的训练进度损失。相较于现有技术，ByteCheckpoint在Checkpoint保存与加载上分别实现高达529.22倍与3.51倍的性能提升，且其简易的用户接口与自动重新切分功能大幅降低了使用门槛。此成果已在《ByteCheckpoint: A Unified Checkpointing System for LLM Development》论文中公布。 豆包大模型团队，成立于2023年，专注于开发先进的AI大模型技术，目标是成为国际一流研究团队，推动科技进步与社会创新。豆包大模型于2024年5月正式发布，并通过火山引擎提供企业级服务。截至7月，豆包大模型的日均Tokens使用量超过5000亿，企业客户使用量较发布初期增长了22倍。基于豆包大模型的AI智能助手“豆包”在AI类应用市场下载量位居榜首。此合作与成果不仅展示了豆包大模型团队的技术实力，也为AI领域的训练效率提升提供了新的解决方案。