2月5日，百度智能云宣布成功点亮国内首个自研万卡集群——昆仑芯三代万卡集群，并计划进一步点亮3万卡集群。该项目突破了硬件扩展性瓶颈，采用了创新性散热方案解决能效与散热问题。通过高效并行化任务切分策略，集群MFU提升至58%，且保障有效训练率达到98%。此外，建设高性能网络优化拓扑结构，使带宽有效性达到90%以上。此次成就标志着中国在高性能计算领域取得重要进展。

小米正在搭建GPU万卡集群，加速AI大模型研发。该计划已施行数月，雷军亲自领导。小米去年4月组建AI实验室大模型团队，今年5月小米大语言模型MiLM通过备案。未来将应用于小米汽车、手机、智能家居等产品中，实现端云结合的智能提升及多设备协同。

据钛媒体AGI报道，美国商务部工业与安全局（BIS）即将在本周三（12月18日）发布新的AI芯片出口管制规定，旨在限制中国获取高性能AI芯片，特别是高端GPU和AI芯片。新规要求谷歌、微软等大型云计算服务商和英伟达、AMD等芯片企业向美国政府报告关键信息，限制通过云端获取高端AI芯片的可能性。这是自拜登上任以来的第四轮对AI和半导体的管制规定，旨在维持美国在全球AI领域的霸权地位。中国工程院院士郑纬民指出，中国面临“低端算力过剩，高端算力紧缺”的情况，需构建国产万算力卡系统以应对挑战。截至2024年10月31日，美国商务部工业与安全局维护的出口管制限制性名单实体共3870个，其中中国占1012个。中国半导体行业协会呼吁关注并抵制此类单边霸凌行为，维护全球产业链稳定。

摘要： 8月30日，中国移动智算中心（哈尔滨）节点将投入使用超万卡智算集群，此举标志着哈尔滨在人工智能领域跻身国内一线城市行列。该集群是单集群算力最大的，具有国产化网络设备组网规模最大、融合分级存储规模最大等特点，其算力达到6.6EFLOPS，为大型模型训练提供了高效稳定的算力支持。据《智能计算中心创新发展指南》，在智算中心投资80%应用水平下，城市投资可带动人工智能核心产业增长约2.9-3.4倍，相关产业增长约36-42倍。预计到2025年，人工智能核心产业规模将达到4000亿元，相关产业规模超过5万亿元；到2030年，核心产业规模超过1万亿元，相关产业规模超过10万亿元，年均复合增长率分别达20.9%和25.9%。哈尔滨的智算中心投入运营，不仅提升了当地人工智能研发能力，也预示着中国在AI领域的快速发展与潜力。

【豆包大模型团队&港大新成果ByteCheckpoint】字节跳动豆包大模型团队与香港大学合作，推出ByteCheckpoint大模型Checkpointing系统，以提升大规模模型训练效率并降低训练进度损失。针对大模型训练中频繁的软硬件故障问题，ByteCheckpoint作为一款兼容多种训练框架...

摘要： 近期，Meta发布的关于Llama 3.1预训练的论文揭示了一个令人关注的事实：在为期54天的预训练期间，Llama 3.1遇到了频繁的故障问题，平均每3小时故障一次，总共有466次中断，其中419次为意外中断，且大部分归咎于硬件问题，尤其是GPU，占总数的58.7%。尽管如此，Llama...

10万卡集群：通往AGI的新门票 美国大模型公司的标配 10万卡集群正成为美国大模型公司的标配。拾象发布的AI时代的纳斯达克指数AGIX Index，重点关注AI行业的“硬件投入—基础设施建设—应用爆发”三个阶段，其中硬件和基础设施是AGIX Index的焦点领域。 AGI的硬件投入持续升温 新一轮...

#国产芯片大战升级# 2024年世界人工智能大会在上海举行，算力成为焦点。原本单一的选择现在变得多元，华为、百度昆仑芯、天数智芯等多家企业亮相H2馆，展示最新芯片与智算中心技术。尽管芯片厂商展示策略谨慎，但推理芯片销售量激增，如天数智芯、燧原去年以来出货量过万，瞄准云端及端侧市场。国产芯片正挑战英伟达主导地位，特别是在推理场景，由于功耗和成本优势，推理芯片迎来爆发前夜。同时，部分厂商如摩尔线程推出万卡规模智算集群，但高额投入与商业化落地的不确定性引发讨论。万卡集群虽被视为万亿参数大模型的基础设施，但实际操作中面临软件集成和技术挑战，仍处于少数领先企业的探索阶段。

7月4-7日，世界人工智能大会在上海举办，算力成为焦点。去年单一选择的GPU市场如今变化显著，H2馆众多芯片厂商亮相，包括华为、百度昆仑芯、天数智芯等。尽管芯片厂商展示策略谨慎，但推理芯片销售量增长明显，如天数智芯、燧原去年出货量已达数万片，主要应用于云端和端侧。国产芯片正分化为追求高参数和关注落地应用两派，推理芯片尤其在端侧迎来爆发，部分芯片如"爱芯元智"的小芯片因本地运行和成本优势供不应求。同时，国产芯片正从千卡迈向万卡规模，如摩尔线程的"夸娥"方案，但万卡集群的高昂成本和软件挑战引发业界讨论，少数头部企业和部分芯片厂商如华为、摩尔线程已涉足这一领域。

7月4-7日，世界人工智能大会在上海举行，中国芯片厂商在此次盛会中崭露头角，华为、百度昆仑芯、天数智芯等众多企业聚焦于智算中心和芯片领域。尽管芯片仍属敏感话题，厂商们展示策略谨慎，主要通过展示搭载自家芯片的服务器和落地案例。推理芯片销售量增长明显，如天数智芯和燧原去年以来出货量过万，部分芯片瞄准端侧市场。国产芯片正挑战英伟达的传统领地，如摩尔线程的万卡智算集群“夸娥”方案。然而，万卡级集群投资巨大且面临软件挑战，多数厂商聚焦于几百到几千卡规模的优化。尽管前景不明朗，部分厂商如摩尔线程创始人张建中持乐观态度，认为大模型Scaling Law和架构创新将推动需求增长。国产芯片大战渐入高潮，但仍是技术和商业实力的较量。