全球AI算力报告显示，机器学习硬件性能每年增长43%，价格下降30%。NVIDIA A100是最常用的硬件，但预计NVIDIA H100将很快超越。谷歌坐拥超100万H100等效算力，微软、Meta和亚马逊也拥有大量计算资源。训练大型语言模型所需的处理器数量八年内增长20多倍，从800个GPU增至16,384个H100。Epoch AI发布的报告还提供了详细的硬件数据集和分析源码。

2月5日，消息称华为昇腾910C AI芯片采用中芯国际7nm工艺，双芯片整合封装，晶体管达530亿个，国产化率约55%。该芯片预计于2024年底发布，可用于大规模AI训练和推理。DeepSeek测试显示，昇腾910C在AI推理中表现优异，达到NVIDIA H100的60%左右。通过优化，其性能有望进一步提升。然而，AI训练性能仍需改进。

**探秘全球最大AI集群xAI Colossus：122天建成，10万张英伟达H100构筑马斯克AI愿景** 10月28日，科技媒体servethehome参观了xAI公司建造的全球最大的AI训练集群Colossus。该集群由10万张英伟达H100 GPU构成，仅用122天即完成建设。Colossus配备了英伟达HGX H100服务器，每台服务器内含8张H100 GPU，所有服务器均在Supermicro的4U水冷系统中运行，确保高效散热。每个机架可容纳8台服务器，8台服务器组成1个阵列，每个阵列拥有512个GPU，整个集群内有超过1500个GPU机架。每个GPU配有400GbE的网络接口控制器，实现3.6Terabit/秒的以太网带宽。此次展示获埃隆·马斯克及其团队的特别批准，Supermicro赞助了此次活动，凸显其在行业中的重要地位。 （注：原文图片未被计入摘要内容）

丹麦推出首台AI超级计算机Gefion，由1528个英伟达H100 GPU驱动，于10月27日揭幕。该计算机以丹麦神话中的女神命名，旨在推动量子计算、清洁能源、生物技术等领域的发展。英伟达CEO黄仁勋与丹麦国王共同出席了揭幕仪式。Gefion超级计算机位于哥本哈根，采用英伟达Quantum-2 InfiniBand网络互连。据称，与传统方法相比，Gefion有望将天气预报时间从几小时缩短至几分钟，并大幅降低能耗。此外，哥本哈根大学科研人员正利用Gefion进行量子计算机电路的大规模分布式模拟，使其接近“量子霸权”。黄仁勋表示，计算机辅助药物发现的新时代即将到来。

英伟达新一代AI芯片GB200订单激增，但其前代产品H100芯片却遭遇市场遇冷。据业内人士透露，去年H100芯片8卡整机售价高达300万元，目前价格已降至230万至240万元，每周价格变动明显。H20芯片的价格也从140万元降至110万元以下。H100芯片最初的租赁价格为4.7美元/小时，高峰期曾涨至8美元以上，目前租赁价格已回落至2至3美元/小时，跌幅超过50%。自今年上半年起，国内算力价格持续下跌，主要因大模型训练需求减少及早期“囤卡”导致供给过剩，部分小型算力供应商可能面临亏损，市场正在经历一轮洗牌。（财联社10月27日）

H100 GPU租赁价格自年初起从高峰的每小时8美元以上跌至2美元左右，引发市场关注。这一变动源于需求的转变：部分公司完成模型训练后转售闲置算力，大量公司转向微调开放模型以减少需求，专注于构建大型基础模型的新创公司数量减少，以及替代品如AMD和英特尔GPU的出现。报道《$2 H100s: How t...

【2024年10月14日】《科创板日报》报道，英伟达H100 GPU租赁价格自3月上市后迅速上涨，最高每小时达8美元，但近期跌至2美元。这一变化归因于四方面原因：部分公司出售闲置算力、转向微调开放模型减少需求、新创公司减少、出现H100替代品。报道引述自名为Latent Space的网站，该网站由A...

【AMD在AI算力领域崭露头角】9月5日，科技界传来好消息，AMD的最新GPU产品MI300X在AI推理性能上展现出与NVIDIA H100/200相匹敌的实力，挑战了NVIDIA在AI算力领域的主导地位。根据MLCommons提供的数据，AMD的MI300X GPU在AI推理基准测试中与NVIDIA的H100 GPU表现相当，且考虑成本因素，MI300X GPU的性价比更胜一筹。此次测试仅使用了Meta的Llama 2 70B模型进行，但结果表明，AMD在处理大型AI模型方面具有强大的潜力。行业专家对此持乐观态度，预测AMD和Tranium等平台将在AI领域迅速崛起，成为主流市场的重要参与者。

埃隆·马斯克宣布，由其领导的xAI团队已成功上线全球最大的AI训练集群——Colossus。该集群在122天内构建完成，配备了10万张英伟达H100 GPU加速卡，计划在未来几个月内翻倍扩展至20万张GPU，其中包含5万张更先进的H200。这一壮举标志着AI技术的巨大飞跃，展现了强大的计算能力。对比之下，谷歌当前使用9万张GPU，OpenAI则使用了8万张GPU。Colossus的上线不仅巩固了xAI在AI领域的领先地位，也为未来的AI研究和应用提供了前所未有的计算资源。

马斯克宣布，由xAI打造的Colossus 100k H100训练集群在上周完成上线，仅用122天便实现了这一壮举，展示了其在人工智能领域的强大实力。作为目前全球最顶级的人工智能训练系统，Colossus的规模预计在未来几个月内将扩大一倍，达到20万卡，其中包含5万H200。此次成功上线标志着人工智能技术的又一重大突破，为行业带来了前所未有的创新动力。