
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
硅谷初创公司Sohu推出的AI芯片震惊业界,性能超越英伟达H100服务器20倍,每秒可处理50万token的Llama 70B模型。这款专为Transformer设计的ASIC芯片,以高效专注于此模型,单台8卡Sohu服务器可抵160块H100,颠覆传统算力格局。ASIC芯片因其在特定任务中的高效性,可能成为AI算力市场的未来趋势,挑战GPU主导地位。Sohu背后有OpenAI、谷歌等投资支持,预示着AI芯片市场可能将迎来ASIC革命,但高成本与竞争加剧也是Sohu面临的挑战。
原文链接
哈佛辍学华人创办的初创公司Etched发布了首款大模型专用芯片Sohu,宣称一张芯片可顶20张H100,性能超越英伟达下一代芯片GB200。Sohu专为Transformer算法设计,拥有700亿参数的高吞吐量,已完成1.2亿美元融资。尽管面临Transformer架构可能被新架构取代的风险,但Etched认为其芯片将因Transformer的广泛使用而有价值。Sohu采用4nm工艺,支持大模型推理,包括MoE架构和多种Transformer变体。芯片已在云端开放抢先体验,未来可能影响实时语音客服、代码优化和文本生成等领域。然而,GPU效率提升缓慢的质疑和Transformer后继技术的不确定性引发了行业讨论。
原文链接
加载更多

暂无内容