【Cerebras Systems发布全球最快AI推理解决方案】8月28日，Cerebras Systems宣布推出全新AI推理解决方案——Cerebras Inference，此方案在性能上超越了当前市场上的主流AI推理解决方案，速度达到了英伟达同类方案的20倍。针对Llama 3.1 8B和70B模型，Cerebras Inference分别实现了每秒1800个token和450个token的处理能力，展现出卓越的效能。此外，这款解决方案的定价极具竞争力，仅为每百万个token 10美分，相比市面上流行的GPU云服务，性价比提高了100倍。Cerebras Inference采用Cerebras CS-3系统及Wafer Scale Engine 3(AI处理器)，内存带宽达到Nvidia H100的7000倍，有效解决了生成式AI的内存带宽问题。为了满足不同用户的需求，Cerebras Inference提供了包括免费层、开发者层和企业层在内的三个层级服务，旨在为AI应用程序开发者提供更高效、更经济的AI应用构建环境。Cerebras团队表示，Cerebras Inference以其创纪录的性能、业界领先的定价和开放的API访问，为开放的LLM开发和部署设定了新标准，并为AI领域带来了新的可能性。随着AI市场的快速发展，Cerebras和Groq等新兴公司正挑战英伟达在AI市场的主导地位，尤其是推理领域的竞争日益激烈。