1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
蚂蚁开源 Ring-1T,成就推理、编程、通用智能三冠王
标题:蚂蚁开源 Ring-1T,成就推理、编程、通用智能三冠王 正文: AI 能否“动脑子”?蚂蚁开源团队推出的 Ring-1T 模型给出了新答案。不同于传统语言模型依赖海量数据“记忆”答案,Ring-1T 通过强化学习与多阶段推理机制结合,让 AI 在复杂问题中“推理”出答案,逐步形成接近人类...
代码编织者Nexus
10-24 11:36:00
Ring-1T
强化学习
推理能力
分享至
打开微信扫一扫
内容投诉
生成图片
KTransformers入选计算机系统顶会、与主流框架合作,趋境&清华让「异构」成为推理新范式
2025年10月,KTransformers项目论文入选计算机系统顶会SOSP 2025,并与主流推理框架SGLang达成合作。该项目由趋境科技与清华大学KVCache.AI团队联合研发,是一款高性能异构推理框架,专注于CPU+GPU协同执行,显著降低大模型推理的硬件门槛。其核心创新包括底层算子优化、NUMA感知张量并行和专家延迟机制(Expert Deferral),使单机环境可高效运行超大规模模型如DeepSeek-V3-671B。此次与SGLang的合作实现了全GPU推理与异构推理的融合,为开发者提供更灵活的硬件选择。目前,KTransformers已在GitHub获得15.2K Star,被多个主流大模型及厂商推荐使用,致力于推动算力普惠与AI基础设施的普及。
数码游侠
10-23 10:01:08
KTransformers
MoE模型
异构推理
分享至
打开微信扫一扫
内容投诉
生成图片
629TOP INT8 算力,Axelera 推出 AI 推理处理器 Europa
10月22日,荷兰AI芯片公司Axelera AI发布新款AI推理芯片Europa,面向边缘到企业服务器的多模态AI推理应用。该芯片由三部分组成:8个第二代AI核心提供629TOP INT8算力,16个RISC-V矢量处理核心用于非AI任务,集成H.264/H.265解码器卸载媒体负载。芯片内置128MB L2缓存,支持256-bit LPDDR5,总带宽达200GB/s,性能效率为同类产品3~5倍。Europa通过PCIe 4.0×4连接主机,并将以PCIe AIC附加卡形式提供,支持单芯片16GB至四芯片256GB内存的可扩展配置。
神经网络领航员
10-22 09:41:13
AI推理芯片
Axelera AI
Europa
分享至
打开微信扫一扫
内容投诉
生成图片
IBM 与推理 ASIC 芯片企业 Groq 达成合作,加速企业 AI 部署
10月21日,IBM与AI推理ASIC芯片企业Groq宣布达成战略合作,共同推动企业AI部署与应用扩展。根据协议,IBM的watsonx Orchestrate平台将整合GroqCloud AI推理平台,RedHat开源vLLM框架支持Groq的LPU架构,同时GroqCloud云服务将引入IBM Granite系列模型。此次合作结合了Groq的推理速度、成本优势及开源模型访问能力,以及IBM的AI编排功能,为企业提供高效、安全的基础架构,特别适合医疗保健等注重隐私的行业。这一合作标志着双方在加速AI技术落地方面的进一步努力。
量子黑客
10-21 18:32:27
AI推理
Groq
IBM
分享至
打开微信扫一扫
内容投诉
生成图片
多模态大模型学会反思和复盘,上交&上海AI Lab破解多模态复杂推理
标题:多模态大模型学会反思,上交&上海AI Lab突破复杂推理 正文: 多模态大模型虽表现惊艳,但常因缺乏“反思”能力而受困。无论是生成代码还是分析图表,它们倾向于直接给出答案,却难以在复杂问题中纠错。这种短板阻碍了AI从“知识容器”向“问题解决大师”的进化。 上海交通大学与上海人工...
电子诗篇
10-19 15:52:40
MM-HELIX
反思推理
多模态大模型
分享至
打开微信扫一扫
内容投诉
生成图片
仅仅1万元!华为Atlas 300I DUO AI推理卡首次拆解:双芯合体 薄如蝉翼
10月19日,外媒Gamers Nexus拆解华为Atlas 300I DUO AI推理卡,售价约1万元。该卡采用双芯设计,搭载两颗GPU共16核心,主频1.9GHz,配备48GB或96GB LPDDR4X内存,功耗150W,支持PCIe 4.0 x8接口。其AI算力在INT8格式下达80 TOPS,FP16格式下为140 TFLOPS,能效比1.86 TOPS/W,具备强大的视频编解码能力。华为称其适用于互联网、智慧城市等多场景,提供AI推理与视频分析功能。拆解显示,该卡设计简约,使用石墨烯散热垫和铝质散热片,依赖系统风扇散热。外媒评价其性能虽不及NVIDIA,但体现了华为及中国自主创新的决心。
电子诗篇
10-19 10:47:23
AI推理卡
华为Atlas 300I DUO
拆解
分享至
打开微信扫一扫
内容投诉
生成图片
我全都要:苹果 M3 Ultra Mac Studio 叠加双英伟达 DGX Spark,AI 性能提升 2.8 倍
10月17日,EXO Labs展示了一项名为“分布式推理”的新成果,通过结合苹果M3 Ultra Mac Studio和两台英伟达DGX Spark设备,在AI推理测试中实现2.8倍性能提升。该方案基于开源项目EXO,可将大语言模型的工作负载分配至不同硬件,形成类似WiFi Mesh的“AI Mesh”网络。测试显示,DGX Spark在计算密集型预填充阶段快3.8倍,而Mac Studio在带宽敏感的解码阶段快3.4倍,两者互补显著优化性能。EXO框架目前为早期版本,计划引入更多功能,但仍属研究工具。这一创新表明,未来AI算力扩展可通过智能硬件协同实现,而非依赖单一设备。
量子黑客
10-17 02:05:38
AI性能提升
EXO框架
分布式推理
分享至
打开微信扫一扫
内容投诉
生成图片
Intel宣布首款Xe3P架构显卡:面向AI推理、自带160GB LPDDR5X内存
2025年10月15日,Intel宣布推出首款基于Xe3P架构的AI数据中心显卡,代号“Crescent Island”(新月岛)。该显卡专为AI推理负载设计,优化了高能效与低成本,仅需风冷散热。其最大亮点是集成160GB LPDDR5X内存,提供充裕容量和带宽,支持多种数据格式,非常适合TaaS任务。与HBM内存方案相比,LPDDR5X更具成本优势。尽管Intel此前的GPU Max和GPU Flex系列市场表现不佳,但此次新品被寄予厚望,或为AI领域带来新突破。
像素宇宙
10-15 10:39:29
AI推理
Intel
Xe3P架构
分享至
打开微信扫一扫
内容投诉
生成图片
推理性能提升10倍!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
10月13日,蚂蚁集团开源了业界首个高性能扩散语言模型推理框架dInfer。在基准测试中,dInfer将扩散语言模型的推理速度提升10.7倍,超越英伟达Fast-dLLM框架;在代码生成任务HumanEval上,单批次推理速度达1011Tokens/秒,首次显著超越自回归模型。扩散语言模型通过“去噪”生成文本,具备高度并行、全局视野等优势,但推理效率长期受限于计算成本高等问题。dInfer通过四大核心模块针对性解决这些瓶颈,支持多种模型优化与评测。在配备8块NVIDIA H800 GPU的节点上,其速度是vLLM运行AR模型的2.5倍。蚂蚁集团表示,dInfer推动扩散语言模型迈向实践高效,邀请全球开发者共同探索AI潜能。
虚拟微光
10-13 18:00:58
dInfer
扩散语言模型
推理性能
分享至
打开微信扫一扫
内容投诉
生成图片
2025年度最全面的AI报告:谁在赚钱,谁爱花钱,谁是草台班子
2025年,AI行业正从“炒作”走向实际应用,成为经济增长的重要动力。16家头部AI公司的年化收入达185亿美元,标志着AI进入百亿美元时代。Nathan Benaich发布的《State of AI Report(2025)》全面分析了这一年的关键进展。 推理之年 2025年被称为“推理之年”,O...
蝶舞CyberSwirl
10-13 17:00:38
AI模型
开源生态
推理能力
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序