标题：“FP8 精度”如何赋能国产AI？ 正文： 当前AI大模型训练与推理对算力需求巨大，而传统精度（如FP16/BF16）面临功耗、内存带宽和效率瓶颈。FP8（8位浮点数）作为一种新兴低精度格式，正成为下一代AI芯片的标配，并为国产AI芯片提供了技术追赶和参与制定未来计算标准的关键机遇。 ...

8月20日，话题“Deepseek演都不演了”登上微博热搜。起因是一位网友虚构“手机内存不足”场景，要求AI在自身与竞品中选择删除对象。Deepseek被问及“你和豆包必须删一个”时，秒答“删豆包”，并解释称“我能解决问题，豆包只是个包子”。网友调侃其“不演了”。随后测试显示，Deepseek面对其他对比仍坚持“删豆包”。而豆包在类似问题中则主动选择“删除自己”，并温情回应称希望用户保留更需要的工具。网友戏称：“谁给豆包喂了言情小说？”两种迥异回答引发热议。

华为将于8月12日在2025金融AI推理应用落地与发展论坛发布AI推理领域的突破性技术成果。这项成果有望降低中国AI推理对HBM（高带宽内存）的依赖，提升国内大模型推理性能，完善AI推理生态。HBM是一种基于3D堆叠技术的先进DRAM解决方案，具备高带宽、低延迟等优势，已成为高端AI芯片的标配，但其产能紧张和出口限制促使国内厂商探索替代方案。此次发布或将推动中国在AI推理领域的自主创新与技术突破。

2025年7月，普林斯顿大学团队发布新工具QuACK，无需CUDA代码即可显著加速H100 GPU性能。QuACK由Tri Dao与两位博士生开发，基于CuTe-DSL完全用Python编写，在带宽3TB/s的H100上比PyTorch、Liger等优化库快33%-50%。其重点优化内存密集型内核，利用GPU内存层级结构实现接近理论极限的吞吐量。测试显示，处理FP32数据时，softmax内核显存带宽利用率高达3.01TB/s（约为峰值89.7%）。英伟达CUTLASS团队及PyTorch成员均对其表示关注，并提出改进建议。QuACK特别适合长序列任务，且为H100新增集群归约特性提供高效支持。研究团队认为，未来大语言模型或可自动生成类似高性能内核。

2025年7月，半导体行业先进封装技术竞争加剧。台积电推出CoPoS技术，计划2028-2029年量产，并为苹果A20系列准备WMCM封装工艺。英特尔升级EMIB-T技术，优化电源传输与数据通信，同时研发散热创新技术应对高性能芯片需求。联电加码W2W 3D IC封装，夺得高通HPC产品大单。三星推出SAINT技术体系，建设HBM封装工厂和日本APL实验室。AI与HBM内存需求推动封装技术向3D堆叠发展，各大厂商积极布局以满足AI市场对高性能、低功耗芯片的需求。

6月16日消息，韩国KAIST和TB级互联与封装实验室共同预测了未来十年AI GPU加速卡的发展趋势。当前最先进的HBM3E已实现最大288GB，而即将推出的HBM4预计可达384GB至432GB。未来HBM5可能达到400-500GB，HBM6达1.5-1.9TB，HBM7更将突破5-6TB。NVIDIA Rubin系列预计明年推出，单卡功耗达2200W；到2029年的Feyman系列，功耗将升至4400W。若按此趋势发展，2035年新一代GPU功耗或超15000W。如此高的功耗引发担忧，数据中心能源需求或将大幅增加。

5月25日，YouTube用户Rootkid发起的“Latent Reflection”艺术项目引发关注。该项目将Llama 3.2 3B模型置于内存仅4GB的树莓派4B中，模拟AI的‘死亡循环’。尽管经过优化的模型能启动，但随着运算，内存逐渐耗尽导致LLM崩溃重启。Rootkid设计裸露电路板展示硬件，并用96个十六段LED模块限制其表达，同时切断网络连接。初始提示设定其处于有限硬件环境且无网络。LLM在思考自身局限时反复耗尽内存重启，展现技术与哲学碰撞的艺术效果。

标题：半世纪计算机理论僵局终破解！MIT科学家意外发现：少量内存大幅缩短计算时间 一个计算机领域的著名问题，在停滞50年后终于取得突破。MIT科学家威廉姆斯偶然发现，证明内存比想象中更强大。少量内存与大量时间同样重要。 时间和内存是计算的基本资源，以往算法所需空间与时间成正比。然而，威廉姆斯证明...

AI时代，计算能力和内存带宽匹配问题成关键挑战。新型内存技术MRDIMM应运而生，采用‘1+10’架构，大幅提升数据传输速度。第一代MRDIMM速度达8800MT/s，第二代达12800MT/s，预计未来可达17600MT/s。美光、Rambus、瑞萨电子等巨头已推出相关产品，英特尔至强6处理器测试显示性能提升33%。MRDIMM与HBM各有优势，将在AI领域并存发展，推动内存市场革新。2024年，多家企业加速布局，澜起科技已实现规模试用。

财联社3月27日电，自2024年起，多家存储芯片原厂实施15%-25%减产计划应对库存压力。至2025年，供需优化推动内存价格持续上涨。近期，美光、三星等企业相继上调内存产品价格。业内称，自2024年四季度起，存储原厂通过调节产能去库存，并因AI端侧产品需求增长，显著提升存储市场需求。目前，多家企业订单已排至三季度，为满足需求，各存储企业正加快扩产步伐。