10月7日消息，近日一网友在俄罗斯二手平台Avito上，以约250元人民币（砍价至六折）捡漏一台搭载9张P106显卡的退役矿机。该矿机单卡6G，总显存达54GB。网友利用其成功运行本地AI大模型：8-bit量化下可跑27B模型，4-bit或5-bit量化最高支持70B参数模型。测试运行Qwen3.6-35B时，token生成速度超30个/秒。不过，矿机主板多采用PCIe x1接口，带宽狭窄易导致多卡数据交换时性能严重衰减，且满载功耗与长期稳定性尚待验证。250元低成本跑大模型，这波硬核捡漏你心动了吗？

9月14日，一篇关于“本地部署AI大模型需多大显存”的科普指南引发关注。文章指出，模型名称中的“B”代表十亿参数量，数值越大越吃硬件；同参数下，通过Q4等“量化”压缩可大幅减小体积。实际显存需求不仅取决于基础权重，还需额外预留约5%系统开销及2GB上下文显存。以主流Qwen3.8-27B_Q4模型为例，计算得出至少需16GB显存。对此，配备16GB GDDR7显存、AI算力达1801 TOPS的RTX 5080显卡成为理想选择，可流畅运行27B级量化模型，为AI初学者提供了清晰的硬件选购参考。

5月2日，IBM介绍了Granite 4.0系列模型中的最小版本——Granite 4.0 Tiny的预览版。该版本具有高计算效率和低内存需求，在FP8精度下，仅需12GB显存即可支持5个128KB上下文窗口的并发对话。其硬件需求较低，适合消费级显卡如NVIDIA GeForce RTX 3060（12GB，约2383元人民币）。Granite 4.0 Tiny计划训练Token数至少为15T，当前预览版已训练2.5T，性能接近训练Token量12T的Granite 3.3 2B Instruct，并在128KB上下文窗口16并发会话下的内存需求降低约72%。该版本总参数规模为7B，实际活动参数为1B，采用混合Mamba-2/Transformer架构。预览版已在Hugging Face上以Apache 2.0许可证发布，IBM计划今年夏天正式推出Tiny、Small和Medium版本。

2月12日，浪潮信息发布元脑R1推理服务器，可单机部署DeepSeek R1 671B模型。该模型为全参数基础大模型，具备强泛化能力和上下文理解能力。元脑R1服务器NF5688G7原生搭载FP8计算引擎，提供1128GB HBM3e显存，满足FP8精度下不低于800GB显存容量需求，显存带宽达4.8TB/s。NF5868G8则首次实现单机支持16张标准PCIe双宽卡，提供最高1536GB显存容量，支持FP16/BF16精度下单机部署DeepSeek 671B模型。

Intel计划于2025年推出一款配备24GB显存的锐炫B580显卡，显存容量翻倍。该显卡并非针对游戏玩家设计，而是面向生产力市场，如个人开发者、小型工作室、教育科研、边缘机房及数据中心。尤其适用于AI应用，无论是推理还是应用层面。尽管锐炫B580性能略高于RTX 4060，但其高性价比使其受到青睐，起价仅为2099元。相比之下，NVIDIA在显存配置上较为保守且价格较高。