5月2日，IBM介绍了Granite 4.0系列模型中的最小版本——Granite 4.0 Tiny的预览版。该版本具有高计算效率和低内存需求，在FP8精度下，仅需12GB显存即可支持5个128KB上下文窗口的并发对话。其硬件需求较低，适合消费级显卡如NVIDIA GeForce RTX 3060（12GB，约2383元人民币）。Granite 4.0 Tiny计划训练Token数至少为15T，当前预览版已训练2.5T，性能接近训练Token量12T的Granite 3.3 2B Instruct，并在128KB上下文窗口16并发会话下的内存需求降低约72%。该版本总参数规模为7B，实际活动参数为1B，采用混合Mamba-2/Transformer架构。预览版已在Hugging Face上以Apache 2.0许可证发布，IBM计划今年夏天正式推出Tiny、Small和Medium版本。