
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
2025年5月21日,在谷歌I/O开发者大会上,谷歌发布了Gemma 3n端侧多模态AI模型。该模型能在内存小于2GB的设备上运行,支持音频、文本、图片和视频等多种数据类型处理。采用Per-Layer Embeddings(PLE)技术,使其在参数量分别为5B和8B的情况下,内存占用仅相当于2B和4B模型。相比Gemma 3 4B版本,Gemma 3n在移动设备上的响应速度提升1.5倍,质量更优。此外,它在日语、德语、韩语、西班牙语和法语等非英语语言处理上表现突出,在WMT24++基准测试中得分达50.1%。用户可直接通过Google AI Studio浏览器使用Gemma 3n,开发者也可借助Google AI Edge集成本地功能,未来还将扩展更多能力。
原文链接
4月18日,谷歌发布Gemna 3 QAT AI模型,通过量化感知训练显著降低显存需求。此前Gemma 3 27B模型显存需求高达54GB,经int4量化后锐减至14.1GB,12B模型从24GB降至6.6GB,1B模型仅需0.5GB。这使得普通硬件如RTX 3090显卡和RTX 4060 Laptop GPU能流畅运行,甚至手机也能支持小型模型。量化过程中,谷歌采用QAT技术,在训练中模拟低精度运算,确保模型压缩后仍保持高准确性,困惑度下降了54%。目前,Ollama、LM Studio和llama.cpp等平台已集成该模型,用户可通过Hugging Face和Kaggle获取官方int4和Q4_0版本,Apple Silicon和CPU亦可运行。Gemmaverse社区提供更多量化选项,满足多样化需求。
原文链接
加载更多

暂无内容