DeepSeek V4 最近开源了多模态权重,它不仅能“看图”,还将视觉深度融入了AI大脑。
图片如何变成模型懂的“语言”?图片先被切成小块提取特征,保留空间位置。接着,“秘书”(Aligner)将相邻的9个特征打包压缩,把庞大的图像精炼成最多384个“视觉词(Token)”送入主干。这既保留了画面细节,又控制了数据量。
进入大脑后,视觉词和文字词虽在同一空间交流,但视觉词享有“VIP待遇”。为了让模型看清整张图,视觉词的“视野(Attention)”被特意扩大;在分配计算专家(MoE)时,视觉词也有专属路由通道,不用和文字挤同一条路,让模型能充分发挥多模态特长。
V4 的核心目标不仅是识别图片,更是赋能AI智能体(Agent)。例如让AI操作浏览器,它需反复截图、观察、点击。但这带来了算力挑战:若页面只变了一个按钮,重新计算整张截图会造成巨大浪费。未来的优化方向将是只计算变化的部分(视觉差分)或缓存历史画面。
总之,V4 把图片变成了推理的“原生上下文”。未来多模态AI的竞争,不仅在于谁能“看懂”世界,更在于谁能以极低的算力成本,持续、高效地“观察”世界。
原文链接
本文链接:https://kx.umi6.com/article/37699.html
转载请注明文章出处
相关推荐
换一换
DeepSeek不惜代价保住它!V4关键特性被挖出来了
2026-04-28 15:19:38
Agent、多模态、应用、算力一天看尽,峰会亮点在此|5.20日,来现场一起AI
2026-05-17 17:46:55
通用能力不打折,空间具身智能断层领先!ZDTaichu5.0-9B国产开源,跻身全球多模态第一梯队
2026-09-16 21:57:27
李飞飞团队推出首款商用世界模型Marble
2025-11-13 17:12:35
一场对话,我们细扒了下文心大模型背后的技术
2025-05-22 23:09:28
DeepSeek识图模式是个新模型?!一手实测在此(没错我被灰度到了)
2026-04-30 15:28:30
视频版Nano Banana来了!内置Gemini世界知识;原版香蕉出图仅需4秒
2026-07-01 10:00:53
何恺明团队发布多模态Harness框架
2026-10-11 17:48:55
多模态=AGI入场券?阶跃星辰姜大昕:死磕基座大模型,探索多模态理解生成一体化
2025-05-10 14:06:22
多模态和Agent成为大厂AI的新赛点
2025-04-30 20:07:29
Qwen3.7-Plus上线!多模态智能体新基座,一键复刻桌面端专业软件
2026-06-02 12:25:02
消息称小鹏机器人新成立“智能拟态部”,主攻机器人多模态
2025-07-25 17:29:22
百度发布文心大模型 4.5 Turbo / X1 Turbo:主打多模态、强推理、低成本
2025-04-25 11:06:03
820 文章
1097585 浏览
24小时热文
更多
-
2026-10-22 03:15:50 -
2026-10-22 03:14:30 -
2026-10-22 01:14:00