
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
6月4日,英伟达发布基于Llama 3.1架构的Llama Nemotron Nano VL视觉-语言模型,专攻文档级理解任务。该模型整合CRadioV2-H视觉编码器与Llama 3.1语言模型,支持长达16K上下文处理,适用于多图像和复杂文本解析。模型分三阶段训练:图文预训练、多模态指令微调及文本指令优化,借助Megatron-LLM框架和A100/H100 GPU集群完成。在OCRBench v2测试中,其在OCR、表格解析及图表推理等任务上表现出色,尤其在结构化数据提取上媲美大规模模型。Llama Nemotron Nano VL支持灵活部署,兼容服务器与边缘设备,并提供4-bit量化版本,显著提升推理效率。此模型为企业文档处理提供高效解决方案。
原文链接
4月22日,英伟达发布了Eagle 2.5视觉语言AI模型,参数规模仅8B却在多项测试中表现优异。该模型专注于长上下文多模态学习,擅长处理高分辨率图像和长视频序列。在Video-MME基准测试中,Eagle 2.5以512帧输入获得72.4%的高分,接近更大规模的Qwen2.5-VL-72B和InternVL2.5-78B。其成功得益于信息优先采样(IAP)与渐进式后训练策略,IAP通过保留60%以上图像区域提升效率,ADS动态平衡视觉与文本输入。模型还采用了定制数据集Eagle-Video-110K,结合自上而下与自下而上标注方法增强数据质量。Eagle 2.5在MVBench、MLVU等视频及DocVQA、ChartQA等图像任务中均取得亮眼成绩,消融研究表明关键策略不可或缺。
原文链接
4月17日,字节跳动旗下的豆包大模型团队发布了基于视觉-语言模型的开源多模态智能体UI-TARS-1.5。该智能体能在虚拟环境中高效完成任务,支持真实设备及浏览器的操作。相较于前代,UI-TARS-1.5通过强化学习提升了高阶推理能力,强调“行动前思考”。团队提出以游戏为载体提升基础模型的通用推理能力,因其更依赖常识而非专业知识。UI-TARS-1.5具备四大技术优势:视觉感知增强、System 2推理机制、统一动作建模以及可自我演化的训练方式。项目已在GitHub、官网及Arxiv上开源。
原文链接
加载更多

暂无内容