1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

训练大模型前,工程师需处理PB级海量语料。传统方法中,数据散落在成百上千张表里,加个特征要改上百张表;几条异常数据就会导致几TB的任务全部重跑,让人苦不堪言。

为此,蚂蚁集团研发了统一宽表系统OmniTable,斩获数据库顶会VLDB 2026工业赛道最佳论文。它的核心思路是“逻辑统一,物理分离”:在工程师眼里,所有数据只是一张清晰的“逻辑宽表”,底层复杂的物理存储则由系统自动管理。

OmniTable带来了四大改变: 1. 智能计算:只需指定目标特征,系统自动梳理依赖、分配算力,并合并重复扫描。 2. 记录级容错:少数坏数据会被单独隔离,不再拖垮整批任务重跑。 3. 自动保养:后台自动合并小文件、调整存储布局,保持系统高效。 4. 全链路追溯:每个特征怎么算出来的,都有清晰的“血缘”记录。

目前,该系统已管理超35PB、3050亿条数据。在实际生产中,原本需14天、45个手工步骤的数据准备任务,现仅需2.5天、12步即可完成,效率狂飙5.6倍。它不仅节省了算力,更把工程师从熬夜“洗数据”中彻底解放了出来。

原文链接
本文链接:https://kx.umi6.com/article/37711.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
百度推动大模型与搜推业务融合
2026-03-18 15:35:09
不整虚的!中美AI同步加速:47天30次更新,中国AI的最强主场究竟在哪?
2026-02-22 18:50:22
马年4大顶流模型会师阿里云Coding Plan开工!Token量大管饱,自由切换真香
2026-02-26 00:01:12
郑州:在医疗、教育、物流、防灾减灾等领域打造一批大模型典型示范 形成“AI+千行百业”全场景体系
2026-05-09 20:36:41
长三角一体化大模型发布 AI将为区域发展提供决策支撑
2026-01-12 09:40:07
中国企业调用大模型日均达37万亿tokens
2026-02-24 13:54:18
潞晨尤洋:日常办公没必要上私有模型,这三类企业才需要 | MEET2026
2025-12-22 10:34:39
WAIC信息爆炸!大佬们都在说什么,笔记看这里
2026-07-18 12:23:17
智谱上市后首份财报:超7.24亿元!国内收入最高大模型公司,MaaS发力了
2026-03-31 21:04:07
持续霸榜!阿里千问3.6Plus问鼎全球大模型调用周榜冠军
2026-04-07 12:52:26
10万国产卡支持!智谱发布轻量级旗舰模型对标DeepSeek
2026-08-27 00:50:13
马斯克、黄仁勋同天发声:力挺中国AI
2026-07-27 16:19:12
「说 Harness 会被淘汰的,肯定没做过工程」,Kimi 前 CLI 负责人戳破了 AI 圈最大的误解
2026-08-31 16:51:39
24小时热文
更多
扫一扫体验小程序