OmniCompass:全模态视频定位与理解的综合评测基准#
OmniCompass 包含两条赛道:VL 赛道评估视觉语言模型,AV 赛道评估需要音视频联合证据的全模态模型。每条赛道都有时间定位、空间定位和问答三类任务。VL 赛道含 820 个视频、2,460 个实例,AV 子集含 240 个视频、720 个实例。
▲ 566 AI 摘要 arXiv GitHub Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li · VCLab
AI 深研院 · 共 8 条
Hugging Face Daily Papers 与 arXiv 精选
OmniCompass 包含两条赛道:VL 赛道评估视觉语言模型,AV 赛道评估需要音视频联合证据的全模态模型。每条赛道都有时间定位、空间定位和问答三类任务。VL 赛道含 820 个视频、2,460 个实例,AV 子集含 240 个视频、720 个实例。
▲ 566 AI 摘要 arXiv GitHub Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li · VCLab
FDE-Gym 包含来自 18 个行业、20 个客户场景的 95 个端到端交付任务,智能体需与脚本化的利益相关方沟通并在类生产系统上交付方案。论文评测了 7 家提供商的 13 种模型配置:在需自行发现隐含约束的真实设定下,最佳配置平均得分 0.56,只解决 95 个任务中的 14 个。
▲ 228 AI 摘要 arXiv GitHub Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang · DeepLethe
RoTA-Bench 要求模型观察旋转后的物体,逐步选择旋转动作以复现目标轮廓投影,共 674 个任务和 100 个任务的测试集。结果显示人机差距明显:GPT-5.6-Sol 仅完成 17% 的任务,而 20 名本科生参与者四次完成全部测试集,成功率 100%。
▲ 198 AI 摘要 arXiv GitHub Qingchuan Ma, Yuexiao Ma, Xiang Meng, Yixuan Zou · MAC-AutoML
论文形式化了在不改模型权重的前提下,对智能体的提示词、记忆、工作流和可执行组件进行反馈驱动修订、并跨运行保留的过程,用进化优化刻画搜索,并基于持续 PAC 学习给出泛化界、保留界和高概率准入规则,同时讨论了对科研可靠性、物理安全和机构问责的影响。
▲ 187 AI 摘要 arXiv GitHub Chuyang Wei, Haoxiang Guan, Minghang Zhu, Kexin Zhou · ZGCAGI
清华团队提出 Dynamic Band Splitting(DBS),在固定频带 token 预算下,根据每段混音内容自适应决定频带边界和宽度,替代手工预设的固定切分。DBS 在 DnR v2、MUSDB18-HQ 和 EchoSet 上均优于对应静态模型,其中 DBS-BSRNN 在 DnR v2 上平均 SI-SDR 相对提升 29.0%。
▲ 131 AI 摘要 arXiv GitHub Bingzhe Zhang, Kai Li, Xiaolin Hu · Tsinghua Machine Learning Group
浙大 3DV 团队提出 InfiniSplat v2,通过冻结几何分支解耦几何与属性预测、训练时用真实相机位姿对齐高斯,并采用大角度目标视角监督。在六个数据集上取得所评方法中最佳的平均 LPIPS 和 DISTS;有位姿设定下两项指标分别比最强基线下降 25.8% 和 32.9%。
▲ 114 AI 摘要 arXiv GitHub Yongzhen Hu, Hao Yu, Jiawei Wang, Xianming Zeng · zju3dv
通义 MAI 团队推出 MAI-Gym,统一了手机、电脑和网页环境下的 GUI 智能体评测、数据采集和在线强化学习,支持 10 个基准、可扩展到 20,000 个并行环境实例。基于它训练的 MAI-Gym-9B 在 MobileWorld 达 78.4%、OSWorld-Verified 达 76.2%;在模拟购票应用中的强化学习迁移到真机后,任务成功率从 28.8% 提升到 48.1%。
▲ 93 AI 摘要 arXiv GitHub Panrong Tong, Quyu Kong, Pengxiang Li, Tianyu Xia · Tongyi-MAI
Google 等提出 CLASHarness,可生成可验证的多智能体冲突场景,如子智能体汇报过时状态、下达矛盾指令或争夺共享权限,并构建了含 600 个多轮任务的基准,保证每个任务都可解。论文用它评测了 15 个前沿模型,总结出三大瓶颈。
▲ 32 AI 摘要 arXiv GitHub Yuxiang Lai, Jike Zhong, Chengzhi Liu, Ming Li · Google