SAE Additivity Residual:检验稀疏自编码器特征是否可加#
论文指出稀疏自编码器(SAE)用稀疏、线性解码的特征表示激活,但特征的下游效应未必可加。作者引入 SAE Additivity Residual,用于衡量特征组合时偏离可加性的程度,并研究行为层面的组合性。
▲ 105 AI 摘要 arXiv GitHub Haotian Ma, Ziye Mei, Frederic Sala · OpenSAE
AI 深研院 · 共 8 条
Hugging Face Daily Papers 与 arXiv 精选
论文指出稀疏自编码器(SAE)用稀疏、线性解码的特征表示激活,但特征的下游效应未必可加。作者引入 SAE Additivity Residual,用于衡量特征组合时偏离可加性的程度,并研究行为层面的组合性。
▲ 105 AI 摘要 arXiv GitHub Haotian Ma, Ziye Mei, Frederic Sala · OpenSAE
CommerceGen-Studio 是面向电商 SKU 商业级主图生成的端到端框架,按三阶段管线组织。摘要强调服务商业级主图质量与生产流程。
▲ 52 AI 摘要 arXiv Xiaoli Xu, Zhengtao Wu, Zhengze Xu, Tao Liu · alibaba
统一多模态生成涵盖离散、连续与混合范式。Intern Lumina U2 提出多码本扩散大语言模型,旨在缓解单码本视觉分词器在表示能力上的局限,并更好对齐文本建模。
▲ 42 AI 摘要 arXiv GitHub Qian Yu, Zongyang Qiu, Juncheng Yan, Hongliang Li · Shanghai AI Laboratory
作者提出简单框架 OneWM,在统一因果训练下同时处理世界建模与动作建模,并探究二者能否相互促进;现有工作对这种互惠关系仍不清楚。
▲ 40 AI 摘要 arXiv GitHub Yue Su, Bokai Lin, Xinkai Wang, Chubin Zhang · Interactive and Active AI
DeltaStreamer 是面向流式视频理解的智能体框架,结合变化感知记忆、查询驱动规划,以及带回放的定向证据收集。目标是在查询到来前持续保留未来可能用到的细节,并弥补压缩历史时丢失的视觉证据。
▲ 39 AI 摘要 arXiv GitHub Boyuan Sun, Deshui Miao, Wenzhao Gao, Shaoyong Jia · ByteDance
作者将视觉校验器从二值真/假判断,推进为自动把复杂提示或环境规则分解为细粒度成分并打点分,以提供连续、更可解释的批评信号,用于提升组合性要求下的生成式世界建模。
▲ 32 AI 摘要 arXiv Bowei Liu, Xinchen Zhang, Xuhuan Li, Tianlin Zhang
Orbia 是面向交互式世界模型三维一致性的系统性评测基准,通过受控探索与再访,从输入保持、生成一致性等维度评估;作者称现有基准对几何属性或 VL 判断覆盖不足。
▲ 31 AI 摘要 arXiv GitHub Dongyue Lu, Guian Fang, Hur Lim, Yonggang Wu · Tencent
WorldCast 将多模态生成系统的能力整理为四层层级,并重点探索多步世界状态预测:模型需综合多模态上下文,预测世界如何演化并合成描绘变化的视觉输出;作者称高层任务仍相对欠缺系统研究。
▲ 30 AI 摘要 arXiv GitHub Wenhao Yan, Haodong Li, Xiaotong Li, Yaxin Luo · LongCat