视频推理框架进展I

标题：SiLVR

代码地址：https://github.com/CeeZh/SiLVR

发表日期：2025-05-30

摘要：近年来，测试时间优化的进步使得大模型（LLM）在推理能力方面取得了显著的提升，使它们能够解决数学和编码方面高度复杂的问题。然而，多模式大模型（MLLM）的推理能力仍然落后很多，特别是在复杂视频语言任务方面。为了解决这个问题，我们提出了SiLVR，一种基于语言的简单的视频推理框架，SiLVR将复杂的视频理解分解为两个阶段：在第一阶段，SiLVR使用多感官输入（如短片段字幕和音频/语音字幕）将原始视频转化为基于语言的表示形式。在第二阶段，语言描述被输入到一个强大的推理大模型中，以解决复杂的视频语言理解任务。为了处理长上下文的多感官输入，采用了一种自适应令牌减少方案，该方案动态地确定采样令牌的时间粒度。我们提出的简单、模块化和无需训练的视频推理框架在Video-MME（长）、Video-MMMU（理解）、Video-MMLU、CGBench和EgoLife上实现了最佳报告结果。此外，对视频推理能力的实证研究显示，尽管这些强大的推理大模型没有明确地在视频中接受过训练，但它们能够有效地从视频中聚合来自视频、语音和音频的多感官信息，用于视频中的复杂时序、因果、长上下文和知识获取推理任务。

论文地址：http://arxiv.org/abs/2505.24869v1