三类视觉Token分配，能直接解决高压缩时序碎片化

长视频理解ETF杠杆炒股配资平台，正在成为多模态大模型的重要能力。

用户开始不再只问"视频里有什么"，而是希望模型能进一步回答：这个事件从什么时候开始？到什么时候结束？这类任务被称为视频时序定位（Video Temporal Grounding, VTG）。

但视频越长，visual tokens 越多，推理成本也越高。

一个直接思路是：剪掉一部分视觉 token。

SemVID 正是围绕这个问题展开。它的核心观点是：相比传统针对 VideoQA 的剪枝，VTG 剪枝不是简单删掉"不重要画面"，而是要保住一条支撑时间定位的 evidence chain。该工作已被 ECCV 2026 会议录用。

VideoQA 剪枝和 VTG 剪枝，根本目标不同

以往很多 token pruning 方法主要服务于 VideoQA。VideoQA 的目标通常是回答"视频里有什么""人物在做什么""物体是什么颜色"。这类问题往往只需要少数关键帧展示相关画面就可能答对。

但 VTG 的目标完全不同。VTG 要定位"什么时候开始、什么时候结束"。模型不仅要看到 query 相关对象，还要看到动作前后的状态变化。

比如查询是"一个人从柜子里拿出包"，模型不仅要看到"人""柜子""包"，还要看到动作发生前后的状态变化：手什么时候伸向柜子，包什么时候被拿出。

如果剪枝方法只保留几个最显著或最相关的画面，模型可能知道事件确实出现过，却无法判断准确边界。

换句话说，VideoQA 剪枝回答的是：哪些画面够回答问题？VTG 剪枝真正要回答的是：哪些证据能支撑时间定位？

这就是 SemVID 与既有方法的根本差异。

SemVID 的核心动机：保住 Evidence Chain

下图展示了 SemVID 的核心 motivation，即 VTG 需要的不只是局部证据，而是一条跨帧连接的证据链。

在 VTG 中，事件往往不是由最显著的某几帧决定的，而是由一系列状态变化共同定义的。

事件边界附近的 token 负责告诉模型"变化从这里开始和结束"，而中间的 relay token 负责连接前后状态。

一旦这些中间节点被剪掉，证据链就会断裂。模型可能仍然看到若干高相关画面，却无法显式地将这些画面关联起来，组成连续推理路径。

结果就是：语义理解还在，时间定位变差。

因此，SemVID 提出两个面向 VTG 的剪枝目标，意于组成支撑定位的证据链：

Evidence Retention：保留与 query 语义高度相关的 token，尤其是事件边界附近的关键证据。

Connectivity Strength：保留跨帧连接，让证据能沿时间传播，而不是变成孤立碎片。

方法：从语义角度分离每个 token 在视频中的角色

围绕证据链，SemVID 设计了一个 training-free token pruning 框架。它不需要重新训练 backbone，只在推理阶段决定保留哪些视觉 token。

元股证券:ygzq.hk股票极速配资开户

整个方法分两步。

先决定每一帧保留多少 token

如果平均分配预算，无关片段会浪费 token；如果只根据 query 相关度，预算又可能集中到少数高相关帧，导致中间帧被剪空，时间链路断裂。

SemVID 因此同时考虑 query 相关度和帧间变化两个信号。

相关帧包含目标事件，而变化帧往往靠近动作转折或事件边界，从而保证预算分配涵盖完整时间轴和证据链。

在每帧内部选择具体 token

如下图所示，SemVID 显式保留三类语义角色不同的 token：Object、Motion 和 Context。

Object token保留与 query 相关的对象证据，负责回答"发生了什么"。

为了防止反复选中同一物体附近的 patch，导致预算被相似的局部区域占满，SemVID 使用 MMR，让选出的 object token 既相关又互补，从而覆盖更完整的对象证据。

Motion token保留动作转折，负责回答"什么时候发生变化"。

SemVID 根据相邻帧之间的局部特征变化选择 motion token，并结合相关度过滤与 query 无关的背景运动。

它们不是普通运动区域，而是连接事件前后状态的 relay node。

Context token保留场景锚点，负责回答"证据发生在什么环境中"。

极端剪枝下，如果只留下对象局部，视频会变成一组碎片化证据。少量 context anchor 可以维持场景连续性，帮助模型把对象和动作放回正确语境中。

实验：SemVID 是否真的保住了证据链？

论文在 Charades-STA 和 ActivityNet-Grounding 上使用 Qwen3-VL 和 Qwen2.5-VL 进行评测。实验验证了 SemVID 是否在强压缩下仍能保持 VTG 所需的边界定位能力。

上图表明在相同 token 预算下，SemVID 在 mIoU、ER 和 CS 上整体优于现有剪枝方法。

尤其在低保留率下，其他方法往往出现明显性能下降；而 SemVID 仍能稳定保持较高 mIoU。这说明 SemVID 的优势不只是"压缩 token "，而是把有限 token 留在了真正影响时间定位的位置。

其中，mIoU 衡量最终定位精度，ER 衡量关键证据是否被保留，CS 衡量证据是否能跨帧连起来。

可以看到，SemVID 的 mIoU 提升通常伴随 ER 和 CS 的提升，这与团队的核心动机一致：VTG 剪枝不能只保留高相关画面，还必须保留一条可追踪的 evidence chain。

消融实验进一步解释了 SemVID 为什么有效。

去掉 Object Token 后，mIoU 和 ER 下降，说明 query 相关的对象证据是定位基础；去掉 Motion Token 后，mIoU 和 CS 下降最明显，说明动作变化 token 是连接事件前后状态的关键 relay；去掉 Context Token 后，CS 也会下降，说明少量场景锚点能帮助维持时间连续性，避免证据碎片化。

可视化：SemVID 能稳定保留动作相关证据

下图展示了不同剪枝方法的 attention 热力图。