教程论文解读原理其他

TSMamba：看时序一致性增强与空间互补 Mamba 如何攻克严重遮挡！

AiCharm2026-09-19 17:46

在无人机智能监控、军事态势感知及空地协同巡检中，多无人机（Multi-Drone）协同目标跟踪能够借助多机不同方位的视线重叠，极大缓解单机视角下的遮挡与视野盲区。

然而，现阶段主流的多机视觉跟踪模型普遍面临以下三大核心技术瓶颈：

跨机交互仅依赖模板，缺失实时时序与背景上下文：以往的多机跟踪器（如 ASNet、TranMDOT）普遍遵循“模板共享架构”，即仅在多机之间广播初始或历史帧的局部目标模板，并在本机的搜索区域内分别计算互相关相似度。模板仅包含历史静态目标先验，缺乏当前帧的动态时序信息，且完全脱离了周围背景环境；一旦遇到复杂背景或严重遮挡，单机搜索区极易发生特征混淆导致跟丢。
基于相似度的跨机交互对视角差异极度敏感：不同无人机的飞行高度、俯仰角及观测方位存在巨大差异，导致同一目标在不同机载镜头下的外观、尺度与可见部件截然不同。迫使本机的搜索区与跨机模板强行计算相似度极易因外观突变导致打分塌陷，产生不可靠的跨视角响应。
预定义静态响应图融合缺乏动态自适应性：多机特征融合通常采用手工预设或静态权重的加权策略，在无人机快速机动、环境光照剧烈变化及目标进出视场的动态任务中，无法根据各机实时观测质量动态调节贡献，导致低质量视角的噪声污染高质量视角。

针对上述痛点，国防科技大学电子科学学院与电子信息系统复杂电磁环境效应国家重点实验室团队在信息科学与多源融合顶级期刊 Information Fusion（最新影响因子高达 14.7）上发表了最新研究成果 《TSMamba: Multi-drone feature interaction via temporal-spatial mamba networks for aerial object tracking》。

研究提出了首个基于视觉状态空间模型（Vision Mamba）的多无人机特征交互跟踪架构 TSMamba。模型打破了传统仅共享模板的范式，首次直接对跨机搜索区特征进行显式增强，并结合时序一致性增强 Mamba（TCEM）、空间互补融合 Mamba（SCFM）与定位感知自适应响应图校正（LRMC），在权威双机基准 MDOT 和 MDMT 上大幅刷新 SOTA 表现，以显著优势领跑多机空空/空地协同跟踪领域！

核心架构拆解：时空解耦多向 Mamba 与单机自闭环响应流

TSMamba 整体构建了一条涵盖双向时空状态空间传播、跨机特征互补增强与单机无偏响应校正的流水线架构

双流特征交互解耦：将跨机交互拆分为“时序一致性提炼”与“空间多角度互补融合”，直接在搜索区特征层注入跨视角知识；

单机闭环匹配杜绝视角失配：增强后的特征不再与异构的外机模板计算相似度，而是回归与本机模板 z 进行单机自相关计算，从根源上消除了跨视角外观突变导致的相似度畸变；
方向感知动态决策加权：引入轻量化 LRMC 算子替代静态融合，实时自适应调节时空两种增强特征的置信度。

💡 核心机制一：时序一致性增强 Mamba（TCEM）

在多机空拍视角下，目标整体外观变化剧烈，但局部微观结构（如边缘、纹理、拐角特征）仍具备较强的局部物理一致性。TCEM 专用于将这种时序一致性注入当前搜索特征：

双向状态空间长程建模：将本机搜索特征展平为一维序列，分别通过正向与反向的一维卷积与状态空间方程（SSM），以线性时间复杂度提炼全域长程上下文信息。
局部特征引导激活：针对传统 Mamba 全局扫描易丢失微小局部线索的问题，TCEM 设计了专属二维卷积激活分支，将外机模板与本机搜索区投影相加后，经双层二维卷积与激活函数映射生成局部空间掩膜。
局部先验调谐增强：利用生成的局部掩膜对正反向状态进行逐元素加权标定，强制全局状态优先聚焦于符合时序不变性的目标潜在区域，输出强抗干扰的时序增强特征。

💡 核心机制二：空间互补融合 Mamba（SCFM）

当目标在一架无人机视角下被树木、建筑物或阴影完全遮挡时，另一架俯视或侧向无人机往往能清晰捕捉其未被遮挡的部件。SCFM 实现了多视角可见部件的跨机空间补全：

跨机双搜索区联合投影：直接接收两架无人机的搜索特征，分别提取双向隐状态，使两路视觉流在隐藏状态维度直接对齐。
全局特征引导激活：将两机搜索特征拼接后，通过轻量级线性层、一维卷积与状态空间算子构建全局互补关联矩阵，自适应评估哪些部件在另一视角清晰但在当前视角缺失。
跨视角多部件自适应缝合：通过学习到的全局互补权重，将外机清晰特征有选择地融合到受损的本机搜索区中，使被遮挡机能够补全原本缺失的目标轮廓，输出空间互补特征。

💡 核心机制三：定位感知自适应响应图校正（LRMC）

以往算法依靠固定的超参数相加融合多机响应图，在复杂动态空战场景下容错率极低。LRMC 实现了精准的定位引导重标定：

轴向解耦上下文聚合：将时序响应图与空间响应图分别沿水平方向和垂直方向执行全局平均池化，抽取出高响应中心在横向与纵向的一维分布矢量。
非局部交叉重加权：通过线性层与特征切分，学习出沿宽度方向与高度方向的权重向量，对双路二维响应图进行逐方向自适应加权求和，精准重组最终响应图。
精准抑制背景浮风噪点：该操作有效压制了非目标区域的弱脉冲响应，强化了包含目标真实中心位置的尖锐主峰，为分类与回归头提供了极高纯度的响应图。

** 实验表现：原文图表与三大权威无人机 Benchmark 全面解析**

论文在双机协同跟踪基准 MDOT（包含 92 对同步多视角视频、113,918 帧，含 10 种复杂空拍挑战属性） 以及密集目标基准 MDMT（双机呈 90 度垂直视角差） 上进行了系统验证（硬件统一采用 Intel i9-10900KF CPU 与单张 NVIDIA RTX 3090 24GB GPU）。

1. MDOT 综合基准对决：全面超越 SOTA

将 TSMamba 与相关滤波跟踪器（ATOM、Super-DiMP）、孪生网络（SiamCAR、SiamBAN）、Transformer 跟踪器（TransT、STARK、ODTrack）以及专用多无人机跟踪器（ASNet、TransMDOT、CRM-DiMP）展开全维度对比：

全指标大幅刷新记录：
- TSMamba 取得了 57.4% 的成功率（Success/AUC）与 79.9% 的精准率（Precision/CLE<20px），在所有评估模型中名列第一；
- 相比此前的顶尖多无人机跟踪算法 CRM-DiMP（52.4% / 75.9%），TSMamba 成功率绝对提升 5.0 个百分点，精准率绝对提升 4.0 个百分点；
- 相比自回归 Transformer 顶尖模型 ODTrack（54.7% / 75.4%），成功率依然领先 2.7 个百分点；
- 即使将两架无人机的单机视角单独拆开评测，TSMamba 在 Drone 1（58.5% / 80.9%）与 Drone 2（56.2% / 78.8%）上均展现出无可争议的最优表现。

2. 十大极限空拍属性全场景碾压

在针对无人机拍摄常见的 10 种极端恶劣工况分解测试中，TSMamba 在全部 10 项属性中全线斩获最高分：

完全遮挡工况（Full Occlusion）：成功率高达 50.7%，较次优基准（43.2%）断层式领先 7.5 个百分点；精准率高达 68.9%（领先 8.3 个百分点）；
视角剧烈变换（Viewpoint Change）：成功率达 55.8%（领先 4.7 个百分点），精准率达 79.5%（领先 6.8 个百分点），有力证实了“单机闭环匹配 + 跨机互补”策略对大角度相机运动的天然免疫力；
弱光与夜间追踪（Night / Low Resolution）：在极暗光照与低分辨率下依然保持 50% 以上的高成功率，远超普通纯视觉检测器。

3. 逐级消融实验与决策分析

三大核心模块累加增益：
- 去除三大模块的基础孪生网络基线成功率仅为 52.1%（精准率 75.5%）；
- 引入时序增强 TCEM 后，成功率跃升 3.6 个百分点至 55.7%；
- 引入空间互补 SCFM 单独即可带来 4.2 个百分点的显著跨越（提升至 56.3%）；
- 最终叠加热图校正 LRMC 达到顶峰的 57.4% 成功率与 79.9% 精准率。

局部与全局激活消融：在 TCEM 中剔除局部激活（LFA）导致性能回退 1.0 个百分点，在 SCFM 中剔除全局激活（GFA）导致性能回退 1.2 个百分点，印证了微观细节与全域上下文各自不可或缺的作用。
LRMC 算子优越性对比：相比传统的单纯卷积相加或交叉注意力融合，LRMC 不仅精度更高，且参数量完全持平，避免了二次方计算开销。

4. 高密集 MDMT 基准外推与多场景可视化（

高密度大视角差 MDMT 测试：在两机视角垂直相差 90 度且干扰密集的 MDMT 数据集上，TSMamba 取得 54.6% 成功率与 77.2% 精准率，大幅领先 ODTrack（50.1%）与 CRM-DiMP（49.8%），展现出卓越的复杂动态泛化能力。
实帧时序跟踪与热图质感：
- 连续帧 IoU 跟踪曲线1表明，在目标遭遇短暂停滞、夜间阴影遮蔽或大幅度相机翻滚时，CRM-DiMP 跟踪质量多次瞬间归零，而 TSMamba 展现出极平稳的高重合度曲线，发生瞬时遮挡后能秒级恢复锁定；

响应热力图呈现出干净利落的单极值尖峰，伪目标与高频背景反光被彻底归零；

在真实双机外场实拍试验中，面对车辆遮挡与密集人流穿行，两架无人机双视角均实现零漂移长期跟随。