选

题

意

义

作为计算机视觉技术的关键研究领域——视频目标跟踪技术利用电脑的相关处理感知、识别和认识客观世界中的立体景像，实现人类视觉的跟踪功能。而目前，已经在视觉感知、图像分割、人脸识别、目标定位等方面取得了非常出色的表现。而这些研究成果在自动驾驶、智能机器人、智能监控领域、VR 现实虚拟、人机互动、AI医疗等众多实际应用中也已经取得了长足发展，正在以其独有的方式逐渐改变人类的生活方式，大大便利了现代人的生活。其中遥感图像因其自身方便、直观的特点，得到了人们的青睐，随着传感器成像技术的发展，遥感图像的质量逐步提高，遥感图像的种类也越来越多样化，这其中包括多模态、多光谱、多分辨率和多时相等各种类型。

当前，很多匹配算法都是为具体的应用场景而设计的，实际匹配系统的复杂性和多样性导致匹配算法数量众多，但是在宏观上，这些算法建立特征空间，建立相似性判据来度量特征间的相似性，利用相似度准则，从两幅图像的特征空间中寻找相似度最大的特征，并将其作为匹配的特征，求解基准图像和待匹配图像之间的变换模型参数，使两幅图像在相同的坐标系中保持一致。虽然可以用多种手段获取同一目标不同类型的遥感图像，但是，由于实际场景中背景复杂以及目标自身变化不确定等诸多不定因素的存在，使得多数传统跟踪算法均不能有效地实现目标转态的估计。同时，当前的基于深度学习的算法虽然实现了高精度的目标跟踪，但实时性通常不够好。由此，跟踪的关键在于如何在保证执行效率的前提下，自适应地应对跟踪过程中目标外观的变化和被遮挡问题。

为解决上述问题，本文深入研究了基于关键点语音对象特征匹配算法，将包含图像语义信息和空间结构信息的高层卷积特征与传统具有高分辨率的低层特征算子进行结合，在提高了算法表征目标的能力之外，能够实现对目标的快速精确定位。

国

内

外

研

究

现

状

概

述

关键点特征也被称为“兴趣点”，它是指图像中灰度在各个方向发生强烈变化的点，包括角点、两条及两条以上边缘的交点或边缘点等，特征点一般应具备可重复性和独特性。当前，空域特征点检测方法主要有三种类型：单一尺度特征检测算子、多尺度特征检测算子和仿射不变性特征检测算子。

Zdenek[1]首次提出了一种基于灰度图像的关键点特征提取方法，该方法利用自相似函数对像素之间的相似性进行了度量，能够高效地提取角点，并且运算速度快，但Moravec算子只计算八个方向的灰度变换，容易导致误判。为解决Moravec算子存在的问题，基于Moravec算子，Joao等人[2]提出了Harris算子，该算法采用基于局部自相关函数的角点和边缘组合检测器，以检测包含纹理和孤立特征的图像区域，改善了角点的检测效率和重复率。Dai等人[3]提出了一种用于处理低级图像的SUSAN角点检测算子，该方法通过关联每个像素和具有相似亮度的图像局部区域并使其最小化来进行特征检测，同时使用这个区域作为平滑邻域以达到降噪的效果。Saha等人[4]对Harris的角点对应函数进行了改进，提出了一种优化的特征选择准则，这种方法是Newton-Raphson搜索方式的扩展，能在图像发生仿射变换时工作，改进并完善了自己的工作，提出了加速分割检测特征算法，该算法在不损失效率的前提下对可重复性进行了优化，并能用较少的时间处理实时视频。

徐颖等人[5]提出将Hessian算子用于估计图像局部仿射形状，该算子需要计算工作量少，从而允许更有效的仿射适应，该算法通过非线性扩散滤波在非线性尺度空间中检测和描述二维特征，可以在降低噪声的同时保持图像边界，从而获得较好的定位精度和独特性。肖明等人[6]提出了一种新的尺度不变和旋转不变的特征点检测算子和描述符，即加速鲁棒特征，SURF依靠积分图像进行图像卷积，使用基于Hessian矩阵的检测器和基于分布的描述符提取特征点，在加快计算的同时其可重复性、独特性和鲁棒性也较好。Russakovsky等人[7]基于相位一致性和空间约束，利用SAR-SIFT从相位一致性强度图中提取特征点，并根据其空间约束进行遥感图像的匹配。贾迪等人[8]提出了一种OS-SIFT算法，其中Sobel和ROEWA算子分别用于从高分辨率的光学和SAR图像中提取梯度信息，提出辐射变化不敏感特征变换算法利用相位一致性理论计算相位一致图，并在最大距图上提取特征点实现了光学和SAR图像的匹配。

Everingham等[9]基于点信息的跟踪模型可分为两大类，一类确定性模型与一类概率统计学模型。其中确定性模型有将刚性约束与平行约束添加进贪婪算法中的MGE算法、GOA算法等。而概率统计学模型的主要思路是将观测值及模型的不确定性引进以估计目标当前所处状态。比如卡尔曼滤波器是通过将过去对误差的估计合并到新的对误差的测量中来估计将来的误差值，有一定借鉴意义。Henriques等[10]将粒子滤波器将目标在一幅图像中所处位置的可能性高低模拟成高斯分布，目标出现概率高则对该区域密集采样，概率低则稀疏采样，与逐步长滑动的检测方式相较大幅缩减了目标检测域。目前在LOT、IVT等算法中都使用了这种检测手段。党欣[11]根据产生式模型实现跟踪的主要算法思路是通过对每帧中同一类目标模型的后验概率进行建模，来找到目标在当前帧的最佳位置，表现出的是同一类物体间相似程度大小。而判别式模型的算法思路是划分不同类，寻找最佳划分分类面，然后以新目标相对分类面的位置推断其是不是目标。杨婧玮等[12]基于产生式模型的算法中主要有基于混高斯模型以及基于核均值漂移的目标跟踪算法等，具体如VTD、MTT与VTS算法等。而判别式模型中包含有TLD、HCF[13]、CMT[14]等众多极具代表的算法。经近几年多国多地大量研究人员的不断深入探索，利用深度学习的方法实现对目标追踪的主流模型有以下几种思路，一是所得目标样本有限的情况，此时利用大量已有数据集中的样本作为辅助训练样本首先对模型预训练，在实际跟踪中再使用当前跟踪结果对预训练的跟踪系统进行不断微调，使深度跟踪模型能够在具体场景中不断增强对目标的辨别能力。Ahmed等[15]将感知哈希作用于多媒体内容识别、检索、认证等信息安全领域，为多种信息服务提供了安全可靠的技术支撑。图像感知哈希属于感知哈希的范畴，是多媒体安全领域的一项新技术，与感知哈希具有相同的性质。图像感知哈希技术是将图像的特征数据映射到一个简短的字符串编码，是基于图像内容的一种紧凑表示，它使视觉上相同的图像映射到相同或相似的哈希，不同的图像映射成不同的哈希。

主

要

研

究

内

容

本文研究的是将语义对象特征进行共享的关键点匹配与跟踪算法。重点研究了如何将卷积神经网络所提取的语义对象特征与传统检测跟踪算法进行有机结合来提高整体算法的适应性和运行效率，实现在复杂跟踪环境下的快速、长时、稳定跟踪。主要研究内容如下：

（1）研究感知哈希框架的局限性。对感知哈希技术进行概述，分析感知哈希技术在关键点的语义对象特征匹配应用中的不足，针对现有基于图像显著图的感知哈希算法并没有对图像旋转操作取得良好鲁棒性的问题，引入共享语义对象特征的跟踪算法，使得检测到的显著性区域对旋转操作具有良好的稳定性。实验结果表明，改进后的显著图提取算法综合性能优异，较原始算法性能未明显下降，并且对旋转的鲁棒性得到了提升。

（2）研究模板更新机制。虽然采用语义对象特征的目标模型可以从一定程度上适应目标外观的变化，但当目标发生大幅度变化甚至与最初完全不同时，如果不进行适当的模板更新，会导致后续跟踪的不断偏移与错误。而本文通过分析目标的外观、形状等在变化时特征点的变化趋势，提出一种基于目标区域特征点变化趋势特点的模板更新策略，用于及时更新完善模板。

（3）研究抗遮挡算法处理机制。目标被遮挡物部分遮挡甚至完全遮挡是一种跟踪过程中的常见情况，但大多数跟踪算法却没有进行处理或考虑相应的处理方法，使得其在实际复杂场景中的应用受限。本文原算法对于发生遮挡时的处理能力也很有限，而本文提出一种基于分块互相关的抗遮挡机制对本文原算法进行了优化与改进，使得本算法对跟踪过程中出现的遮挡情况能够有效检测判断并及时处理。

拟采用

的研究

思　路

一、研究方法

（1）比较分析语义对象特征匹配方法。针对感知哈希应用中的不足，提出以基于共享语义对象特征的跟踪算法为模板进行改进，并通过实验，对改进算法的效果进行比较分析，发现改进后的算法可以提升对旋转操作的鲁棒性。

（2）引入自适应模板更新机制。设计了一种基于目标区域特征点变化趋势进行稀疏学习的模板更新策略，可在避免引入背景杂波等错误信息的基础上，根据目标自身外观信息实现模板的自适应更新。该机制使得算法对于目标外观的差异性变化会有更强的适应性，且避免了逐帧更新带来的高复杂度、高计算量以及易产生漂移的现象。

（3）提出抗遮挡处理机制。通过对目标区域合理分块，并结合连续多帧图像中每个子块的信息变化情况，提出一种基于分块互相关的抗遮挡处理机制，能够快速准确地完成遮挡状态的判断及处理，从而解决了长时间跟踪中可能存在的目标部分遮挡或完全遮挡而导致的目标丢失问题。

二、可行性分析

实验室资源条件丰富，实验软件技术发达，算法与理论基础完备便于参考，课题研究的保障条件完备。研究思路清晰，有创新，能解决研究内容中的问题。综上所述，本课题的研究方案和实验手段是切实可行的。

工作

进度

安排

序号

起止日期

任务

提交的阶段成果

1

12月11日—12月25日

（1-2周）

调研

调研报告

2

12月26日—1月13日

（3-3周）

查阅文献资料

论文综述

3

2月27日—3月12日

（4-5周）

系统分析

建立系统业务模型，功能模型，数据模型

4

3月13日—4月16日

（6-10周）

系统设计

功能设计，数据库设计，模块设计

5

4月17日—5月7日

（11-13周）

系统实现与调试

经过单元测试的源程序

6

5月8日—5月14日

（14-14周）

整理论文

论文全文

7

5月15日—5月21日

（15-15周）

修改、审核论文

论文全文

8

5月22日—5月28日

（16-16周）

准备答辩

各种答辩材料

参考

文献

目录

1. Zdenek Kalal, Krystaan Mikolajczyk, Jin Matas. Trackmg-learnmg-detection[J].IEEE transactions on Pattern Analysis and Machine Intelhgence, 2019(7):1409-1422.

2. Joao F Henriques, Rui Caseiro, Pedro Martins, Jorge Batista. High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018(3):583-596.

3. Dai WY, Yang Q, Xue, et al. Boosting for transfer learning. [J]. Icml, 2010, 238(6): 1855-1862.

4. Saha B, Gupta S, Phung D, et al. Multiple task transfer learning with small sample sizes[J]. Knowledge & Information Systems, 2016(2):315-342.

5. 徐颖，周焰.SAR图像配准方法综述[J].地理空间信息，2019(3):63-66+72+3.

6. 肖明，鲍永亮，颜仲新.基于点特征的图像配准方法综述[J].兵工学报，2019(2):326-340.

7. Russakovsky O, Deng J, Su H, et al. Image Large Scale Visual Recognition Challenge[J]. International Journal of Computer Vision, 2015(3):211-252.

8. 贾迪，朱宁丹，杨宁华，吴思，李玉秀，赵明远.图像匹配方法研究综述[J].中国图象图形学报，2019(5):677-699.

9. Everingham M, Van Gool L, Williams C K I, Winn J, Zisserman A. The pascal visual object classes challenge[J]. International journal of computer vision, 2018(2):303-338.

10. Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020(3):583-596.

11. 党欣，马洪兵.基于闭合区域特征的光学和SAR遥感图像配准[J].电子设计工程，2019(4):113-117.

12. 杨婧玮，李贺，王智超.改进Frost算子在SAR图像斑点噪声抑制中的应用[J].测绘科学技术学报，2019(4):280-282+287.

13. 乔川，丁亚林，许永森，等.基于地理位置信息的图像配准方法及精度分析[J].可见光学报，2017(8):325-335.

14. 李映，崔杨杨，韩晓宇.基于线特征和控制点的可见光和SAR图像配准[J].自动化学报，2020(12):1968-1974.

15. Ahmed F , Siyal M Y , Abbas V U . A secure and robust hash-based scheme for image authentication[J]. Signal Processing, 2021(5):1456-1470.