高清视频跟踪及实现

　

跟踪器

高性能高清视频跟踪器，采用“样本-训练-检测”的多尺度自学习跟踪算法，很好地解决了场景运动、目标的非刚性运动、遮挡和自遮挡、弱小及噪声等恶劣等环境下的目标跟踪鲁棒性问题，使得对各种目标的跟踪更加可靠稳定。模块集成了多种目标检测算法，可编程两轴平台驱动控制（PID）算法，并支持各种镜头：固定视场镜头、连续调整的可变视场镜头、分级调整视场的镜头。 高清视频跟踪器，硬件是基于运算功能强大的GPU和FPGA，运算能力强大而宽裕，可按客户需求订制特定算法，以满足用户特定应用需求。高清视频跟踪器支持三种跟踪模式：常规跟踪模式，场景跟踪模式，自动跟踪模式。高清视频跟踪器支持多路高清视频输入，硬件可选支持存储及网络传输功能。可自成一体快速构建一套视频跟踪系统，又可作为一个跟踪模块快速集成到用户的视频应用系统中，应用方式灵活多样。

典型应用方案

构成光电自动视频跟踪系统的应用方案有2种：①、自成一体；②、受控于主控设备

1.自成一体

 自成一体构成光电跟踪系统如图，所需设备包括：摄像机、转台、AVT22、操作手柄、显示器；事先可通过计算机配置软件将所有相关参数调试好；所有的操作都可以通过手柄控制完成；

2.受控于主控设备，与主控设备一起构成光电跟踪系统，这种应用有2种方式，如图所示

 

受控于主控设备构成光电视频跟踪系统时，所需设备包括：摄像机、转台、AVT22、主控设备、显示器；所有的操作和相关参数配置都可以通过主控设备完成；

这两种方式的区别在于：一种是由AVT22控制平台转动；另一种是AVT22反馈偏差给主控设备，由主控设备控制平台转动跟踪目标。

特点

1. 算法：采用“样本-训练-检测”的多尺度自学习跟踪算法，跟踪稳定可靠。
2. 三种工作模式：

1. 常规目标跟踪：即通过手动移动跟踪波门框定特定目标进行跟踪。有三种方式可用来选择目标：
   1. 移动波门：是指通过手柄或主控设备移动波门位置来框定需要跟踪的目标；
   2. 移动转台：是指通过手柄或主控设备控制平台转动（即摄像机转动），从而找到需要跟踪的目标；
   3. 移动目标检测：是在设定的区域内，AVT22自动检测移动目标，通过手柄或主控设备手动选择这些移动目标来进行跟踪；
2. 场景跟踪：控制转台对准感兴趣的场景，然后启动对这个场景的跟踪，算法会提取场景的特征，跟踪不受场景中某些暂时运动的目标影响。
3. 自动跟踪监视：是设定的区域内，AVT22自动检测移动的目标，安装设定的目标优先级，选择优先级高的目标进行自动跟踪；

1. 目标检测：
   1. 算法：移动检测算法
   2. 目标检测区域：可设置一个区域，仅对区域内进行移动目标检测；
   3. 检测的目标个数最大值可以设置，最大值不超过10；出厂设置的最多检出目标个数是5个；
   4. 优先级：支持对检测出的目标区分优先级。在自动跟踪监视模式下，AVT22优先选择优先级高的目标进行自动跟踪监视。

 优先级判据：

• 距离靶心的位置、亮度和目标面积大小
• 距离中心的位置：可以设置目标距离靶心最远还是最近优先；
• 亮度：可以设置目标最暗还是最亮优先；
• 目标面积大小：可以设置目标面积最大还是最小优先；

4.各种类型的镜头：固定视场、连续可调视场，分级视场。

5. 多种输出：像素偏差输出、直接的转台控制命令输出、平台PID控制算法运算结果的输出。

6.支持目标丢失后的惯性跟踪：由于遮挡造成跟踪目标短暂丢失，在设定的时间内可保持对跟踪目标的惯性跟踪。

7.支持在自动跟踪过程中，手动对正在进行跟踪的目标的中心位置进行微调。

8.支持在当前目标自动跟踪过程中，选择下个要跟踪的目标，并快速切换对新选定目标的跟踪。

9.跟踪窗口：可设置一个固定的尺寸的波门，或使用自适应目标尺寸的波门。

10.OSD：除可以在画面上叠加跟踪波门、瞄准十字线等外，还可支持用户自定义的OSD。

11.手柄控制：直接支持某些型号的手柄以及用户特定的手柄。

12.支持多达5路的传感器输入。

应用场合

机载光电观瞄系统

车载光电跟踪系统

舰船光电跟踪系统

导弹、飞机实时跟踪

武器系统导引

武器系统评估

电子对抗评估

轨迹分析

模拟器系统

炸弹和武器命中率评估

跟踪系统的自动校正

激光瞄准

目标测量

边防监视跟踪系统

安防监视

车辆和卫星在进入跟踪

生物行为分析

图像匹配

 

电气接口

1.通讯及控制接口

• 1 路千兆以太网口；RJ45
• 2 路RS232/RS422/RS485 串口
• 可选接口：1 路USB2.0、1 路USB3.0 接口；1 个SATA 接口
• 电源： DC12V，3A
• 机械特征

裸板机械尺寸180 mm * 100mm * 22mm；

带机壳机械尺寸：215mm×144mm×42mm；

重量：裸板：240g；带机壳：约800g；

视频接口

1. 输入：5路高清SDI ，其中有一路可选支持PAL 模拟信号
2. 输出：1 路SDI，1路HDMI

环境适应性

1. 工作温度：0℃～75℃，支持扩展温度：-45℃～70℃，存储温度：-55℃～80℃；
2. 湿度：最大 95%，无霜；
3. 震动：正弦：10g（15-2000Hz）；随机：0.04g2/Hz（15-2000Hz）；
4. 冲击：>30g，11ms，锯齿波

其他

注：产品暂未使用薄膜按键。

1. 后面板（从左向右依次介绍）
   1. 电源开关（带锁）：扳至上端为开，下端为关。
   2. 电源接口（DC_12V）：直流12V（±5%）、3A电源。

1. 接线端子（INTERFACE）:主要包含2路串口信号：

1. 串口1：支持像素偏差输出、直接转台控制命令输出（现阶段是PELCO-D）、平台PID控制算法运算结果的输出;
2. 串口2：用于接收主控设备的命令控制，以及向主控设备反馈AVT22状态信息等;

接线端子采用2x10 3.5mm间距阶梯式接线端子，其定义如下：

管脚号	信号名	信号定义	管脚号	信号名	信号定义	备注
1	GND	地	2	GND	地
3	RS422TX1+	串口1数据发送信号+	4	RS422TX1-	串口1数据发送信号-	用于输出跟踪偏差或者转台控制命令，如pelco协议
5	RS422RX1+	串口1数据接收信号+	6	RS422RX1-	串口1数据接收信号-
7	RS422TX2+	串口2数据发送信号+	8	RS422TX2-	串口2数据发送信号-	与配置软件或者用户的主控设备通信
9	RS422RX2+	串口2数据接收信号+	10	RS422RX2-	串口2数据接收信号-
11	保留		12	保留
13	保留		14	保留
15	保留		16	保留
17	保留		18	保留
19	保留		20	保留

凡是注明“保留”的信号，一定不要有任何连接

1. 1. usb接口（USB2和USB3）:采用标准USB TYPE A插座
2. NET接口（NET）：1路100M/1000M网络接口，采用标准RJ45千兆以太网插座，可用于：

1. 支持像素偏差输出、直接转台控制命令输出（现阶段是PELCO-D）、平台PID控制算法运算结果的输出；
2. 接收主控设备的命令控制；
   1. 1. 向主控设备反馈状态信息
   2. 视频输入输出
      1. 视频输入（5路）：插座型号是 SMA-KWHD，5路sdi视频输入或4路sdi视频输入+1路PAL输入
      2. 输出接口：支持2路高清视频输出（1路HDMI，1路SDI）

• • HDMI视频输出（HDMI_OUT）：采用标准的 HDMI TYPE A 插座：数字处理后的视频输出，可选叠加：字符、跟踪框、靶心等，视频分辨率最高为1920*1080p@60Hz:出厂默认输出分辨率为1920*1080p@60Hz；
  • SDI视频输出：插座型号是 SMA-KWHD，跟随HDMI输出选择的视频通道进行显示，视频分辨率:1920*1080p@30Hz）

信号定义如下表：

名称	信号定义
SDI_IN_ I1	输入通道1，SDI视频信号
SDI_IN_ I2	输入通道2，SDI视频信号
SDI_IN_ I3	输入通道3，SDI视频信号
SDI_IN_ I4	输入通道4，SDI视频信号
SDI_IN_I5/CVBS_IN	输入通道5，SDI/CVBS视频信号（默认为CVBS信号，如需SDI输入，在订货时与厂家说明）
SDI_OUT	输出通道，SDI视频信号（暂未开放）

（2）裸板接口（未介绍的接口参考机壳接口）

1. SATA接口：

采用标准的SATA接口插座

1. 薄膜按键接口

采用软连接与板卡相连，末端采用DIP-12排针，其定义如下：

管脚号	信号名	信号定义
1	KEY_UP	按键-”上“
2	KEY_DOWN	按键-”下“
3	KEY_LEFT	按键-”左“
4	KEY_RIGHT	按键-”右“
5	KEY_MENU	按键-”菜单“
6	KEY_OK	按键-”确认“
7	KEY_CANCLE	按键-”取消“
8	GND	地
9	LED-RUN	运行指示灯
10	GND	地
11	LED-FAULT	故障指示灯
12	GND	地

问与答

的三种工作模式在应用上的区别

有三种工作模式，

1. 常规目标跟踪：即通过手动移动跟踪波门框定特定目标进行跟踪。这种应用主要应用于需要对某一特定目标做持续的观察。有三种方式可用来选择目标：
   1. 移动波门：是指通过手柄或主控设备移动波门位置来框定需要跟踪的目标；
   2. 移动转台：是指通过手柄或主控设备控制平台转动（即摄像机转动），从而找到需要跟踪的目标；
   3. 移动目标检测：是在设定的区域内，自动检测移动目标，通过手柄或主控设备手动选择这些移动目标来进行跟踪；
2. 场景跟踪：控制转台对准感兴趣的场景，然后启动对这个场景的跟踪，算法会提取场景的特征，跟踪不受场景中某些暂时运动的目标影响。这种模式主要应用于安置于运动载体（如无人机、车辆等）上光电系统对一个场景保持相对稳定的观察监视。
3. 自动跟踪监视：是设定的区域内，自动检测移动的目标，安装设定的目标优先级，选择优先级高的目标进行自动跟踪；这种模式主要应用于对某一区域进行无人值守自动监视。
4. 高清与标清的区别

     标清只能处理标清模拟视频。高清不仅可以处理高清和标清视频。且跟踪性能方面高清也较标清有大幅度的提升。另外高清可以单独构成跟踪系统，而标清只能作为跟踪算法处理模块配合主控设备实现视频自动跟踪系统。 

文章最后发布于: 2018-12-04 09:24:32

相关阅读

QT/C++从新手到老手系列之QT中级篇-李浩林-专题视频课

QT/C++从新手到老手系列之QT中级篇—309人已学习 课程介绍    本阶段主要带领同学们完成以下几个方面的学习：文件、目录、输入

小咖秀&模样，短视频类APP竞品分析报告

1.短视频应用的发展趋势随着科技的不断发展，信息的传播方式一定会朝着表现力越来越强、包含的信息量越来越多的方向发展。现如今，单

2019最新北风网Ant+Java全套视频课程

《北风网陶宝哥老师Ant使用全攻略全套》完整版[北风网陶宝哥老师Ant使用全攻略全套下载].IBM.Websphere.Deployment.And.Advanced

短视频第8弹：到底什么样的内容方向可以杀出重围

想必大家已经都看过小雨前几期的文章了，在这期间，许多朋友找到了小雨，也进入了我们的交流群中，一起讨论、学习，这使得小雨也获益良多。

视频转码解决方案

视频转码解决方案现有解决方案CPUGPUFPGAASICTBD现有解决方案 CPUGPUFPGAASICCPU Intel - QSV优势 -1.灵活性高不足 -1.效率低，功