DroneCrowd—无人机人群检测、跟踪和计数多任务学习

      配备摄像头的无人机或通用无人机(UAVs)已迅速部署到广泛的应用领域，如人群分析和公共安全的视频监控，使得基于无人机平台的人群密度自动估计、计数和跟踪成为重要任务。基于无人机平台进行人群检测、跟踪和计数面临视角和尺度变化、背景复杂和小尺度等各种挑战。天津大学机器学习与数据挖掘团队为了促进基于无人机的视频目标检测、跟踪和计数算法的发展，构建了一个新的大规模无人机视觉数据集（DroneCrowd），并设计了时空近邻感知网络(STNNet)，可在单模型中同时实现人群检测、跟踪和计数三个任务。

数据集-DroneCrowd

      团队构建了一个新的无人机采集的大规模数据集（DroneCrowd），该数据集由不同场景下的112个包含3.36万高清帧的视频片段组成，并用480万个head点和多个视频级属性注释了20800人的轨迹。该数据集在尺度、视角和背景方面变化剧烈，包含三个视频级属性：光照、尺度、密度。

模型——STNNet

      团队设计了空时邻居感知网络(STNNet)，解决了密集人群中目标的检测、跟踪和联合计数问题。STNNet由特征提取模块、密度图估计、定位和关联子网组成。

     1、特征提取模块：首先利用双分支cnn提取多尺度特征，然后计算连续两帧提取特征之间的相关性来利用时间关系。

     2、密度图估计模块：通过估计视频帧中物体的密度来进行人群计数。

     3、定位子网络：由分类和回归分支组成，在每一帧中输出目标的精确位置。

     4、关联子网络：预测并进行跟踪连续帧中目标的运动特征，充分利用时间一致性。

在拥挤的场景中，物体通常聚集在一个小区域，在连续的帧中通常共享相似的运动模式。为了利用相邻对象的运动一致性，我们设计了一个近邻信息损失来指导关联子网生成精确的运动偏移量，它由时间预测约束和关系约束两部分组成：时间预测约束强制候选目标在连续帧的预测运动偏移中接近；关系约束使目标与相邻目标之间的关系向量逼近其相关联的ground truth的关系向量。

实验结果

数据集和代码下载