这些序列包括拥挤的室内和室外场景,记录在不同的照明和环境条件下,这确保了数据集的足够多样性,使其能够用于训练和评估基于现代深度学习技术的全面性。
最大行人密度达到每帧约346人,而整个数据集的平均行人密度为178,表1给出了CroHD的详细顺序总结,我们将CroHD分成4个5740帧序列进行训练,5个5723帧序列进行测试,他们有三个相同场景,而第四个场景是不同的,以确保在这个数据集上的跟踪器的泛化,每个CroHD序列的代表帧及其各自的训练、测试分割如图2所示,我们将使我们的序列和训练集注释公开,为了保持MOTChallenge CVPR19基准测试的公平性,我们将不发布与测试集对应的注释。
注释 CroHD的注释和数据格式遵循motchallenge基准所概述的标准指南,我们在一个场景中注释了所有可见的人头,而可视性留给了注释者最好的裁量权,所有肩膀可见的人的头都被标注,包括被头罩遮挡的头,如头巾、帽子等,对于从MOTChallenge CVPR19基准继承的序列,注释的执行独立于行人跟踪真实值,以便在两种模式之间没有依赖性,由于视频序列的高帧率,我们在关键帧之间插入注释,只在必要时调整跟踪。
CroHD包含四个类:行人、车上的人、静态和忽略,雕像的头像或衣服上的人脸都被标注上了“忽略”的标签,车辆、轮椅或婴儿运输工具上的行人的头部被注释为Person on vehicle,在整个序列中没有移动的行人被归类为静态人员,与标准的MOTChallenge基准测试不同,我们观察到边界框之间的重叠是最小的,因为从高架视角看头部边界框几乎是不同的,因此,我们将可见性标志限制为二进制—要么可见(1.0),要么遮挡(0.0),如果与基础真值的交集过并(IoU)大于0.4,我们认为一个提议是匹配的。
4. 评价指标
对于CroHD上头部检测的评价,我们分别遵循标准的多目标检测指标均值平均精度(mAP)、多目标检测精度(MODA)、多目标检测精度(MODP)和mAP COCO,mAP COCO是一个更严格的度量,它计算AP的平均值跨越IoU的阈值{50%,55%,60%,…, 95%}。对于跟踪器的评估,我们采用了完善的多目标跟踪指标,并扩展了提出的“IDEucl”指标。
IDEucl 虽然基于事件的度量和基于身份的度量(IDF1)从局部和全局角度来看是跟踪算法的有说服力的性能指标,但它们并不能量化跟踪器能够覆盖的真实轨迹的比例。
具体地说,现有的度量不测量真实轨迹在图像坐标空间中的比例,跟踪器能够保持一个标识,重要的是要定量区分跟踪器,哪些跟踪器更有效地跟踪了大部分真实行人轨迹,这在密集人群中特别有用,可以更好地理解全局人群运动模式。为此,我们提出了一种新的评价指标“IDEucl”,它基于跟踪器在图像坐标空间中保持真实轨迹长度一致标识的效率来衡量跟踪器,尽管如此,IDEucl似乎与现有的IDF1度量相关,该度量度量保持一致ID的真实轨迹的帧的比例,相比之下,IDEucl测量的是分配了正确ID的路程的百分比。