首页 > 社交 > 科普中国

CVPR

常驻编辑 科普中国 2022-07-15 行人   照片   数据   相似性   纹理   多样性   模型   本文   衣服   真实   人物

v10拜客生活常识网

表 1. 虚拟行人数据集统计表。Cam:摄像头数,Sur:模拟真实监控场景,Real:使用真实衣服纹理,Outfit:考虑服装搭配v10拜客生活常识网

实验结果v10拜客生活常识网

实验结果表明,ClonedPerson 可以被应用在传统的单库行人再辨识(表 3)、跨库可泛化的行人再辨识(表 2、3、4)、无监督学习(表 3)、无监督域适应(表 3、4)和人体关键点检测(图 7)中,且 ClonedPerson 训练出的模型在跨库测试中有良好的泛化性能。v10拜客生活常识网

v10拜客生活常识网

表 2. 使用 QAConv 2.0 在不同数据库上的跨库测试结果v10拜客生活常识网

v10拜客生活常识网

表 3. 不同模型在 ClonedPerson 测试集的结果。绿色区域:跨库测试;灰色:库内测试;蓝色:UDA;粉色:无监督学习v10拜客生活常识网

v10拜客生活常识网

表 4. 不同任务在不同数据库上的 mAP 结果。TransM:TransMatcher,RP: RandPerson, RP*:RandPerson中的人物在 ClonedPerson 环境中渲染, UP:UnrealPerson,CP:ClonedPersonv10拜客生活常识网

从跨库测试(表 2 和表 4)的结果可以看出,ClonedPerson 数据库能很好地应用在可泛化的行人再辨识任务中。例如,表 2 表明,对比真实数据库,ClonedPerson 上训练的模型泛化性能显著超过在真实数据库(CUHK03,Market-1501 和 MSMT17)上训练的模型。v10拜客生活常识网

表 4 表明,对比已有的虚拟数据库,ClonedPerson 训练的模型在 CUHK03 和 Market-1501 上具有更好的泛化性能。UnrealPerson 更真实的场景(采用虚幻引擎)和更多的摄像头数可能导致 ClonedPerson 在 MSMT17 上的泛化性能弱于 UnrealPerson。但是,考虑到三个真实数据库的平均泛化性能,ClonedPerson 则更胜一筹,证明了从照片中克隆衣服生成虚拟数据的有效性。v10拜客生活常识网

此外,本文还使用 ClonedPerson 作为测试集进行测试(表 3)。实验结果表明,一方面,ClonedPerson 可以支持多个行人再辨识任务;另一方面,在 ClonedPerson 上的测试结果(表 3)显著低于在真实数据库上的测试结果(表 2),表明 ClonedPerson 本身也是一个相当有挑战性的数据库。v10拜客生活常识网

ClonedPerson 还可以用在无监督域适应(UDA)任务中。当 ClonedPerson 作为源数据集时(如表 4 所示),对比 RandPerson 和 UnrealPerson,ClonedPerson 具有更高的平均泛化性能。当 ClonedPerson 作为目标数据集时(如表 2 蓝色区域所示),由于多样化的摄像头和大量的相似人物,在 ClonedPerson 上的 UDA 性能还有很大的提升空间。v10拜客生活常识网

除此之外,ClonedPerson 的关键点信息也可以用来训练人体关键点模型。图 7 展示了用 ClonedPerson 训练的人体关键点检测模型在真实数据集上的检测效果示例图。为了节省存储空间,ClonedPerson 目前只记录了 7 个基本关键点,但数据渲染过程中可记录更多关键点的位置信息用于后续扩展。v10拜客生活常识网

v10拜客生活常识网

图 7. 人体关键点检测结果v10拜客生活常识网

结论v10拜客生活常识网

本文提出了一种通过克隆单角度照片中的衣服生成大量三维人物模型的方案,并在该方案中设计了两种克隆方法和一种相似性 - 多样性人物扩展策略,最终得到了一个包含自动标注的虚拟行人数据集 ClonedPerson。本文通过实验证明在克隆照片生成的数据库上训练能提升行人再辨识模型的泛化能力和支持相关的多个任务。

相关阅读:

  • 防碰撞预警有什么用,行人防撞预警系统可以关闭吗
  • 中西欧行游影记(5)—德国北威州杜伊斯堡(三)
  • 特斯拉又撞人了,行人的身体被车轮碾压,车没有紧急制动的
  • 西安有哪些路口抓拍“车不让人”的行为?
  • 荣和城的夜
  • 句子精辟逗比,趣味满满
  • 梧叶声秋芭蕉愁,家人闲坐灯火亲
  • 汕头南澳岛水龙卷上岸:行人奔逃 当时的情况是怎样的?
  • 大事见格局,细节看人品;世间本无事,一切在人心
  • 在俄罗斯旅游,看到路边的小木屋不要靠近,驴友:进去容易出
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。