论文通过实验证明了 ClonedPerson 虚拟数据集可以应用在多个任务中，如行人再辨识及其跨域泛化、 无监督域适应、无监督学习、和人体关键点检测。其中，跨库泛化性测试显著超越三大主流行人再辨识数据集（CUHK03、Market-1501 和 MSMT17）和当前流行的虚拟行人再辨识数据集（RandPerson 和 UnrealPerson）。
研究动机
数据匮乏一直制约着行人再辨识的发展，除了标注困难之外，近年来对监控视频数据的隐私敏感性的关注更是让这个问题雪上加霜，已经有一些公开数据集因此而下架了。与之相反，虚拟数据几乎无需标注且没有隐私敏感问题，且虚拟数据已经被证实能显著提升行人再辨识模型的泛化性能。
为此，研究人员提出了一些方法来生成大规模虚拟数据库，例如 RandPerson 和 UnrealPerson。然而，这些数据库中的人物衣着纹理与真实人物有很大的区别，限制了虚拟数据库的提升效果。
图 2. ClonedPerson 和 HPBTT 生成人物的对比图
此外，研究人员采用不同的方法实现了将 2D 照片中的人映射到 3D 模型上，例如 PIFu、HPBTT 和 Pix2Surf。然而，使用这些方法生成大规模虚拟数据库存在以下问题：
- PIFu 由于训练数据需要 3D 形状标注，限制了其得到充分有效的训练；
- HPBTT 通过神经网络模型生成的纹理相对模糊，衣服的纹理结构不够清晰（如图 2c 所示）；
- Pix2Surf 则需要输入背景相对简单且拥有正背面纹理的衣服照片；
- HPBTT 和 Pix2Surf 所采用的 SMPL 模型可能缺乏通用性，如图 2c 所示的裙子问题。
因此，为了解决上述问题，本文提出一种通过克隆单角度照片中的衣服生成大量三维人物模型的方案，并针对该方案设计了两种克隆方法。基于此方法可以将照片中的衣服纹理克隆到虚拟人物身上。
图 2 展示了此方法和 HPBTT 生成人物的对比图。考虑到生成数据的相似性和多样性，本文设计了一个相似性 - 多样性人物扩展策略来扩展人物模型。最后得到了一个包含自动标注的虚拟行人数据集 ClonedPerson。
该方法降低了对输入图片的要求（可以应用在互联网上获取的大量人物照片中），且设计的两种克隆方法能够得到清晰的正面纹理并自动补全背面纹理，因此可以不需要输入背面图片。
克隆方案
下图 3 展示了本文提出的克隆方案，包含以下步骤：首先在预处理阶段，使用行人检测、人物关键点检测、服装类型和服装关键点检测筛选图片；其次使用衣服配准映射和均匀布料扩展两种方法克隆衣服纹理并生成虚拟人物；最后将人物导入虚拟环境生成数据。
图 3. ClonedPerson – 从单角度人物照片到虚拟数据的方案图
其中，预处理阶段的方法是为了提升生成人物的成功率。由于存在大量单角度的照片可以克隆，选择一些正面且衣服图案未被遮挡的照片来生成人物可以显著提高服装分类和服装关键点检测的成功率，而且由这些照片生成的虚拟人物更具有完整的衣服纹理和服饰搭配。
