机器之心专栏
作者：王雅楠、廖胜才
本文通过从单张照片克隆整套衣服穿搭到三维人物，构建了一个包含 5621 个三维人物模型的虚拟行人数据集 ClonedPerson。这些虚拟人物在游戏环境里模拟真实监控渲染了多场景下的多摄像机视频。实验表明，该数据集在行人再辨识任务取得了良好的泛化性，并可应用于无监督域适应、无监督学习、人体关键点检测等多个相关任务。相关论文已被 CVPR 2022 接收，数据和代码已开源。
- 论文地址：https://arxiv.org/pdf/2204.02611.pdf
- 项目地址：https://github.com/Yanan-Wang-cs/ClonedPerson
引言
大规模虚拟数据已经被证明能显著提升可泛化的行人再辨识能力。现有的虚拟行人数据库（例如 RandPerson 和 UnrealPerson）的人物穿着与现实生活差距较大，且没有考虑服装搭配问题。
如下图 1 所示，（a）RandPerson 的随机颜色和纹理组合生成虚拟人物的策略使其人物偏卡通化；（b）尽管 UnrealPerson 使用了真实衣服纹理来生成人物，但由于衣服纹理的尺寸问题，生成的虚拟人物和真实人物依然有较大的差异，且未考虑上下半身的协调穿搭。
图 1. RandPerson, UnrealPerson 和 ClonedPerson 的对比图
有鉴于此，本文提出一种自动从单角度人物照片中克隆整套衣服穿搭并产生三维人物模型的方案，并在游戏环境里模拟真实监控进行渲染，由此得到一个更真实的大规模虚拟行人数据集，并最终提升行人再辨识模型的泛化表现。
不同于已有的通过视频或多视角照片重建的方法，我们立足于克隆单张照片中的整套衣服生成虚拟人物。这样可以使用互联网上大量人物照片进行服装克隆，达到规模化的限制条件很低。
另外由于本文提出的方法将照片中人物的整套衣服克隆到虚拟人物身上，有效解决了现有虚拟数据库服装搭配与现实生活不匹配的问题。
具体而言，本文设计了衣服配准映射（registered clothes mapping） 和均匀布料扩展（homogeneous cloth expansion）两种方法来克隆衣服纹理。
其中，衣服配准映射主要针对目标 UV 纹理图衣服结构清晰的人物模型，根据正面人物照片和模型纹理图中衣服对应关键点的位置进行投影变换，从而保留衣服纹理的清晰度和纹理结构。均匀布料扩展主要针对人物背面（在正面照片中背面纹理不可见），通过找到并扩展衣服区域面积最大的同质纹理实现自动填充人物背面纹理。
除此之外，本文还提出一个相似性 - 多样性人物扩展策略，通过聚类的方法使生成的虚拟人物既具有相似性，又具有多样性，从而形成最大效用的大规模虚拟行人数据集。该方法通过克隆同一聚类的人物照片生成相似人物，同时通过克隆不同聚类的人物照片生成多样性的人物。
最后，通过在 Unity3D 的场景下进行渲染得到一个包含自动标注的虚拟行人数据集，称为 ClonedPerson。它包含 5621 个虚拟人物，6 个场景，24 个摄像机，168 段密集行人的视频，887,766 张切好的行人图片。图 1 c 展示了部分虚拟行人图片。
