机器之心专栏
作者：蚂蚁集团-大安全-数字身份及安全生态、浙江大学
来自浙江大学和蚂蚁集团 - 大安全 - 数字身份及安全生态的研究者提出了一种基于标签关系树的层级残差多粒度分类网络 HRN。
基于有监督式深度学习的图像识别任务中一个方面要求是构建整理大规模、高质量的标注数据，这就对图像质量和标注人员的背景知识有比较高的要求。例如，在细粒度分类任务中，标注人员需要依赖大量的领域知识去区分各种种类的鸟以及不同型号的舰船，如图 1 所示。
图 1: 不同种类的信天翁以及不同型号的航母
在图 1 中，标注人员需要借助鸟类专家的知识才能辨认黑脚信天翁与黑背信天翁，拥有一般鸟类知识的人员或许会将这两种鸟类归类为信天翁，而缺乏鸟类知识的人员可能只会将这两种鸟类归类为鸟。类似地，标注人员需要借助军事舰船专家的知识才能有效区分尼米兹级航母与企业级航母，而缺乏相关背景知识的人员可能会将这两类舰船归类为航母。也就是说，同一张图片会被拥有不同背景知识的标注人员标注到不同层级粒度的类别上。
除了背景知识对标注产生的影响，诸如鸟类辨别中的关键区域被遮挡、图像分辨率较低、或者图像比较模糊等图像质量因素也会干扰标注人员对于图像目标属于层级多粒度标签中的哪一类的判断，如图 2 所示。
图 2: 由于遮挡、分辨率等图像质量的变化与专家背景知识的差异，导致目标可能被标注到不同层级上
但是，传统的图像识别数据集类别设定中，针对某个特定任务例如通用图像分类任务或者细粒度分类任务，类别标签往往只位于同一层级中，无法鲁棒地利用标注到不同层级上的图片，对标注的要求较高。为了降低图像质量以及背景知识等带来的对标注数据的高要求、充分利用具有不同层级粒度标签的样本，设计建模目标层级语义结构的层级多粒度识别算法对于提升深度神经网络的鲁棒性具有十分重要的作用。为此，浙江大学联合蚂蚁集团提出了一种基于标签关系树的层级残差多粒度分类网络，收录到 CVPR2022 中。
- 论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Chen_Label_Relation_Graphs_Enhanced_Hierarchical_Residual_Network_for_Hierarchical_Multi-Granularity_CVPR_2022_paper.pdf
- 代码地址：https://github.com/MonsterZhZh/HRN
算法介绍
我们从三点观察出发构建我们的层级多粒度分类算法：（1）由于细粒度类别可以根据不同层次的抽象向上不停迭代归类形成树形类别结构，我们构建对应的标签关系树建模层级类别间的语义关系；（2） 基于标签关系树设计复合损失函数，使得具有不同层级粒度标注的样本在学习时可以传递层级间的知识；（3）现实世界中位于低层级的子类除了拥有自己的独特属性还会进一步继承来自父类的属性，我们首先为每个层级设置专有的特征提取层，根据主干网 络输出的特征提取各个层级相关的特征。然后我们参考深度残差网络中经典的残差连接 设计，实现为所有父类层级的特征以残差连接的方式融合到子类层级专有的特征中，进而用于当前层级类别分类的层级残差网络(HRN)。
