，即首先计算各个类别上平均的 precision-recall (PRC)曲线，通过某个阈值，获得平均 PRC 曲线中的一点
：
通过设定不同的阈值得到平均 PRC 曲线，
为平均 PRC 曲线下的面积。
实验设计
我们模拟现实世界中存在的两点限制：（1）模拟主观专家知识的差异：将位于细粒度叶子类别中的样本，选取其中 0%，30%，50%,，70% 以及 90% 的样本，重新标记到其对应的父类标签；（2）模拟图像质量的影响：将选取的重标记样本进一步降低其图像的分辨率。
消融实验
在表 1 中我们验证了层级残差网络中包含的层级专有特征提取层（GSB）、层级特征线性组合(LC)、以及针对组合后的层级特征的非线性变换（ReLU）各部分的作用：
表 1：通过逐步添加 HRN 网络中的关键部分: 层级专有特征提取层 (granularity-specific block, GSB)、层级间特征的线性组合(linear combination, LC)、以及最后对于组合特征的非线形变换 (ReLU) 获得 CUB-200-2011 数据集中最后一层级上对应重标记比例为 0% 的 OA(%) 实验结果。
在表 2 中我们验证了复合损失函数中多类交叉熵损失函数的作用：
表 2: 不同重标记比例下验证概率分类损失函数
与多类交叉熵损失函数
的结合效果，汇报 CUB-200-2011 数据集中最后一层级上的 OA(%) 实验结果
在表 3 中我们对比了复合损失函数与传统的层级分类损失函数对比的结果：
表 3：CUB-200-2011 数据集中最后一层级上重标记比例为 0% 对比复合损失函数与传统层级分类损失函数的 OA(%) 实验结果
在图 4 中我们利用 Grad-Cam 可视化算法展示各个层级响应的二维激活热力图：
图 4: 鸟类数据集上来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种 种类 (species: House Wren 与 Marsh Wren) 的鸟类图片上，我们方法产生的二维激活热力图
