评价指标

[SuQinghang]

您好，我最近在阅读论文和复现Multi-scale learning baseline时对论文中所采用的评价指标有几点迷惑，还望解答!
首先说一下我的实验设置：

1. 数据组织按照您所公布的源代码，backbone采用resnet34（imagenet pretrained）。
2. 我目前只在Multi-Similarity Loss上进行了测试。因为每个batch中fine、middle、coarse的图像各占1/3，在某个scale下进行损失计算时，我只选择当前scale的1/3图像作为anchor来组织样本对。如假设batch-size为1，那么一个batch中有K*3张图片，前K张为fine-scale下采样出来的图片，那么在fine上进行损失函数计算时，我只使用K张图片作为anchor，negative的话则在整个bath上选择。
3. 训练时batch-size我设置的为5， MS Loss的学习率等参数按照作者源代码中进行设置。
4. 评价指标目前只使用了Recall@K，与MS Loss中相同。计算方式为3个尺度分别计算Recall@K，求平均。

下面说一下我遇到的问题：

1. 目前只在Vechicle上进行测试，无法获得论文中MS Loss下的实验效果（我获得的Recall@1， Recall@10都要高。
2. 评价指标ASI中需要指定k，论文中公布的ASI指标是在k为多少时得到的。

感谢您的查看，期待您的指教和解答！

[SupetZYK]

实验设置
1.对animal，是没有pretrain的，对vehicle和product是有pretrain的
2.对一个batch中的3*K张图像，为了计算loss方便，我们是分开计算的，也就是fine部分用前K个，middle部分用中间K个，coarse部分用后K个
回复问题
1.正如你提到的，你用到的负样本数量比我们在paper中设置的多，相当于增加了batch size，这确实是会提升recall的。
2.ASI使用的各个K下的平均值。

[SuQinghang]

您的解答对我有极大帮助，非常感谢！祝好！