测试集评估代码 about st-plusplus HOT 4 CLOSED

你好，

1. 我们的模型是在验证集上测试的；如果需要在测试集上测的话，需要把预测结果提交到Pascal VOC的online server才能获得指标结果
2. 在1/4等半监督设定下，我们的unlabeled data都是来自于trainset（剩下的3/4的图像），而没有用到任何的validation set的图像

from st-plusplus.

很感谢您的回复，
1.我注意到模型默认代码的输出结果是在验证集上测试的，不改动代码的情况下是1/8的设定下，但是我尝试自写代码去提交到Pascal VOC的server上过去几天了仍然没有反应，始终显示评估中，因此怀疑可能是自己生成的格式内容等有问题，因此希望开放下生成测试数据的代码；还是说服务器在2012挑战赛后已经停了，只需在验证集上测试即可？
2.对于这个问题我的疑问是我注意到Pascal VOC2012数据集的语义分割有标注数据train为1464，val为1449，累计2913，但是文中提到1/4规模的有标注数据用了2645张监督数据图片，是这里我的理解哪里有问题吗？譬如1/4实际上是带上了无标签数据的1/4?亦或是我注意到有人使用了benchmark_LELEASE数据集作为额外的train数据集，是两个数据集合起来1/4这样？
十分感谢您的耐心回复，给您带来的不便深感抱歉

from st-plusplus.

1. 一般来说直接在验证集上测试即可，大家现在基本都是report这上面的结果，online server可能是已经关闭了，不过即使没关闭也有次数限制，没有办法短时间内提交很多setting下的结果去测试
2. 这里用了1/4的图像但是有2,645张是因为，我们整体有10,582张训练图像，这其中包括1,464张Pascal VOC原始的训练图像，以及其余的经过SBD数据集扩充的训练图像，可以参考我们实验章节的第一段，具体的数据我们也提供在了这个repo的README里

from st-plusplus.

好的，十分感谢，我的疑问都没问题了，谢谢哥

from st-plusplus.