first-last-avg trick是否有效？ about e-commerce-search-recall HOT 3 CLOSED

这个问题很好，因为我没有看原论文，所以当时没有发现这一点，感谢您的反馈。

我这里的试验结果显示确实有效，我从代码的角度给出一个我的思考吧。

原论文数据集的句子都很长，不存在大量的 padding。而本次任务的数据 query 和 title 都很短，query 比 title 还要短，为了照顾长一些的 title，因此 max_len 比较大。

这样的话，而 CLS 的输出是最后一层表示经过全连接在激活，这部分是没有 mask 的，我猜测有一定的偏差。而first和last，里面的 attention 都有 mask，因此填充部分没有注意力，结果也好一些。

说来惭愧，bert mask 那部分我理解的不是很好，以上仅仅是我的猜测。

from e-commerce-search-recall.

据说在roberta模型上会有好的效果，不过我自己的实验上好像效果还差了点

from e-commerce-search-recall.

应该是的，我们这边也发现 roberta 的效果差了一些。

from e-commerce-search-recall.