关于代码实现 bucket_score 变量的细节疑惑？ about non-local-sparse-attention HOT 3 CLOSED

顺便还有一个细节问题，我还想请教一下，代码里有一句 hash_codes = hash_codes.detach()
为什么要加上这一句呢？detach()是用于切断梯度传播的，这里加上这一句是要切断此处的梯度传播吗？
我试过把这句注释掉，代码也能正常训练，求解。

from non-local-sparse-attention.

Hi, 这里使用softmax的motivation是来源于hash操作的随机性。这段代码的意思是衡量每个round所分到bucket元素之间的亲和力，如果分到的bucket元素更related，那么那个round的权重更大。supplementary里有visualization，可以参考理解。1x1conv 是learnable的，我认为应该也是可行的。detach应该可以去掉，hashcode并没有gradient回传，感谢指出。

from non-local-sparse-attention.

Hi, 这里使用softmax的motivation是来源于hash操作的随机性。这段代码的意思是衡量每个round所分到bucket元素之间的亲和力，如果分到的bucket元素更related，那么那个round的权重更大。supplementary里有visualization，可以参考理解。1x1conv 是learnable的，我认为应该也是可行的。detach应该可以去掉，hashcode并没有gradient回传，感谢指出。

好的，感谢回复

from non-local-sparse-attention.