malformed confidence map about spade_colorization HOT 3 CLOSED

corr_map에서 conf_map을 뽑아낼 때, 어느 픽셀에서 뽑는 지 파악해본 결과임.
conf_map을 뽑을 때, dim=2에 대한 max 대신 argmax를 하고, 이에 대한 histogram을 구하여, 어느 pixel에서 max값을 취하여 conf_map을 구했는지 파악해보았다.

(pixel_idx(0 ~ H_query * W_query - 1), frequency(histogram에서 빈도값)) 순서로 괄호 안이 구성되어 있다.
Top-5 frequent pixel을 확인해본 결과,
특정 ref_pixel이 4096(=H_query * W_query) 개 중 4분의 1에 해당하는 1024개의 target_pixel에 의해 선택되었다. 이것이 체크 무늬 결과의 직접적인 원인이지 않을까 싶다.
이렇게 특정 픽셀로 쏠려서 confidence map이 나온 데에 가장 직접적인 원인은 아래로 추측된다.

• VGG feature map이 제대로 형성되지 않음
• concat 후 residual block 이 제대로 train되지 않음

from spade_colorization.

새롭게 train 한 VGG + 새로 구현된 LAB conversion 으로 돌려봐야함.

from spade_colorization.

#14 (comment)
잘나와서 어느정돈 디버깅 된걸로

from spade_colorization.