VisualizeAttentionMap 코드 관련 질문

[chokyungjin]

안녕하세요,
VisualizeAttentionMap 코드 관련 질문으로 이슈를 남기게 되었습니다. 제 질문은 다음과 같습니다.

1. residual_att를 더해주는 이유
2. joint_attentions에서 이전 joint_attentions 값과 aug_att_mat를 matmul 해주는 이유와 마지막 값만 쓰는 이유
3. v[0, 1:] 에서 첫번째 값은 빼는 이유
   입니다.
   감사드립니다.

[jo1jun]

답변이 늦어져 죄송합니다.

질문하신 내용은 "Attention Rollout (Abnar & Zuidema, 2020)" 논문에서 정확하고 자세한 답변을 얻으실 수 있을 것입니다.

1. Vision Transformer Paper 에서 Attention 을 visualization 하는 detail 은 "Attention Rollout (Abnar & Zuidema, 2020)" 논문에서 제시한 방식을 사용했다고 언급되어있습니다. Encoder 에서 layer 마다 residual connection 이 중요하게 사용되므로 이를 고려한 것으로 보입니다.

2. matmul을 하는 이유는 각 layer (이 모델에서는 6개의 layer) 에서 내뱉는 attention 에서 patch들을 attention 하고 있는 부분이 각각 다르고, 국소적이기 때문에 전부 matmul을 해줌으로써 전체적으로 어느 부분을 attention 하고 있는 지 시각적으로 확인하기 쉽도록 하기 위함 입니다. 같은 국소적 부분을 보고있었으면 값은 증폭되어 attention mask 의 색이 더 짙어집니다. 만약, matmul 을 하지 않고 v = aug_att_mat[특정 layer index]으로 할당 값을 바꿔주면 Attention Mask 가 국소적인 부분을 보는 경우가 많아지며 값이 증폭이 되지 않아 색이 옅어지는 것을 보실 수 있습니다.

마지막 값을 쓰는 이유는 for문에서 6개의 attention을 matmul하면서 마지막 값에 최종 값을 할당했기 때문입니다.

3. ImageEmbedding Class 에서 embedded_patches 에 class token 이 앞에 붙어, embedded_patches 의 shape 이 [batch_size, patch 개수, embed_dim] 에서 [batch_size, 1 + patch 개수, embed_dim] 가 됩니다. 이 class token 에 대한 attention을 빼기 위하여 첫번째 값을 빼줍니다. 즉, v[0, 1:] 은 image 전체를 represent 하는 class token 에 대하여 class token 을 제외한 나머지 49개의 patch 의 활성화된 정도인 attention 을 나타냅니다.

감사합니다. :)