[논문리뷰] 피드백

IRCAN 논문 피드백 (재민이한테 받음 재민이 천재인 거 같음)

 

• 데이터 셋은 미국의 속담이 들어가게 됨
  • 한국의 속담을 예시로
  • 낫 놓고 기억 자도 모른다 라는 속담이 있다고 하면 기억에 마스킹이 되어 있고 이 부분을 예측한다고 한다. (질의문)
  • 여기서 기존 학습된 것에는 니은이 있다고 한다면 새로운 Input에 저 질의문 "낫 놓고 @@ 자도 모른다" 와 "기억" 이라는 것이 같이 들어가게 됨 (질의문 + 새로운 지식(문맥))
  • 코드를 보지 않고 생각만 하여서 정확히 어떤 느낌으로 예측을 진행하게 하는지 잘 파악하지 못했음
• • 이 부분에 대해서 단순히 (질의문만 들어갔을 때 활성화 되는 뉴런과 질의문 + 새로운 지식이 들어갔을 때의 차이) * alpha 의 식에서 alpha 0~1까지 적분 합이기 때문에 context가 함께 들어갈 때 활성화 되는 뉴런의 정도를 나타냈다고 생각했다. -> 차이에 대한 식으로 생각함.
  • IG (Intergrated gradient) 파트

• Attention Aware Attribution 부분의 식을 이해하는 과정에서 적분 과정을 풀어 쓰게 되면 이렇게 적히게 된다
  • 단순히 차이를 적분하여 더하는 과정이 아닌, V(c,q)와 V(c) 사이의 밸런스를 찾는 과정처럼 보여지게 된다.
  • 즉, 해당 score를 최대화 한다는 것은 해당 밸런스마다 V(c,q)가 변화함에 따라 얼마나 민감하게 변하는 지를 나타내는 부분이라고 설명된다.