[자연어 처리] 4주차 (교수님께 질문 드렸던 내용)

Hidden Markov Model (HMM)에 관련한 질문

 

Q. 지난주 Hidden Markov model에 대해서 설명해주셨는데, 제가 이해하는 Markov model은 이전 단계의 결과만이(사실상 계산 도중에 이전 상태들의 연산이 포함된 것과 같지만) 다음 단계의 영향을 주는 모델입니다. Hidden Markov model은 model 형성 과정에서 인지하지 못한 state들의 영향을 받는 것으로 이해했습니다. 여기서 궁금한 부분이 생겼습니다. 만약 state n-1에서 생성한 단어가 a나 the와 같은 관사에 관련된 것이라면 그 다음 단계인 명사의 영향을 받는 것으로 예상되어지는데 이게 이전 상태는 아니기 때문에 hidden state 정보라고 생각됩니다. 근데 제가 이해한 markov Model은 유일하게 시점으로 이전 상태의 정보만을 직간접적으로 영향을 받는데 이게 제가 이해한 알고리즘 자체가 서로 모순적인 상태 아닌가요?

 

A. 교수님의 피드백 : 제가 이해한 거로는 지금 train 상황과 test 상황을 혼돈하신거 같아요. 문장의 형성(generate) 되는 상황에서는 weight가 높은 방향을 향해서 나아가며 해당 state에서 단어를 생성해내는 거고(이 부분에서 아! 하면서 잘못 생각했다는 것을 깨달음), hidden state의 영향을 받는 거 자체가 train 상황에서 학습되는 거기 때문에 생성 상황에서 다음 나올 단어의 영향을 받는다고 생각하는 거는 혼돈하고 있는 거 같아요

 

Katz Backoff에 관련한 질문

 

Q.아까 전에 설명해주신 부분 중에서 n-gram 희소 데이터 문제에 관련하여 Katz Backoff 부분에서 Discount factor를 곱해서 1-P를 구하고 다시 나누는 설명을 해주셨는데 그게 제가 여쭤보고 싶었던 건, Discount Factor가 소수의 값(예시 값 0.1) 이고 이것을 곱하게 되면 큰 확률일수록 더 많은 값이 discount되는데 저는 이게 높은 확률을 가질수록 더 큰 값이 discount 되는게 되게 손해라고 생각이 들었는데 그러한 이유로 다시 나눠줘서 비율을 맞춰준다고 이해했는데 이렇게 생각해도 괜찮은 건가요?

 

A.교수님의 피드백 : 오 네 맞아요 그렇게 생각하면 됩니다. (예상이 맞아서 기분이 좋았다)