클로이의 데이터 여행기

이번 포스팅에서는 자연어 분석의 전통적 모델인 '마코프 체인 모델'에 대해서 설명하고자 합니다. 1. 마코프 체인(Markov Chain)란? - 통계 기반의 모델로 다음 단어가 나올 확률을 예측하는 방식으로 언어분석 모델로 활용 - 초기의 딥러닝 모델 형태로 네트워크는 확률을 기반함 2. 마코프 체인(Markov Chain) 예시 그렇다면 실제로 마코프 체인을 어떻게 활용하는지 살펴보려고 합니다. 아래와 같은 문장이 있다고 예를 들어봅니다. [그림 1]처럼 문장들이 있다고 할 때, 하나의 단어를 기준으로 바로 뒤에 어떤 단어가 몇 번 등장하는지 살핍니다. 예를 들어, 'I' 뒤에는 'like'가 2번 등장하였고, 'don't'가 1번 등장하였습니다. 그러면 키워드별로 확률에 기반하여 아래의 [그림 2]..