목록자연어처리 (3)

클로이의 데이터 여행기

비전공자가 이해한 'Attention'

안녕하세요. 이번 포스팅에서는 Attention을 다뤄보려고 합니다. 1. Attention이란? - sequence 중 중요한 feature를 더욱 중요하게 고려하여 학습하는 모델 : 사람이 정보처리를 할 때, 모든 정보를 기억하지 않듯 '인간처럼 기억하자'가 컨셉 2. Attention과 RNN의 차이점 - RNN은 모든 정보를 하나의 context vector에 담음 : 입력 sequence의 길이가 매우 길면, 앞부분에 나왔던 token의 정보가 희석 - Attention은 중간중간에 나오는 output도 활용 : 문맥에 따라 encoder의 weight가 결정되어 Dynamic한 Context Vector로 활용 3. Attention 예시 RNN에서는 context vector에 해당하는 'h..
자연어처리 2019. 12. 5. 16:59
비전공자가 이해한 'RNN'

이번 포스팅에서는 'RNN'에 대해서 설명하고자 합니다. RNN은 앞서 설명드린 '마코프체인' 모델을 인공신경망 구조로 변환한 것이라 볼 수 있는데요. (※ 마코프 체인 관련 포스팅 : https://data-traveler.tistory.com/37 ) 1. RNN이란? - 순서성을 기반으로 다음값을 예측하는 인공신경망의 한 종류 - 시계열 데이터 분석에 적합하여, 자연어 처리에 널리 쓰임 : 다음 character, word, sentence를 예측 2. RNN 예시 그렇다면 RNN이 어떤 방식으로 순서를 학습하고, 또 다음을 예측하는지 살펴보겠습니다. 1) RNN 구조 ① Input Layer : 현재의 값 ② Hidden Layer : 다음을 예측하기 위해 이전 값의 특성을 담는 곳 ③ Outpu..
자연어처리 2019. 12. 2. 14:24
비전공자가 이해한 '마코프 체인(Markov Chain)'

이번 포스팅에서는 자연어 분석의 전통적 모델인 '마코프 체인 모델'에 대해서 설명하고자 합니다. 1. 마코프 체인(Markov Chain)란? - 통계 기반의 모델로 다음 단어가 나올 확률을 예측하는 방식으로 언어분석 모델로 활용 - 초기의 딥러닝 모델 형태로 네트워크는 확률을 기반함 2. 마코프 체인(Markov Chain) 예시 그렇다면 실제로 마코프 체인을 어떻게 활용하는지 살펴보려고 합니다. 아래와 같은 문장이 있다고 예를 들어봅니다. [그림 1]처럼 문장들이 있다고 할 때, 하나의 단어를 기준으로 바로 뒤에 어떤 단어가 몇 번 등장하는지 살핍니다. 예를 들어, 'I' 뒤에는 'like'가 2번 등장하였고, 'don't'가 1번 등장하였습니다. 그러면 키워드별로 확률에 기반하여 아래의 [그림 2]..
자연어처리 2019. 11. 26. 14:12
Prev 1 Next