클로이의 데이터 여행기

안녕하세요. 이번 포스팅에서는 Attention을 다뤄보려고 합니다. 1. Attention이란? - sequence 중 중요한 feature를 더욱 중요하게 고려하여 학습하는 모델 : 사람이 정보처리를 할 때, 모든 정보를 기억하지 않듯 '인간처럼 기억하자'가 컨셉 2. Attention과 RNN의 차이점 - RNN은 모든 정보를 하나의 context vector에 담음 : 입력 sequence의 길이가 매우 길면, 앞부분에 나왔던 token의 정보가 희석 - Attention은 중간중간에 나오는 output도 활용 : 문맥에 따라 encoder의 weight가 결정되어 Dynamic한 Context Vector로 활용 3. Attention 예시 RNN에서는 context vector에 해당하는 'h..