클로이의 데이터 여행기

오늘은 R을 통해 'TF-IDF' 가중치를 활용하는 방법에 대해 알아보려고 합니다. 1) TF-IDF가 필요한 이유? 대량의 문서에서 중요한 키워드를 뽑아야 한다면, 가장 쉬운 방법은 무엇일까요? 어렵지 않게 자주 등장하는 키워드, 고빈도 키워드를 생각해 볼 수 있습니다. 하지만 정말 고빈도 키워드가 중요한 키워드라고 할 수 있을까요? 고빈도 키워드는 중요한 키워드일 수도 있지만 동시에 흔한 키워드일 가능성이 높습니다. 한국어로 예를 들어보면 "있다, 없다, 하다"등인데, 단순히 빈도 내림차순으로 추출하게 되면 이러한 키워드들이 상위에 등장하게 됩니다. 모든 문서에서 나오는 자주 키워드(ex. 있다)들은 흔한 키워드라고 여기고, 이런 키워드에는 페널티를 주면 어떨까요? 여기저기에서 등장하는 키워드 보다는..