클로이의 데이터 여행기

오늘은 R의 wordVectors 패키지를 활용하여 word2vec 알고리즘을 다루는 방법에 대해 소개하고자 합니다. 1. word2vec이란? word2vec은 '비슷한 의미를 갖는 단어는 문서에서 근처에 존재할 것'이라는 가정을 전제로 하여, 단어에 벡터값을 부여하여 의미론적으로 유사한 단어를 거리 기반으로 매핑하는 방법입니다. 2. word2vec의 활용 ① 키워드 사전 확장 어떤 카테고리의 데이터(사전)를 구축할 때, 단순히 빈도에 기반하다 보면 한계점이 찾아올 때가 있는데요. 이럴 때에 word2vec을 활용하면 구축된 고빈도 키워드의 유사키워드(빈도는 다소 낮아 빈도에 기반해서는 잘 뽑히지 않았던 키워드)를 뽑아서 데이터를 확장하여 구축하는 수단으로 사용하고 있습니다. ② 복합어/복합명사 추출..

이번 포스팅에서는 word2vec_basic.py 라이브러리에 대해 살펴보려고 합니다.참고로 word2vec_basic.py은 가장 잘 알려져 있는 word2vec 라이브러리 중 하나라고 하네요! 라이브러리를 사용하면 간단히 딥러닝을 해볼 수 있다는 이야기는 많이 들어봤지만,실제로 이렇게 간단하게 사용할 수 있을 줄은 상상도 못했습니다!(물론 정교한 튜닝을 위해서는 별도의 코딩작업이 필요하겠지만요 T_T....) 직접 라이브러리를 찾고, 알아본 과정을 간단히 적어보았습니다. 1. 라이브러리 받는 곳 word2vec_basic.py 라이브러리는 tensorflow github에 올라와있습니다.아래의 주소에서 라이브러리를 받으시면 됩니다 (: https://github.com/tensorflow/tensor..