클로이의 데이터 여행기

이번에 다룰 내용은 '여러파일을 하나의 파일로 합치는 방법'입니다.용량이 큰 경우, 파일이 여러 개로 나뉠 때가 있는데요. 이를 콘솔창에서 간단히 합치는 방법을 공유하려고 합니다. [방법] ① '윈도우키 + R' 을 누르면 '실행'창이 나옵니다.② 실행창에 'cmd'라고 적고 엔터 혹은 '확인'버튼 클릭합니다. ( ▼아래 그림 참고) ③ 콘솔창에서 합치고자 하는 파일이 들어있는 폴더로 이동합니다. ( ▼ 아래그림 참고) 저는 'C:\data\input\MaincomCsn' 이 곳에 파일이 있었기 때문에,해당 폴더로 이동했습니다. ④ type *.txt > total.txt 엔터 저는 000으로 시작하는 txt 파일만 합치기를 원했기때문에,위의 그림처럼 000*.txt라고 입력했습니다. 해당폴더에 있는 모..

이번 포스팅에서는 word2vec_basic.py 라이브러리에 대해 살펴보려고 합니다.참고로 word2vec_basic.py은 가장 잘 알려져 있는 word2vec 라이브러리 중 하나라고 하네요! 라이브러리를 사용하면 간단히 딥러닝을 해볼 수 있다는 이야기는 많이 들어봤지만,실제로 이렇게 간단하게 사용할 수 있을 줄은 상상도 못했습니다!(물론 정교한 튜닝을 위해서는 별도의 코딩작업이 필요하겠지만요 T_T....) 직접 라이브러리를 찾고, 알아본 과정을 간단히 적어보았습니다. 1. 라이브러리 받는 곳 word2vec_basic.py 라이브러리는 tensorflow github에 올라와있습니다.아래의 주소에서 라이브러리를 받으시면 됩니다 (: https://github.com/tensorflow/tensor..

이번에 설명할 코드는 '중복키워드를 추출하는 기능'을 수행합니다.데이터 구축 시, 중복 키워드는 늘 이슈인데 제가 사용하는 관리기에서 그 기능을 지원하지 않습니다. 데이터 업로드 전에 미리 중복 키워드를 체크하고, 관리기에 반영하기 위하여 아래의 코드를 작성하였습니다. 엑셀에서도 간단히 가능하지만! 데이터가 많아지면 엑셀이 많~~이 버벅거리기 때문입니다.다량의 비정형 텍스트를 주로 다루기 때문에 이런 코드가 필요했습니다. 간단하지만 가장 유용히 쓰고 있는 이 내용을 공유합니다^.^ 너무 간단하고 직관적이라 따로 변수 설명 등은 달지 않으려 합니다. 123456789101112131415161718192021222324252627f = open("C:/data/input/defaultCount.txt","..

이번 포스팅에서은 '중첩 HashMap(해쉬맵)을 사용(활용)하고 출력하는 방법'을 다뤄보려고 합니다. 1. 중첩 HashMap(해쉬맵)의 사용 HashMap은 중첩하여 사용이 가능합니다.아래의 예시처럼 HashMap에 HashMap을 다시 담아 사용할 수 있습니다. 1HashMap result = new HashMap();cs 2. 중첩 HashMap(해쉬맵)의 출력 먼저, HashMap을 출력하기 위해 사용하고자 할 때는 아래와 같은 방식으로 수행해야합니다. - for (String key : HashMap변수명.keySet() ): HashMap을 for문 돌리는 방법으로, key를 활용하면 됨. 중첩한 HashMap에 담긴 내용을 확인해보고자 할 때는 위의 내용을 두 번 작성하면 됩니다.아래의 예..

이번 포스팅에서는 '여러 파일(텍스트 파일,txt file)을 읽는 메서드(method)'를 설명하려고 합니다.이전 포스팅에서 하나의 파일을 읽는 메서드에 대한 내용을 다룬 적이 있다. 여러 파일을 읽을 필요가 없다면 이 링크를 ( https://data-traveler.tistory.com/2?category=719589 ) 참고하기를 바랍니다. '하나의 파일을 읽는 메서드'와 '여러 파일을 읽는 메서드'를 비교할 때, 가장 큰 차이점은 메소드에 입력받을 매개변수가 있는지입니다. (문법에는 맞지 않지만) 아래의 코드에서 상세히 비교해보면, [case 1. 하나의 파일을 읽는 메서드] public static String getLine(){ String a = ""; File file = new File..

이클립스의 단축키들을 작성해보려고 한다. XD 기능 설명 단축 키 이전 액션(실행 취소) Alt + ◀ 이후 액션( Alt + ▶ 디버깅 시작 F11 디버깅 계속 F8 디버깅 이동 F6 라인 이동Alt + (▲ or ▼)라인 삭제 Ctrl + D 여러줄 주석드래그 + ctrl + shift+ / 여러줄 주석 해제드래그 + ctrl + shift+ \자동 import ctrl + shift + O 변수명 일괄 치환 Alt + Shift + R 코드 정리ctrl + shift +F 자주 사용하게 되는 단축키가 있다면, 계속 추가로 작성할 예정이다.

​ 안녕하세요:) 저는 비개발자이고요. 앞으로도 개발자가 되고 싶은 생각은 없습니다! 그럼에도 개발공부를 시작한 이유는 데이터를 효율적(간단하고 빠른 방법)으로 검토하기 위함입니다. IT기업에서 데이터를 구축하는 일을 하고 있는데요. 다루는 데이터의 양과 카테고리가 점점 많아지면서 데이터를 검토하는 일이 버거웠기 때문입니다. 그래서 앞으로 작성될 내용들은 텍스트 데이터를 효율적으로 처리하는 간단한 코드입니다ʕ•ᴥ•ʔ 블로그의 시작은 지극히 저를 위한 기록이겠지만, 빠른 시일 내에 비슷한 업무를 하시는 다른 분들에게도 도움이 되는 내용을 공유하고자 합니다^0^! 읽어주셔서 감사합니다❤️

이번 메소드는 'HashMap에 key 단위로 value를 ArrayList로 담는 기능'을 수행한합니다. key를 primary key로 삼아, 같은 key인 value(ex.키워드)을 ArrayList로 담습니다. 이번 내용부터는 변수설명보다는 코드를 어떻게 구성했는지 설명하고자 합니다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public static HashMap joinDic(String[] arr) { // ① HashMap dic = new HashMap(); for ( int i=0;i