NLP_StudyNote

0. 개요 최근 많은 자연어처리 튜토리얼이나 딥러닝 튜토리얼 강의를 들어가보면 챗봇에 대한 수업을 많이 진행되는것 같습니다. pytorch 공식 튜토리얼 사이트에 괜찮은 챗봇 튜토리얼이 있어 pytorch도 익힐 겸 가볍게 경험해 보았습니다, 본 포스팅은 파이토치 챗봇 튜토리얼 사이트의 글과 코드를 기반으로 작성되었음을 밝힙니다. (제가 진행하였을 때는 1.0 버전이었는데 2019.05.11 기준 1.1 버전으로 바뀌었습니다.) 1. 모델 챗봇 튜토리얼의 모델은 인코더와 디코더를 가진 sequence to sequence 모델입니다. 인코더는 GRU(양방향)를 사용하며 2개의 층으로 구성되어 있습니다. 디코더는 GRU(단방향)를 사용하며, 2개의 층으로 구성되어 있습니다. 또한 다음 단어를 예측하는데 집..

0. 개요 자연어처리 rnn 과 셀프 어텐션(self attention)으로 감성분석 실험 도중에 다른 논문들과 해외 블로그 처럼 셀프 어텐션의 스코어값을 눈으로 확인해 보고 싶어서 visualization을 찾아보게 되었습니다. 그 중에서 pytorch docs 와 zhaocq-nlp님의 깃허브를 참고하여 만들어 적용해 보았습니다. 1. matplotlib matplotlib는 파이썬 라이브러리 중에서 그래프를 그릴 때 주로 사용되는 패키지 입니다. 2D와 3D 형태로 보여지는 패키지 입니다. matplolib설치는 리눅스 기준으로 아래 코드를 입력하면 설치가 됩니다. python3 -m pip install -U matplotlib 사실 matplotlib는 많은 사람들이 사용하고 있는 패키지로, p..