NLP_StudyNote

0. 개요 최근 많은 자연어처리 튜토리얼이나 딥러닝 튜토리얼 강의를 들어가보면 챗봇에 대한 수업을 많이 진행되는것 같습니다. pytorch 공식 튜토리얼 사이트에 괜찮은 챗봇 튜토리얼이 있어 pytorch도 익힐 겸 가볍게 경험해 보았습니다, 본 포스팅은 파이토치 챗봇 튜토리얼 사이트의 글과 코드를 기반으로 작성되었음을 밝힙니다. (제가 진행하였을 때는 1.0 버전이었는데 2019.05.11 기준 1.1 버전으로 바뀌었습니다.) 1. 모델 챗봇 튜토리얼의 모델은 인코더와 디코더를 가진 sequence to sequence 모델입니다. 인코더는 GRU(양방향)를 사용하며 2개의 층으로 구성되어 있습니다. 디코더는 GRU(단방향)를 사용하며, 2개의 층으로 구성되어 있습니다. 또한 다음 단어를 예측하는데 집..

0. 개요 자연어처리 rnn 과 셀프 어텐션(self attention)으로 감성분석 실험 도중에 다른 논문들과 해외 블로그 처럼 셀프 어텐션의 스코어값을 눈으로 확인해 보고 싶어서 visualization을 찾아보게 되었습니다. 그 중에서 pytorch docs 와 zhaocq-nlp님의 깃허브를 참고하여 만들어 적용해 보았습니다. 1. matplotlib matplotlib는 파이썬 라이브러리 중에서 그래프를 그릴 때 주로 사용되는 패키지 입니다. 2D와 3D 형태로 보여지는 패키지 입니다. matplolib설치는 리눅스 기준으로 아래 코드를 입력하면 설치가 됩니다. python3 -m pip install -U matplotlib 사실 matplotlib는 많은 사람들이 사용하고 있는 패키지로, p..

0. 개요 사람들은 사진이나, 텍스트를 볼 때 특정 부위를 고해상도(high resolution)로 인식할 수 있습니다. '고해상도로 인식한다' 라는 의미는 우리가 이미지를 볼 때 어떤곳을 좀더 선명하게 중점적으로 보고, 나머지 부분은 저해상도, 즉 흐리게 볼 수 있다고 해석할 수 있습니다. 예시로 위의 이미지를 보고 사람들은 빨간색 네모칸 안의 뾰족한 귀, 눈, 몽글몽글한 손을 보고 고양이라고 알 수 있습니다. 이와 반대로 회색 칸의 정보로는 고양이라고 예측하기가 어렵습니다. 여기에서 빨간색 네모칸을 고해상도로 인식한다고 볼 수 있는 것입니다. 마찬가지로, 우리는 하나의 문장 안에서, 가까운 문맥에서 단어 사이의 관계를 설명할 수 있고, 다음 단어를 예측하는데 단어 사이의 상관관계를 분석하여 집중! 하..

0. 개요 RNN이란 풀어쓰면 Recurrent Neural Network 입니다. 여기서 recurrent 는 반복된다는 의미를 갖고 있습니다. recursive neural network 라는 유사한 모델이 있지만 차이점이 있습니다. RNN에서 반복된다는 말은 과거의 정보를 가지고 있다는 의미로 해석할 수도 있습니다. 사람은 생각을 할 때 혹은 말을 할 때 과거의 정보들을 기반으로 다음 정보들을 뱉어낸다는 사실에서 아이디어를 얻었으며, FFNN(Feed Forward Neural Network)와 같이 현재의 정보들만 보는 신경망과 달리 RNN은 현재 정보와 과거의 정보를 동시에 고려한다고 이해하면 됩니다. 1. RNN 사용 예 RNN은 input 과 output 사이즈가 고정되어 있지 않은 음성이나..

0. 개요 최근 자연어처리에는 딥러닝 기술을 많이 사용한다. 이 중 퍼셉트론은 인공지능(AI) 중 가장 오래된 알고리즘 중 하나이다. 결과적으로 보면 퍼셉트론은 '단순한 선형분류기'라는 한계 때문에 사람들의 기대를 모은 만큼의 결과를 보여주지 못하고 사그라들었으며 인공신경망 연구는 다시금 얼어버리게 된다. 1. 퍼셉트론 사전적 의미(위키피디아) 퍼셉트론(perceptron)은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트 (Frank Rosenblatt)에 의해 고안되었다. 이것은 가장 간단한 형태의 피드포워드(Feedforward) 네트워크 - 선형분류기- 으로도 볼 수 있다. 2. 퍼셉트론 2-1. 퍼셉트론과 뉴런 퍼셉트론은..