NLP_StudyNote

0. 개요 자연어처리 rnn 과 셀프 어텐션(self attention)으로 감성분석 실험 도중에 다른 논문들과 해외 블로그 처럼 셀프 어텐션의 스코어값을 눈으로 확인해 보고 싶어서 visualization을 찾아보게 되었습니다. 그 중에서 pytorch docs 와 zhaocq-nlp님의 깃허브를 참고하여 만들어 적용해 보았습니다. 1. matplotlib matplotlib는 파이썬 라이브러리 중에서 그래프를 그릴 때 주로 사용되는 패키지 입니다. 2D와 3D 형태로 보여지는 패키지 입니다. matplolib설치는 리눅스 기준으로 아래 코드를 입력하면 설치가 됩니다. python3 -m pip install -U matplotlib 사실 matplotlib는 많은 사람들이 사용하고 있는 패키지로, p..

0. 개요 사람들은 사진이나, 텍스트를 볼 때 특정 부위를 고해상도(high resolution)로 인식할 수 있습니다. '고해상도로 인식한다' 라는 의미는 우리가 이미지를 볼 때 어떤곳을 좀더 선명하게 중점적으로 보고, 나머지 부분은 저해상도, 즉 흐리게 볼 수 있다고 해석할 수 있습니다. 예시로 위의 이미지를 보고 사람들은 빨간색 네모칸 안의 뾰족한 귀, 눈, 몽글몽글한 손을 보고 고양이라고 알 수 있습니다. 이와 반대로 회색 칸의 정보로는 고양이라고 예측하기가 어렵습니다. 여기에서 빨간색 네모칸을 고해상도로 인식한다고 볼 수 있는 것입니다. 마찬가지로, 우리는 하나의 문장 안에서, 가까운 문맥에서 단어 사이의 관계를 설명할 수 있고, 다음 단어를 예측하는데 단어 사이의 상관관계를 분석하여 집중! 하..