[ML] 자연어 처리 개념

word2vec

말뭉치를 word_id 로 지정, 및 벡터로 표현

원핫벡터 또는 밀집벡터로 표현, 실무에서는 밀집벡터 사용

 

RNN

시계열 데이터 처리 모델

lstm 게이트웨이가 추가된것, 게이트웨이는 관문으로서 0~1사이의 값을 곱해서 기존 데이터를 흘러보냄

 

seq2seq

두개의 rnn 모델을 합친것

첫번째 타임 rnn 에서 마지막 상태 h만 다음 time rnn에서 사용

 

어텐션

seq2seq와 비슷함

다른점: 첫번째 time rnn의 각 시각의 모든출력을 다음 time rnn 에서 사용