딥러닝/자연어 처리
Text Classification using RNN
- -
RNN은 이전 hidden state을 통해 time-step의 정보를 가공하여 다음 time-step의 계산에 반영하는 구조이다.
RNN을 이용한 Text Classification은 Many to One 형태이다.
Non-autoregressive task이므로 Bidirectional RNN을 사용할 것이다.
작성할 모델 구조는 아래와 같다.
Feed forward step
- One-hot vector을 입력받아 Embedding layer에 넣어준다.
- Embedding vector을 RNN에 input으로 넣는다.
- RNN의 output중 마지막 time-step 값을 softmax layer에 통과시켜 각 클래스별 확률값을 얻는다.
728x90
'딥러닝 > 자연어 처리' 카테고리의 다른 글
| [Language Model] Neural Network Language Model (0) | 2022.07.02 |
|---|---|
| [Language Model] n-gram (0) | 2022.07.01 |
| [WordEmbedding] Embedding Layer (0) | 2022.06.28 |
| [WordEmbedding] Word2Vec & Glove & FastText (0) | 2022.06.28 |
| [WordEmbedding] 딥러닝 이전의 단어 임베딩 (0) | 2022.06.28 |
Contents