부스트캠프 AI Tech 2기 7주차 학습정리
7주차 학습정리 강의 복습 내용 NLP (10~14번 포스팅) https://velog.io/@naem1023/series/NLP
Recent posts
Transformer 도입
‘Attention is all you need’(2017) 논문 이전의 attention은 LSTM, GRU에 add-on처럼 쓰일 뿐이었다. 해당 논문에서는 기존의 RNN 모델을 걷어내고 attention을 사용한 새로운 Seq2Seq 모델을 제시했다.
부스트캠프 AI Tech 2기 6주차 학습정리
6주차 학습정리 강의 복습 내용 NLP (1~9번 포스팅) https://velog.io/@naem1023/series/NLP
BLEU
일반적인 precision이나 recall을 계산하면 Seq2Seq에서는 모든 지표가 0에 가까울 것이다. 왜냐하면 step별로 비교하면 대부분 일치하지 않을 확률이 매우 높기 때문이다. 즉, 아래처럼 굉장히 유사한 문장의 지표가 0에 가깝게 나올 수도 있다.
Beam search
Greedy decoding 이전 포스팅의 attention이나 LSTM들은 특정 step에서 다음 단어를 예측할 때, 가장 확률이 높은 하나의 단어를 선택한다. 이러한 방법을 greedy decoding이라고 한다.