지식을 나누면 두배로

논문이 다루는 Task Task: Machine Translation WMT 2014 English-to-German translation task input: tokenize된 영어 문장 input_size: (batch size, source_max_length) output: 독일어 token의 probability sequence output_size: (batch size, target_max_length, vocab_size) WMT 2014 English-to-French Translation task input: tokenize된 영어 문장 input_size: (batch size, source_max_length) output: 프랑스어 token의 probability sequence..

논문이 다루는 Task Task: Neural Machine Translation Input: English 또는 German 문장 (batch_size, max_len) Output: German 또는 English 문장 (batch_size, max_len) 기존 연구 한계 Hard Alignment를 이용한 NMT 모델링 Hard Alignment에 대한 labeling이 별도로 필요했다. Alignment를 예측 하는 모델, target를 생성하는 모델을 별도로 학습시켜야 했다. Sequence to Sequence learning with neural networks (Sutskever et al. 2014) Encoder와 Decoder 간에 병목 현상이 발생한다. 제안 방법론 Global A..