GMNT (Google Neural Machine Translation) 는 기존 NMT 의 문제들에 대한 해결책을 제공합니다.

Neural Machine Translation (NMT)는 자동 번역을 위한 종단 간 학습 접근 방식입니다.
기존의 구문 기반 번역 시스템의 많은 약점을 극복할 잠재력을 가지고 있습니다.

그러나 훈련과 번역 추론 모두에서 계산 비용이 많이 듭니다.
특히 매우 큰 데이터 세트와 대형 모델의 경우 그러합니다.

여러 저자는 또한 입력 문장에 희귀 단어가 포함될 때 견고성이 부족하다고 비판하였습니다.
이러한 문제는 실용적인 배포 및 서비스에서 NMT의 사용을 방해하였습니다.
정확성과 속도가 모두 필수적인 상황에서 문제가 되었습니다.

GNMT – 설계 배경

GNMT 논문이 나온 2016년 즈음에 Neural Machine Translation (NMT) 는 유망한 접근 방식이었습니다.
전통적인 기계 번역 시스템의 많은 단점을 해결할 가능성을 가지고 있었습니다.

NMT 장점과 단점

NMT의 강점은 입력 텍스트에서 관련된 출력 텍스트로 직접, 종단 간 방식으로 매핑을 학습하는 능력에 있습니다.
그 구조는 일반적으로 두 개의 RNN 으로 구성됩니다.

그 중 하나는 입력 텍스트 시퀀스를 소비하는 순환 신경망(RNN) 입니다.
다른 하나는 번역된 출력 텍스트를 생성하는 RNN 입니다.
NMT는 종종 긴 입력 시퀀스를 효과적으로 처리하는 데 도움을 주는 어텐션 메커니즘과 함께 사용된다.

NMT는 전통적인 구문 기반 기계 번역의 많은 취약한 설계 선택을 피할 수 있었습니다. 그러나 매우 큰 규모의 데이터셋에서 훈련할 때, 특히 가장 우수한 공개 번역 시스템에 사용되는 데이터셋에서 정확도가 구문 기반 번역 시스템보다 떨어지곤 했습니다.

NMT 의 세 가지 고유한 약점이 이러한 차이를 초래합니다. 느린 훈련 및 추론 속도, 희귀 단어를 처리하는 비효율성입니다. 그리고 때때로 소스 문장의 모든 단어를 번역하지 못하는 문제가 있습니다.

첫째, 대규모 번역 데이터셋에서 NMT 시스템을 훈련하는 데 상당한 시간과 계산 자원이 필요하여 실험의 회전율과 혁신 속도를 늦춥니다. 추론 시에는 사용되는 매개변수의 수가 많기 때문에 일반적으로 구문 기반 시스템보다 훨씬 느립니다.

둘째, 희귀 단어를 번역하는 데 있어 견고함이 부족합니다. 이는 원칙적으로 “복사 모델”을 훈련하여 전통적인 정렬 모델을 모방하거나 어텐션 메커니즘을 사용하여 희귀 단어를 복사함으로써 해결할 수 있습니다. 그러나 이러한 접근 방식은 규모가 커지면 신뢰할 수 없게 됩니다. 정렬의 품질이 언어에 따라 다르며, 네트워크가 깊어질수록 어텐션 메커니즘이 생성하는 잠재적 정렬이 불안정해지기 때문입니다. 또한, 단순한 복사가 항상 희귀 단어를 처리하는 최선의 전략이 아닐 수 있습니다.

마지막으로, 때때로 입력 문장의 모든 부분을 번역하지 못하는 출력 문장을 생성합니다. 즉 입력을 완전히 “커버”하지 못하여 번역 결과가 엉망일 수 있습니다.

GNMT – NMT 문제의 해결책 1 – 깊은 LSTM 네트워크

GMNT 모델은 잔차 연결을 사용하는 8개의 인코더 레이어와 8개의 디코더 레이어를 가진 깊은 LSTM 네트워크로 구성되어 있습니다. 디코더 네트워크에서 인코더로의 어텐션 연결도 포함하고 있습니다.

어텐션 메커니즘은 디코더의 하단 레이어를 인코더의 상단 레이어와 연결합니다.
이로서 병렬 처리를 개선하고 훈련 시간을 단축합니다.

GNMT – NMT 문제의 해결책 2 – 저정밀도 연산

최종 번역 속도를 가속화하기 위해, 추론 계산 시 저정밀도 연산을 사용합니다.
이는 구글의 Tensor Processing Unit (TPU)와 같은 특수 하드웨어에 의해 가속됩니다.

GNMT – NMT 문제의 해결책 3 – 워드 피스

희귀 단어 처리를 개선하기 위해, 입력과 출력 모두에 대해 제한된 공통 서브워드 유닛(“wordpieces”)으로 단어를 나눕니다. 이 방법은 “문자” 단위 모델의 유연성과 “단어” 단위 모델의 효율성 사이에서 균형을 잘 맞춥니다.

희귀 단어의 번역을 자연스럽게 처리하고 궁극적으로 시스템의 전반적인 정확성을 향상시킵니다.

GNMT – NMT 문제의 해결책 4 – 빔 서치 기술

빔 서치 기술은 길이 정규화 절차를 사용하고 커버리지 페널티를 사용합니다.
이는 소스 문장의 모든 단어를 포함할 가능성이 높은 출력 문장을 생성하도록 유도합니다.
번역 BLEU 점수를 직접 최적화하기 위해 강화 학습을 사용하여 모델을 개선하는 것을 고려하였습니다.

GNMT – 벤치마크 평가

언어별 조정 없이 다양한 언어 쌍에 걸쳐 여러 데이터셋에서 우수한 성능을 보입니다.
동일한 구현을 사용하여 표준 벤치마크에서 이전 최첨단 시스템과 동등하거나 더 나은 결과를 달성하였습니다.

구글의 구문 기반 생산 번역 시스템에 비해 큰 개선을 이루었습니다.
구체적으로, WMT’14 영어-프랑스어에서 38.95 BLEU 점수를 기록하였습니다.
외부 정렬 모델 없는 단일 모델보다 7.5 BLEU, 외부 정렬 모델 없는 단일 모델보다 1.2 BLEU 개선되었습니다.

마찬가지로, WMT’14 영어-독일어에서 24.17 BLEU를 기록하였습니다.
이전의 경쟁 기준치보다 3.4 BLEU 높습니다. 생산 데이터에서 더욱 효과적입니다.

인간 평가에 따르면, GNMT는 영어 ↔ 프랑스어, 영어 ↔ 스페인어, 영어 ↔ 중국어와 같은 여러 언어 쌍에서 이전의 구문 기반 시스템에 비해 번역 오류를 60% 감소시켰습니다.

추가 실험에 따르면 결과 번역 시스템의 품질이 평균 인간 번역자 수준에 가까워졌습니다.

GNMT – 모델 아키텍처

출처: 그림 1 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

GNMT 모델 (위 참조)은 어텐션을 사용한 일반적인 시퀀스-투-시퀀스 학습 프레임워크를 따릅니다.
인코더 네트워크, 디코더 네트워크, 어텐션 네트워크의 세 가지 구성 요소로 이루어져 있습니다.

인코더는 소스 문장을 입력 기호마다 하나의 벡터로 구성된 벡터 목록으로 변환합니다. 이 벡터 목록이 주어지면 디코더는 특별한 문장 끝 기호(EOS)가 생성될 때까지 한 번에 하나의 기호를 생성합니다.

인코더와 디코더는 어텐션 모듈을 통해 연결됩니다.
이는 디코딩 과정에서 디코더가 소스 문장의 다른 영역에 집중할 수 있도록 합니다.

GNMT – 아키텍처 1 – 인코더

표기법을 위해 굵은 소문자는 벡터를 나타내고(예를 들면, $\mathbf{v, o_i}$ ), 굵은 대문자는 행렬을 나타내며( $\mathbf{U, W}$ ), 필기체 대문자는 집합을 나타내고( $\mathcal{V, T}$ ), 대문자는 시퀀스를 나타내며( ${X, Y}$ ), 소문자는 시퀀스 내 개별 기호를 나타냅니다( ${x_{1}, x_{2}}$ ).

$(X, Y)$ 를 소스 및 타겟 문장 쌍이라고 하겠습니다. $X = x_{1}, x_{2}, x_{3}, ..., x_{M}$ 은 소스 문장의 $M$ 개의 기호 시퀀스이고 $Y = y_{1}, y_{2}, y_{3}, ..., y_{N}$ 은 타겟 문장의 $N$ 개의 기호 시퀀스라고 하겠습니다. 인코더는 단순히 다음과 같은 형태의 함수입니다:

(1) $\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_M = \text{EncoderRNN}(x_1, x_2, x_3, \ldots, x_M)$

이 방정식에서 $\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_M$ 는 고정 크기 벡터 목록입니다. 목록의 구성원 수는 소스 문장의 기호 수와 동일합니다(이 예에서는 $M$ ). 연쇄 규칙을 사용하여 시퀀스 $P(Y|X)$ 의 조건부 확률은 다음과 같이 분해될 수 있습니다:

(2) $\begin{align*} P(Y|X) &= P(Y|\mathbf{x}_1, \mathbf{x}_2, \mathbf{x}_3, \ldots, \mathbf{x}_M) \\ &= \prod_{i=1}^{N} P(y_i | y_0, y_1, y_2, \ldots, y_{i-1}; \mathbf{x}_1, \mathbf{x}_2, \mathbf{x}_3, \ldots, \mathbf{x}_M) \end{align*}$

여기서 $y_0$ 는 모든 타겟 문장에 선행되는 특별한 “문장 시작” 기호입니다.

추론 중에는 소스 문장 인코딩과 지금까지 디코딩된 타겟 시퀀스가 주어졌을 때 다음 기호의 확률을 계산합니다:

(3) $P(y_i | y_0, y_1, y_2, y_3, \ldots, y_{i-1}; \mathbf{x}_1, \mathbf{x}_2, \mathbf{x}_3, \ldots, \mathbf{x}_M)$

GNMT – 아키텍처 2 – 디코더

디코더는 RNN 네트워크와 소프트맥스 레이어의 조합으로 구현되었습니다.
디코더 RNN 네트워크는 다음 예측 기호에 대한 숨겨진 상태 $y_i$ 를 생성합니다.
이는 소프트맥스 레이어를 통해 후보 출력 기호에 대한 확률 분포를 생성합니다.

실험에서는 NMT 시스템이 좋은 정확도를 달성하려면 인코더와 디코더 RNN이 모두 소스와 타겟 언어의 미묘한 불규칙성을 포착할 수 있을 만큼 충분히 깊어야 한다는 것을 발견했습니다.

이러한 관찰은 깊은 LSTM이 얕은 LSTM보다 현저히 뛰어나다는 이전의 관찰과 유사합니다.
그 연구에서는 각 추가 레이어가 혼란도를 거의 10% 감소시켰습니다.
인코더 RNN과 디코더 RNN 모두에 대해 깊은 스택형 Long Short Term Memory (LSTM) 네트워크를 사용합니다.

어텐션 모듈에서 $y_{i-1}$ 은 이전 디코딩 시간 단계의 디코더 RNN 출력입니다 (구현에서는 하단 디코더 레이어의 출력을 사용합니다). 현재 시간 단계에 대한 어텐션 컨텍스트 $a_i$ 는 다음 공식에 따라 계산됩니다:

(4) $\begin{align*} & s_t = \text{AttentionFunction}(y_{i-1}, \mathbf{x}_t) \quad \forall t, \quad 1 \le t \le M \\ & p_t = \frac{\exp(s_t)}{\sum_{t=1}^{M} \exp(s_t)} \quad \forall t, \quad 1 \le t \le M \\ & \mathbf{a}_i = \sum_{t=1}^{M} p_t \cdot \mathbf{x}_t \end{align*}$

여기서 AttentionFunction 은 하나의 숨겨진 레이어를 가진 전방향 네트워크입니다.

GNMT – 아키텍처 3 – 잔차 연결 (Residual Connections)

위에서 언급한 바와 같이, 깊은 스택형 LSTM은 얕은 모델보다 더 나은 정확도를 제공하는 경우가 많습니다.
단순히 LSTM 레이어를 더 쌓는 것은 일정한 레이어 수까지는 효과적입니다.

그러나 그 이상이 되면 네트워크가 너무 느리고 훈련이 어려워집니다. 이는 주로 기울기 폭발 및 소실 문제 때문입니다. 대규모 번역 작업에서, 단순 스택형 LSTM 레이어는 최대 4개 레이어에서는 잘 작동합니다.

그러나 6개 레이어에서는 간신히 작동하며, 8개 레이어를 넘어가면 성능이 매우 저하됩니다.

출처: 그림 2 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

중간 레이어의 출력과 목표 사이의 차이를 모델링하는 아이디어는 과거 여러 프로젝트에서 효과적이었습니다.
이를 바탕으로, 스택형 LSTM 레이어 간에 잔차 연결을 도입합니다(위 그림 참조).

더 구체적으로, $LSTM_i$ 와 $LSTM_{i+1}$ 이 스택 내 $i$ 번째 및 ( $i+1$ )번째 LSTM 레이어이고, 그 파라미터는 각각 $W^i$ 와 $W^{i+1}$ 입니다.

$t$ 번째 시간 단계에서 잔차 연결이 없는 스택형 LSTM의 경우, 다음과 같습니다:

(5) $\begin{align*} c_t^i, m_t^i &= \text{LSTM}_i(c_{t-1}^i, m_{t-1}^i, x_t^{i-1}; \mathbf{W}^i) \\ x_t^i &= m_t^i \\ c_t^{i+1}, m_t^{i+1} &= \text{LSTM}_{i+1}(c_{t-1}^{i+1}, m_{t-1}^{i+1}, x_t^i; \mathbf{W}^{i+1}) \end{align*}$

여기서 $x_t^i$ 는 시간 단계 $t$ 에서 $LSTM_i$ 의 입력이고, $m_t^i$ 와 $c_t^i$ 는 각각 시간 단계 $t$ 에서 $LSTM_i$ 의 은닉 상태와 메모리 상태입니다.

$LSTM_i$ 와 $LSTM_{i+1}$ 사이에 잔차 연결이 있는 경우, 위의 방정식은 다음과 같이 변경됩니다:

$\begin{align*} c_t^i, m_t^i &= \text{LSTM}_i(c_{t-1}^i, m_{t-1}^i, x_t^{i-1}; \mathbf{W}^i) \\ x_t^i &= m_t^i + x_t^{i-1} \\ c_t^{i+1}, m_t^{i+1} &= \text{LSTM}_{i+1}(c_{t-1}^{i+1}, m_{t-1}^{i+1}, x_t^i; \mathbf{W}^{i+1}) \end{align*}$

잔차 연결은 역방향 패스에서 그래디언트 흐름을 크게 개선하여 매우 깊은 인코더 및 디코더 네트워크를 훈련할 수 있게 합니다. 대부분의 실험에서, 인코더와 디코더에 8개의 LSTM 레이어를 사용합니다. 그러나 잔차 연결을 통해 훨씬 더 깊은 네트워크를 훈련할 수 있습니다.

GNMT – 아키텍처 4 – 첫 번째 레이어를 위한 양방향 인코더 (Bi-directional Encoder)

번역 시스템에서는 출력 측의 특정 단어를 번역하는 데 필요한 정보가 소스 측 어디에서나 나타날 수 있습니다.
종종 소스 측 정보는 타겟 측과 유사하게 대략 왼쪽에서 오른쪽으로 배치됩니다.
언어 쌍에 따라 특정 출력 단어에 대한 정보는 분산되어 있습니다.
심지어 입력 측의 특정 영역에 분할될 수 있습니다.

인코더 네트워크의 각 지점에서 가능한 최상의 컨텍스트를 확보하기 위해, 인코더에 대해 양방향 RNN 을 사용하는 것이 합리적입니다. 계산 중 최대한의 병렬화를 허용하기 위해, 양방향 연결은 하단 인코더 레이어에서만 사용됩니다. 또한 모든 다른 인코더 레이어는 단방향입니다.

출처: 그림 3 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

위 그림은 하단 인코더 레이어에서의 양방향 LSTM 사용을 보여줍니다. $LSTM_f$ 레이어는 소스 문장을 왼쪽에서 오른쪽으로 처리하는 반면, $LSTM_b$ 레이어는 소스 문장을 오른쪽에서 왼쪽으로 처리합니다.
$LSTM_f ( \overrightarrow{x^f_t} )$ 와 $LSTM_b ( \overleftarrow{x^b_t} )$ 의 출력은 먼저 연결된 후 다음 레이어 $LSTM_1$ 에 전달됩니다.

GNMT – 아키텍처 4 – 모델 병렬화 (Model Parallelism)

모델의 복잡하므로 훈련 속도를 높이기 위해 모델 병렬화와 데이터 병렬화를 모두 사용합니다.
데이터 병렬화는 간단합니다.
‘Downpour SGD’ 알고리즘을 사용하여 $n$ 개의 모델 복제본을 동시에 훈련합니다.

$n$ 개의 복제본은 모두 하나의 모델 파라미터 복사본을 공유합니다.
각 복제본은 Adam 과 SGD 알고리즘의 조합을 사용합니다.
이로서 비동기적으로 파라미터를 업데이트합니다.
실험에서 $n$ 은 종종 10 정도입니다.

각 복제본은 한 번에 $m$ 개의 문장 쌍으로 구성된 미니 배치에서 작업합니다.
실험에서 이 값은 종종 128입니다.

데이터 병렬화 외에도, 모델 병렬화는 각 복제본에서 그래디언트 계산 속도를 향상시키기 위해 사용됩니다. 인코더와 디코더 네트워크는 깊이 차원에 따라 분할되어 여러 GPU에 배치되며, 각 레이어는 다른 GPU에서 실행됩니다.

첫 번째 인코더 레이어를 제외한 모든 레이어는 단방향이므로, 레이어 $i + 1$ 은 레이어 $i$ 가 완전히 끝나기 전에 계산을 시작할 수 있어 훈련 속도가 향상됩니다.
소프트맥스 레이어도 분할됩니다. 각 분할은 출력 어휘의 기호 하위 집합을 담당합니다.

모델 병렬화는 사용할 수 있는 모델 아키텍처에 특정 제약을 가합니다.

예를 들어, 모든 인코더 레이어에 대해 양방향 LSTM 레이어를 사용할 수는 없습니다. 그렇게 하면 이전 레이어의 순방향 및 역방향이 모두 끝날 때까지 각 레이어가 기다려야 하므로, 이후 레이어 간의 병렬성이 감소하게 됩니다. 이는 사실상 2개의 GPU(하나는 순방향, 하나는 역방향)만 병렬로 사용할 수 있게 합니다.

모델의 어텐션 부분에 대해, 디코더 네트워크를 실행할 때 병렬성을 최대화하기 위해 하단 디코더 출력을 상단 인코더 출력과 정렬하도록 선택했습니다. 상단 디코더 레이어를 상단 인코더 레이어와 정렬했다면, 디코더 네트워크에서 모든 병렬성을 제거하고 디코딩에 하나 이상의 GPU를 사용하는 이점을 누리지 못했을 것입니다.

GNMT – 분할 접근 (Segmentation Approaches)

신경망 기계 번역 모델들은 종종 고정된 단어 어휘로 작동합니다.
하지만 번역은 본질적으로 개방 어휘 문제입니다. (이름, 숫자, 날짜 등).

이러한 OOV (Out-Of-Vocabulary) 단어들을 처리하기 위한 접근 방법은 크게 두 가지 범주로 나뉩니다.

하나는 간단히 소스에서 대상으로 드문 단어를 복사하는 것입니다.
대부분 드문 단어는 이름이나 숫자로, 올바른 번역은 단순히 복사하는 경우가 많습니다.

이 방법은 주로 어텐션 모델을 기반으로 하거나,
외부 정렬 모델을 사용하거나,
더 복잡한 특수 목적의 포인팅 네트워크를 사용할 수 있습니다.

다른 넓은 범주의 접근 방법은 서브워드 단위를 사용하는 것입니다.
예를 들어 문자, 혼합 단어/문자, 또는 더 지능적인 서브워드를 사용할 수 있습니다.

워드피스 (Wordpiece) 모델

가장 성공적인 접근 방식은 두 번째 범주(서브워드 단위)에 속합니다.
구글 음성 인식 시스템을 위해 워드피스 모델(WPM) 구현을 채택했습니다.
이 방법은 일본어/한국어 분할 문제를 해결하기 위해 개발되었습니다.

완전히 데이터 기반으로, 어떤 가능한 문자 시퀀스에 대해서도 결정론적인 분할을 생성하는 것이 보장됩니다.
드문 단어를 처리하기 위해 사용된 방법과 유사합니다.

임의의 단어를 처리하기 위해, 먼저 훈련된 워드피스 모델을 기준으로 단어를 워드피스들로 나눕니다.
모델 훈련 전에 특별한 단어 경계 기호가 추가됩니다.
그래서 원래의 단어 시퀀스가 모호함 없이 워드피스 시퀀스로부터 복원될 수 있도록 합니다.
디코딩 시점에서 모델은 먼저 워드피스 시퀀스를 생성하고, 이후 해당하는 단어 시퀀스로 변환합니다.

다음은 단어 시퀀스와 해당하는 워드피스 시퀀스의 예시입니다:

단어 시퀀스: Jet makers feud over seat width with big orders at stake
워드피스 시퀀스: \_J et \_makers \_fe ud \_over \_seat \_width \_with \_big \_orders \_at \_stake

위 예시에서 “Jet”은 “\_J”와 “et” 두 개의 워드피스로 분리되고, “feud”는 “\_fe”와 “ud” 두 개의 워드피스로 분리됩니다. 다른 단어들은 각각 하나의 워드피스로 유지됩니다. “\_”는 단어의 시작을 표시하기 위해 추가된 특수 문자입니다.

워드피스 (Wordpiece) 모델 – 탐욕 알고리즘

워드피스 모델은 데이터 기반 접근 방식을 사용하여 훈련 데이터의 언어 모델 가능도를 최대화하는 방식으로 생성됩니다. 이 과정에서 훈련 말뭉치와 원하는 토큰 수 $D$ 가 주어집니다.

최적화 문제는 선택된 워드피스 모델에 따라 세분화된 경우 워드피스 수가 최소화되도록 $D$ 개의 워드피스를 선택하는 것입니다. 탐욕 (greedy) 알고리즘은 이 최적화 문제를 해결합니다.

단어의 시작 부분에만 특수 심볼을 사용하고 양쪽 끝에는 사용하지 않습니다.
또한 데이터에 따라 기본 문자 수를 관리 가능한 수준으로 줄입니다.
서양 언어의 경우 대략 500개, 아시아 언어는 더 많습니다.

나머지는 매우 드문 문자들로 인해 주어진 워드피스 어휘가 오염되는 것을 방지하기 위해 특수 미지 문자에 매핑합니다.

워드피스 (Wordpiece) 모델 – 높은 정확도 달성

총 8천개에서 3만 2천 개의 워드피스 어휘를 사용하면 모든 언어 쌍에서 높은 정확도(BLEU 점수)와 빠른 디코딩 속도를 동시에 달성할 수 있다는 것을 발견했습니다.

번역에서는 종종 소스에서 대상으로 드문 개체명이나 숫자를 직접 복사하는 것이 유리합니다.
직접 복사를 용이하게 하기 위해 소스 언어와 대상 언어 모두에 대해 공유 워드피스 모델을 사용합니다.

이 접근 방식을 통해 소스와 대상 문장에서 동일한 문자열이 정확히 동일한 방식으로 세분화되어 학습 시 이러한 토큰들을 복사하는 것이 더욱 용이해집니다.

워드피스는 문자의 유연성과 단어의 효율성 사이의 균형을 달성합니다.
또한, 워드피스를 사용할 때 모델들이 전반적으로 더 좋은 BLEU 점수를 얻는다는 사실을 발견했습니다.

이는 문자만을 사용하는 대신 본질적으로 무한한 어휘를 효율적으로 처리할 수 있기 때문일 것입니다.
문자만 사용하는 경우 입력 및 출력 시퀀스의 평균 길이가 길어지게 되어 더 많은 계산이 필요할 수 있습니다.

혼합된 단어/문자 모델

두 번째 접근 방식은 혼합된 단어/문자 모델입니다.

단어 모델에서와 같이 고정 크기의 단어 어휘를 유지합니다.
그러나 일반적인 단어 모델과 달리 OOV (Out-Of-Vocabulary) 단어는 하나의 UNK 심볼로 축소하지 않습니다.
해당 OOV 단어를 그 구성 문자들의 시퀀스로 변환합니다.
이 과정에서 문자들 앞에 특수 접두사가 추가됩니다.

이 접두사들은 다음과 같은 두 가지 목적을 위해 사용됩니다:

1. 단어 내 문자들의 위치를 나타내기 위함,
2. 정상적인 어휘에 있는 문자들과 구분하기 위함.

접두사는 \ (단어의 시작), \ (단어의 중간), \ (단어의 끝) 세 가지가 있습니다.

예를 들어, 단어 “Miki”가 어휘에 없는 경우, 이는 다음과 같은 특수 토큰의 시퀀스로 전처리됩니다:
\M \i \k \i.

이 과정은 소스와 대상 문장 모두에 적용됩니다.
디코딩 중에는 출력도 특수 토큰의 시퀀스를 포함할 수 있습니다.
접두사들 덕분에 토큰화된 결과를 후처리 과정에서 원래 단어로 쉽게 되돌릴 수 있습니다.

GNMT – 훈련 조건 (Training Criteria)

병렬 텍스트 데이터셋 $D$ 는 주어진 $N$ 개의 입력-출력 시퀀스 쌍을 포함합니다. 표준 최대 가능도 (maximum-likelihood) 훈련은 각 입력에 대한 목표 출력의 로그 확률 합을 최대화하는 방식으로 이루어집니다.

$\mathcal{L}_{ML}(\theta) = \sum_{i=1}^{N} \log P_{\theta}(Y^*(i) | X(i)) \quad \text{(7)}$

이 목표의 주요 문제는 번역에서 BLEU 점수로 측정되는 작업 보상 함수를 반영하지 않는다는 것입니다.
또한 이 목표는 잘못된 출력 시퀀스들 사이의 순위 매기기를 명시적으로 장려하지 않습니다.

즉, 모델에서 잘못된 출력이 훈련 중에는 관찰되지 않기 때문에 BLEU 점수가 높은 출력이 여전히 모델에서 높은 확률을 얻을 수 있도록 하지 않습니다.

이는 디코딩 중에 발생한 오류에 강건하게 학습하지 않도록 만듭니다.
훈련과 테스트 절차 간의 상당한 불일치를 초래할 수 있습니다.

그 당시 많은 논문들에서는 작업 보상을 신경 시퀀스-투-시퀀스 모델의 최적화에 포함하는 다양한 방법들을 고려했습니다. 이 연구에서도 최대 가능도 목적으로 사전 훈련된 모델을 세밀하게 조정하여 직접적으로 작업 보상을 최적화하려고 시도했습니다. 대규모 데이터셋에서도 최신 최대 가능도 모델의 세밀한 조정이 작업 보상을 통해 결과를 상당히 개선할 수 있음을 보였습니다.

기대 보상 목적 함수를 사용하여 모델을 세밀하게 조정하는 것을 고려합니다.
이 목적 함수는 다음과 같이 표현할 수 있습니다:

$\mathcal{L}_{ORL}(\theta) = \sum_{i=1}^{N} \sum_{Y \in \mathcal{Y}} P_{\theta}(Y | X^{(i)}) \cdot r(Y, Y^*(i)) \quad (8)$

여기서 $r(Y, Y^*(i))$ 는 각 문장에 대한 점수를 나타내며, 출력 문장 $Y$ 에 대한 모든 가능한 출력 공간 $\mathcal{Y}$ 에 대해 기대값을 계산합니다. 이때 점수는 특정 길이까지의 모든 출력 문장에 대해 계산됩니다.

GLEU 점수

BLEU 점수는 단일 문장에 사용될 때 몇 가지 원치 않는 특성을 가지고 있습니다.
왜냐하면 BLEU는 주로 말뭉치 수준에서 사용되는 측정 지표이기 때문입니다.
따라서 RL 실험에서 약간 다른 점수인 “GLEU 점수”를 사용합니다.

GLEU 점수는 출력과 목표 시퀀스에서 1, 2, 3 또는 4 토큰의 모든 서브 시퀀스 (n-그램)를 기록합니다.
그리고 해당 n-그램들의 매칭 비율을 계산합니다.
정밀도와 재현율의 최솟값을 사용하여 계산됩니다.

여기서 정밀도는 생성된 출력 시퀀스에서 일치하는 n-그램 수와 전체 n-그램 수의 비율입니다.
재현율은 목표 시퀀스에서 일치하는 n-그램 수와 전체 n-그램 수의 비율입니다.

GLEU 점수의 범위는 항상 0(일치 없음)에서 1(전체 일치) 사이이며, 출력과 목표를 교환해도 대칭적입니다. 실험에 따르면, GLEU 점수는 말뭉치 수준에서 BLEU 메트릭과 상당히 잘 관련되어 있지만, 개별 문장에 대한 보상 목적에서 BLEU의 단점을 갖지 않습니다.

강화 학습에서 흔히 사용되는 것처럼, 방정식 8에서 $r(Y, Y^{*(i)})$ 에서 평균 보상을 뺍니다. 평균은 독립적으로 $Pθ(Y \mid X^{(i)})$ 에서 그려진 $m$ 개의 시퀀스의 샘플 평균으로 추정됩니다. $m$ 은 보통 15로 설정됩니다. 훈련을 더 안정적으로 하기 위해, 다음과 같은 ML (방정식 7)과 RL (방정식 8) 목적의 선형 조합을 최적화합니다:

(9) $\mathcal{O}_{Mixed}(\theta) = \alpha \cdot \mathcal{O}_{ML}(\theta) + \mathcal{O}_{RL}(\theta)$

$α$ 는 일반적으로 0.017로 설정됩니다.

이 설정에서는, 먼저 최대 가능도 목적 (방정식 7)을 사용하여 모델을 수렴할 때까지 훈련시킵니다. 그런 다음 이 모델을 개선하기 위해 혼합 최대 가능도와 기대 보상 목적 (방정식 9)을 사용하여 훈련을 진행합니다.

이 과정은 개발 세트에서의 BLEU 점수가 더 이상 개선되지 않을 때까지 반복될 수 있습니다.
두 번째 단계는 선택적입니다.

GNMT – 양자화 모델과 양자화 추론

신경망 기계 번역 모델을 번역 서비스에 배포하는 데 중요한 도전 과제들이 있습니다.
그 중 하나는 추론 과정에서의 계산 비용이 많이 들어서 저지연 번역을 어렵게 합니다.
높은 볼륨의 배포는 계산 비용이 많이 들 수 있다는 것입니다.

감소된 정밀도 산술을 사용한 양자화 추론 (Quantized Inference)은 이러한 모델의 추론 비용을 크게 줄일 수 있는 기술 중 하나입니다. 종종 동일한 계산 장치에서 효율성 향상을 제공합니다.

예를 들어, ILSVRC-12 벤치마크에서 분류 정확도의 손실이 거의 없이 컨볼루션 신경망 모델을 4-6배 빠르게 할 수 있습니다. 신경망 모델 가중치를 -1, 0, +1 세 가지 상태로 양자화할 수 있습니다.

추가 제약 조건

그러나 이전 연구들은 주로 계층 수가 비교적 적은 CNN 모델에 중점을 두고 있습니다. 깊은 LSTM과 긴 시퀀스는 많은 펼침 단계 또는 깊은 LSTM 스택을 거치면 양자화 오차가 상당히 증폭될 수 있는 새로운 도전 과제를 제기합니다.

여기에서의 해결책은 Google에서 사용 가능한 하드웨어 옵션에 맞추어 설계되었습니다.
양자화 오차를 줄이기 위해 훈련 중 모델에 추가적인 제약 조건을 추가합니다.
모델 출력에 미치는 영향을 최소화하고 양자화할 수 있도록 합니다.

즉, 이러한 추가 제약 조건으로 훈련된 모델은 이후 번역 품질에 손상을 주지 않고 양자화될 수 있습니다.

실험 결과는 이러한 추가적인 제약 조건이 모델 수렴에 지장을 주지 않습니다.
또한 수렴한 후 모델 품질에도 영향을 미치지 않는다는 것을 보여줍니다.

LSTM 스택의 전방 계산

방정식 6에서 기억해보면, 잔차 연결이 있는 LSTM 스택에서는 시간 축을 따라 $c_i^t$ 와 깊이 축을 따라 $x_i^t$ 의 두 개의 누적기 (accumulator)가 있습니다.

이론적으로 두 누적기는 무제한입니다만, 실제로는 이 값들이 상당히 작다는 것을 관찰했습니다. 양자화된 추론을 위해 이 누적기들의 값을 명시적으로 $[-δ, δ]$ 범위로 제한하여 추후 양자화에 사용할 수 있는 특정 범위를 보장합니다.

잔차 연결이 있는 LSTM 스택의 전방 계산은 다음과 같이 수정됩니다:

(10) $\begin{aligned} c_{0}^{i,t}, m^{i,t} &= \text{LSTM}_i(c_{i}^{t-1}, m^{i,t-1}, x_{i-1}^{t}; W_i) \\ c_{i}^{t} &= \max(-\delta, \min(\delta, c_{0}^{i,t})) \\ x_{0}^{i,t} &= m^{i,t} + x_{i-1}^{t} \\ x_{i}^{t} &= \max(-\delta, \min(\delta, x_{0}^{i,t})) \\ c_{0}^{i+1,t}, m^{i+1,t} &= \text{LSTM}_{i+1}(c_{i+1}^{t-1}, m^{i+1,t-1}, x_{i}^{t}; W_{i+1}) \\ c_{i+1}^{t} &= \max(-\delta, \min(\delta, c_{0}^{i+1,t})) \end{aligned}$

식 10에서 LSTMi의 내부 게이팅 로직을 포함하여 전개해보겠습니다.
간결함을 위해 모든 위 첨자 i를 제거합니다.

(11) $\begin{aligned} W &= [W_{1}, W_{2}, W_{3}, W_{4}, W_{5}, W_{6}, W_{7}, W_{8}] \\ i_{t} &= \sigma(W_1 x_t + W_2 m_t) \\ i'_{t} &= \tanh(W_3 x_t + W_4 m_t) \\ f_{t} &= \sigma(W_5 x_t + W_6 m_t) \\ o_{t} &= \sigma(W_7 x_t + W_8 m_t) \\ c_t &= c_{t-1} \odot f_{t} + i_{0t} \odot i_{t} \\ m_t &= c_t \odot o_{t} \end{aligned}$

양자화 (quantization)

양자화된 추론을 수행할 때, 식 10과 11의 모든 부동 소수점 연산을 8비트 또는 16비트 해상도의 고정 소수점 연산으로 대체합니다. 위의 가중치 행렬 W는 8비트 정수 행렬 $WQ$ 와 부동 소수점 벡터 $s$ 로 표현됩니다.

(12) $\begin{align*} s_i &= \max(\lvert W[i, :] \rvert) \\ WQ[i, j] &= \text{round}\left(\frac{W[i, j]}{s_i} \times 127.0\right) \end{align*}$

모든 누적값 (예: $c^i_t$ 와 $x^i_t$ )은 범위가 [-δ, δ]인 16비트 정수로 표현됩니다.

식 11에서의 모든 행렬 곱셈 (예: $W_1 x_t$ , $W_2 m_t$ 등)은 8비트 정수 곱셈을 통해 더 큰 누적기로 계산됩니다. 모든 활성화 함수 (시그모이드, 탄젠트 등) 및 요소별 연산 ( $\odot$ , +)은 16비트 정수 연산으로 수행됩니다.

로그-선형 소프트맥스 레이어

훈련 중에, 디코더 RNN 네트워크 출력 $y_t$ 가 주어지면, 다음과 같이 모든 후보 출력 기호에 대한 확률 벡터 $p_t$ 를 계산합니다:

(13) $\begin{align*} v_t &= Ws \cdot y_t \\ p_t &= \text{softmax}(v_{0t}) \\ v_{0t} &= \max(-\gamma, \min(\gamma, v_t)) \end{align*}$

식 13에서, $W_s$ 는 선형 계층의 가중치 행렬로, 대상 어휘의 기호 수와 같은 수의 행을 가지며, 각 행은 하나의 고유한 대상 기호에 대응합니다. $v$ 는 원시 로짓을 나타내며, 이는 먼저 $-\gamma$ 와 $\gamma$ 사이로 클리핑된 후 확률 벡터 $p$ 로 정규화됩니다.

입력 $y_t$ 는 디코더 RNN에 적용된 양자화 방식 덕분에 $-\delta$ 와 $\delta$ 사이로 보장됩니다. 로짓 $v$ 의 클리핑 범위 $\gamma$ 는 경험적으로 결정되며, 여기에서는 25로 설정됩니다.

양자화된 추론에서는 가중치 행렬 $W_s$ 가 식 12와 같이 8비트로 양자화되고, 행렬 곱셈은 8비트 산술을 사용하여 수행됩니다. 소프트맥스 함수와 어텐션 모델 내의 계산은 추론 중에 양자화되지 않습니다.

모델 훈련 중에는 고정밀 부동 소수점 숫자를 사용한다는 점을 강조할 가치가 있습니다.

훈련 중에 모델에 추가하는 유일한 제약은 RNN 누적기 값을 $[-δ, δ]$ 로, 소프트맥스 로짓을 $[-γ, γ]$ 로 클리핑하는 것입니다. $\gamma$ 는 25.0으로 고정되며, $\delta$ 값은 훈련 시작 시 여유 있는 경계인 8.0에서 훈련 종료 시 더 엄격한 경계인 1.0으로 점진적으로 감소됩니다.

추론 시에는 $\delta$ 가 1.0으로 고정됩니다.
이러한 추가 제약은 모델의 수렴이나 수렴 후 모델의 디코딩 품질을 저하시키지 않습니다.

출처: 그림 4 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

그림 4에서 WMT’14 영어-프랑스어 데이터셋에서 제약이 없는 모델(파란색 곡선)과 제약이 있는 모델(빨간색 곡선)의 손실 대 스텝을 비교합니다.

제약이 있는 모델의 손실이 약간 더 나은 것을 볼 수 있습니다.
이러한 제약이 정규화 역할을 하기 때문일 수 있습니다.

해결책은 효율성과 정확성 사이에서 좋은 균형을 이룹니다.
계산 비용이 많이 드는 연산 (행렬 곱셈)이 8비트 정수로 처리하여 효율적입니다.
오류에 민감한 누적기 값은 16비트 정수로 저장됩니다.

양자화 오류에 강하고 매우 정확합니다.

추론 속도와 품질 측정 – CPU, GPU, TPU

출처: 표 1 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

표 1에서는 WMT’14 영어-프랑스어 개발 세트(newstest2012와 newstest2013 테스트 세트를 연결하여 총 6003문장)에서 CPU, GPU, Google의 텐서 프로세싱 유닛(TPU) 각각으로 디코딩할 때의 추론 속도와 품질을 비교합니다.

여기서 비교를 위해 사용된 모델은 ML 목적만으로 양자화 제약으로 훈련된 모델입니다.
즉, 강화 학습 기반 모델 개선이 없습니다.
모델이 CPU와 GPU에서 디코딩될 때는 양자화되지 않습니다.
모든 연산이 고정밀 부동 소수점으로 수행됩니다.

TPU에서 디코딩될 때는 임베딩 조회 및 어텐션 모듈과 같은 특정 연산이 CPU에서 수행됩니다.
모든 다른 양자화된 연산은 TPU로 오프로드됩니다.

모든 경우에 디코딩은 두 개의 Intel Haswell CPU(총 88개의 CPU 코어(하이퍼스레드))를 가진 단일 머신에서 수행됩니다. 이 머신은 GPU 실험을 위해 NVIDIA GPU(Tesla k80) 또는 TPU 실험을 위해 단일 Google TPU를 장착하고 있습니다.

품질 유지. TPU > CPU > GPU

표 1은 TPU에서 감소된 정밀도 산술을 사용하여 디코딩할 때 로그 퍼플렉서티가 0.0072만큼 매우 최소한의 손실을 겪으며, BLEU에서는 전혀 손실이 없음을 보여줍니다. 이 결과는 컨볼루션 신경망 모델을 양자화할 때 모델 품질의 대부분을 유지할 수 있음을 보고한 이전 연구와 일치합니다.

표 1은 또한 CPU에서 모델을 디코딩하는 것이 GPU보다 실제로 2.3배 더 빠르다는 것을 보여줍니다.

첫째로, 듀얼 CPU를 사용하는 호스트 머신은 이론적인 최대 FLOP 성능이 GPU의 3분의 2 이상을 제공합니다.

둘째로, 빔 서치 알고리즘은 디코딩의 매 단계마다 호스트와 GPU 사이에 상당한 양의 데이터 전송을 발생시킵니다. 따라서 현재의 디코더 구현은 추론 중 GPU가 이론적으로 제공할 수 있는 계산 용량을 완전히 활용하지 못하고 있습니다.

마지막으로, 표 1은 TPU에서 디코딩하는 것이 CPU에서 디코딩하는 것보다 3.4배 빠르다는 것을 보여주며, 이는 TPU에서의 양자화 산술이 CPU나 GPU보다 훨씬 빠르다는 것을 증명합니다.

항상 실험에서 양자화된 모델을 훈련하고 평가합니다. CPU에서 디코딩한 모델과 TPU에서 디코딩한 모델 간의 품질 차이가 거의 없기 때문에, 훈련 및 실험 중 모델 평가를 위해 CPU를 사용하고, 제품 트래픽 처리를 위해 TPU를 사용합니다.

GNMT – 디코더 (Decoder)

디코딩 중에는 빔 서치를 사용하여 훈련된 모델을 기반으로 점수 함수 $s(Y, X)$ 를 최대화하는 시퀀스 $Y$ 를 찾습니다.

순수 최대 확률 기반 빔 서치 알고리즘에 두 가지 중요한 개선 사항을 도입했습니다:
커버리지 페널티와 길이 정규화입니다.
길이 정규화를 통해 다른 길이의 가설을 비교합니다.
길이 정규화 없이 정규 빔 서치는 평균적으로 짧은 결과를 선호하게 됩니다.
왜냐하면 각 단계에서 음의 로그 확률이 더해져 더 긴 문장에 대해 더 낮은(더 음의) 점수를 산출하기 때문입니다.

처음에는 단순히 길이로 나누어 정규화하려고 시도했습니다. 그 후 개발 세트에서 최적화된 $0 < \alpha < 1$ 범위의 $\alpha$ 값을 사용하여 길이를 $\text{length}^{\alpha}$ 로 나누어 원래의 휴리스틱을 개선했습니. 보통 $\alpha \in [0.6 - 0.7]$ )가 가장 좋다고 발견되었습니다.

결국 경험적으로 더 나은 다음의 점수 함수를 설계했습니다.
이 함수는 어텐션 모듈에 따라 소스 문장을 완전히 커버하는 번역을 선호하도록 커버리지 페널티도 포함합니다.

후보 번역 점수 함수

더 구체적으로, 후보 번역을 순위 매기는 데 사용하는 점수 함수 $s(Y, X)$ 는 다음과 같이 정의됩니다:

(14) $\begin{align*} s(Y, X) &= \frac{\log(P(Y | X))}{\text{lp}(Y)} + \text{cp}(X; Y) \\ \text{lp}(Y) &= \frac{(5 + |Y|)^{\alpha}}{(5 + 1)^{\alpha}} \\ \text{cp}(X; Y) &= \beta \cdot \sum_{i=1}^{|X|} \log\left(\min\left(\sum_{j=1}^{|Y|} p_{i,j}, 1.0\right)\right) \end{align*}$

여기서 $p_{i,j}$ 는 i번째 소스 단어 $x_i$ 에 대한 j번째 타겟 단어 $y_j$ 의 어텐션 확률을 나타냅니다. 구성상(식 4에 따라), $\sum_{i=0}^{|X|} p_{i,j}$ 는 1과 같습니다. 파라미터 $\alpha$ 와 $\beta$ 는 길이 정규화와 커버리지 페널티의 강도를 조절합니다. $\alpha = 0$ 및 $\beta = 0$ 일 때, 디코더는 순수 확률 기반 빔 서치로 돌아갑니다.

두 가지 형태의 가지치기 (pruning)

빔 서치 동안, 보통 8-12개의 가설을 유지하지만, 더 적은 가설(4 또는 2)을 사용하는 경우 BLEU 점수에 약간의 부정적인 영향만 미칩니다. 고려되는 가설 수를 가지치기하는 것 외에도, 두 가지 다른 형태의 가지치기를 사용합니다.

첫째, 각 단계에서, 이 단계의 최고 토큰보다 빔 크기만큼 아래에 있지 않은 로컬 점수를 가진 토큰만 고려합니다. 둘째, 식 14에 따라 정규화된 최고 점수가 발견된 후, 현재까지의 최고 정규화 점수보다 빔 크기만큼 아래에 있는 모든 가설을 가지치기합니다.

후자의 가지치기는 정규화된 공간에서 점수를 비교하기 때문에 전체 가설에만 적용됩니다. 이 형태의 가지치기는 충분히 좋은 가설이 발견되면 더 이상 가설이 생성되지 않게 되어 검색이 빠르게 종료되는 효과도 있습니다.

가지치기를 사용하지 않고 (단순히 소스 길이의 두 배인 사전 결정된 최대 출력 길이 이후에 디코딩을 중지하는 경우와 비교하여) CPU에서 실행할 때 검색 속도가 30% – 40% 빨라집니다. 별도의 언급이 없는 한, 일반적으로 빔 크기는 3.0으로 사용됩니다.

디코딩 중 처리량을 개선하기 위해 유사한 길이의 많은 문장(보통 최대 35개)을 배치에 넣고 병렬로 디코딩하여 병렬 계산에 최적화된 하드웨어를 활용할 수 있습니다. 이 경우, 빔 서치는 배치 내 모든 문장에 대한 모든 가설이 빔에서 벗어나야만 완료되며, 이는 이론적으로 약간 덜 효율적이지만 실제로는 추가적인 계산 비용이 거의 없습니다.

길이 정규화와 커버리지 패널티

출처: 표 2 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

표 2는 WMT’14 영어-프랑스어 개발 세트를 디코딩할 때 $\alpha$ 와 $\beta$ 가 BLEU 점수에 미치는 영향을 보여줍니다. 여기서 사용된 실험 모델은 ML 목표만을 사용하여 훈련된 모델입니다(RL 개선 없이). 결과에서 알 수 있듯이, 일부 길이 정규화와 커버리지 페널티를 적용하면 BLEU 점수가 상당히 향상됩니다(30.3에서 31.4로).

출처: 표 3 – 1609.08144 – Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

RL 개선이 있는 모델에서는 길이 정규화( $\alpha$ )와 커버리지 페널티( $\beta$ )가 덜 효과적이라는 것을 발견했습니다. 표 3은 결과를 요약한 것입니다. 이는 이해할 만한데, RL 개선 동안 모델이 이미 전체 소스 문장에 주의를 기울여 과소 번역이나 과다 번역을 피하는 법을 배우기 때문입니다. 이는 BLEU (또는 GLEU) 점수에 페널티를 주게 됩니다.

다른 모델에 대해 최적의 $\alpha$ 와 $\beta$ 가 약간 다르다는 것을 발견했습니다. Google 내부 데이터셋을 사용한 튜닝 결과에 기반하여, 별도의 언급이 없는 한 실험에서 $\alpha = 0.2$ 와 $\beta = 0.2$ 를 사용합니다.