ELMo

ELMo 는 단어 표현의 두 가지 과제를 직접적으로 해결합니다. 사전 학습된 단어 표현은 복잡한 단어 사용 특성 (예: 구문 및 의미론)과 이러한 사용이 언어적 맥락에 따라 어떻게 달라지는지를 모델링 (즉, 다의어를 모델링) 하는 과제입니다.

ELMo 는 기존 모델에 쉽게 통합될 수 있으며, 다양한 어려운 언어 이해 문제에서 모든 경우에서 최첨단 성능을 크게 향상시키는 새로운 유형의 심층적 맥락화된 단어 표현입니다.

ELMo 표현은 각 토큰이 전체 입력 문장의 함수인 표현을 할당받는 점에서 전통적인 단어 유형 임베딩과 다릅니다. 문자 합성곱을 포함한 2층 biLMs의 상단에서 내부 네트워크 상태의 선형 함수로 계산됩니다. 큰 텍스트 말뭉치에 대한 결합 언어 모델(LM) 목표와 함께 훈련된 양방향 LSTM에서 파생된 벡터를 사용합니다. 이러한 이유로 ELMo (Embeddings from Language Models) 표현이라고 부릅니다.

ELMo 의 특징

맥락화된 단어 벡터를 학습하기 위한 이전 접근 방식과 달리, ELMo 표현은 biLM의 모든 내부 계층의 함수라는 점에서 깊습니다. 더 구체적으로, 우리는 각 최종 작업에 대해 각 입력 단어 위에 쌓인 벡터의 선형 결합을 학습하며, 이는 단순히 상위 LSTM 계층을 사용하는 것보다 성능을 크게 향상시킵니다.

이러한 방식으로 내부 상태를 결합하면 매우 풍부한 단어 표현이 가능합니다. 내재적 평가를 통해 상위 LSTM 상태가 단어 의미의 맥락 의존적 측면을 포착하는 반면(예: 감독된 단어 의미 명확화 작업에서 수정 없이 사용 가능), 하위 상태는 구문 측면을 모델링함을 보여줍니다(예: 품사 태깅에 사용 가능). 이러한 모든 신호를 동시에 노출하면 학습된 모델이 각 최종 작업에 가장 유용한 유형의 반감독을 선택할 수 있어 매우 유익합니다. 광범위한 실험은 ELMo 표현이 실제로 매우 잘 작동함을 보여줍니다.

먼저, 텍스트 포함, 질문 응답, 감정 분석을 포함한 6가지 다양한 언어 이해 문제에 쉽게 추가할 수 있음을 보여줍니다. ELMo 표현의 추가만으로도 모든 경우에 최신 성과를 크게 향상시킵니다. 직접 비교가 가능한 작업의 경우 ELMo는 신경 기계 번역 인코더를 사용하는 CoVe(McCann et al., 2017)보다 우수합니다. 마지막으로 ELMo와 CoVe 모두의 분석은 깊은 표현이 LSTM의 상위 계층에서 파생된 표현보다 우수하다는 것을 보여줍니다. 우리의 학습된 모델과 코드는 공개적으로 사용 가능하며, ELMo가 많은 다른 NLP 문제에서도 유사한 이점을 제공할 것으로 기대합니다.

ELMo 구성 요소 3가지

ELMo 모델은 세 가지 주요 구성 요소로 구성됩니다:

1. 문자 기반 단어 표현:
Elmo는 문자 기반 단어 표현을 생성하는 것으로 시작합니다. 각 단어는 문자 시퀀스로 분해되고, 각 문자의 문자 수준 임베딩은 합성곱 신경망(CNN)을 사용하여 계산됩니다. 그런 다음 이 문자 수준 임베딩이 결합되어 단어 수준 표현을 형성합니다. 문자 수준 임베딩을 사용하면 Elmo는 어휘에 없는 단어를 처리하고 드문 단어 또는 잘못된 철자의 단어에 대해 더 나은 표현을 생성할 수 있습니다.

2. 양방향 LSTM 네트워크:
Elmo의 다음 구성 요소는 양방향 LSTM 네트워크입니다. LSTM 네트워크는 단어 표현의 입력 시퀀스를 순방향 및 역방향으로 처리합니다. 이를 통해 모델은 각 단어의 앞뒤 단어에 대한 문맥적 의존성을 포착할 수 있습니다. 각 층에서 LSTM 셀은 현재 단어 표현과 이전 층의 출력을 입력으로 받아 현재 단어에 대한 숨겨진 상태 벡터를 생성합니다. 마지막 LSTM 층의 출력은 최종 맥락화된 단어 표현을 계산하는 데 사용됩니다.

3. 작업별 레이어:
Elmo의 마지막 구성 요소는 작업별 레이어입니다. 이 레이어들은 양방향 LSTM 네트워크 위에 추가되며, 감정 분석, 명명된 개체 인식 또는 기계 번역과 같은 특정 다운스트림 작업을 위해 훈련됩니다. 작업별 레이어는 분류를 위한 단순한 선형 레이어일 수도 있고, 시퀀스 레이블링을 위한 더 복잡한 신경망일 수도 있습니다. 작업별 레이어는 입력 텍스트의 문맥 정보를 캡처하는 Elmo 임베딩 위에 훈련됩니다.

ELMo 아키텍처

출처: 1810.04805 – BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

ELMo는 biLM의 중간 레이어 표현의 특정 작업 조합입니다. 각 토큰 $t_k$ 에 대해, L-레이어 biLM은 2L+1개의 표현을 계산합니다:

$\begin{align*} R_k &= \{ x_k^{LM}, \overrightarrow{h}_{k,j}^{LM}, \overleftarrow{h}_{k,j}^{LM} \mid j = 1, \ldots, L \} \\ &= \{ h_{k,j}^{LM} \mid j = 0, \ldots, L \}, \end{align*}$

여기서 $h_{k,0}^{LM}$ 은 토큰 레이어이고, $h_{k,j}^{LM}$ 는 각 biLSTM 레이어에 대해 $\overrightarrow{h}_{k,j}^{LM}$ 및 $\overleftarrow{h}_{k,j}^{LM}$ 입니다. 다운스트림 모델에 포함시키기 위해, ELMo는 $R$ 의 모든 레이어를 단일 벡터로 축소합니다.

$ELMo_k = E(R_k; \Theta_e)$

가장 간단한 경우, ELMo는 TagLM 및 CoVe에서처럼 최상위 레이어를 선택합니다.

$E(R_k) = h_{k,L}^{LM},$

더 일반적으로, 모든 biLM 레이어의 작업 특화 가중치가 계산됩니다:

$ELMo_k^{task} = E(R_k; \Theta^{task}) = \gamma^{task} \sum_{j=0}^{L} s_j^{task} h_{k,j}^{LM}.$

$s^{task}$ 는 소프트맥스 정규화 가중치이며, 스칼라 매개변수 $\gamma^{task}$ 는 작업 모델이 전체 ELMo 벡터를 스케일 조정할 수 있게 합니다. $\gamma$ 는 최적화 과정을 돕기 위해 실질적으로 중요합니다.

각 biLM 레이어의 활성화가 서로 다른 분포를 가지고 있다는 점을 고려할 때, 일부 경우에는 가중치를 부여하기 전에 각 biLM 레이어에 레이어 정규화(Ba et al., 2016)가 적용됩니다.

biLM 활용한 지도 학습 NLP 작업

사전 학습된 biLM과 대상 NLP 작업을 위한 감독된 아키텍처가 주어지면, biLM을 사용하여 작업 모델을 개선하는 과정은 간단합니다. 먼저 biLM을 실행하고 각 단어에 대한 모든 계층 표현을 기록합니다. 그런 다음 최종 작업 모델이 이러한 표현의 선형 결합을 학습하도록 합니다.

biLM 없이 감독된 모델의 가장 낮은 계층을 먼저 고려합니다. 대부분의 감독된 NLP 모델은 가장 낮은 계층에서 공통 아키텍처를 공유하므로 ELMo를 일관되고 통일된 방식으로 추가할 수 있습니다. 주어진 토큰 시퀀스 $(t_1, \ldots, t_N)$ 에 대해, 미리 학습된 단어 임베딩과 선택적으로 문자 기반 표현을 사용하여 각 토큰 위치에 대해 문맥에 독립적인 토큰 표현 $x_k$ 를 형성하는 것이 일반적입니다. 그런 다음 모델은 일반적으로 양방향 RNN, CNN 또는 피드 포워드 네트워크를 사용하여 문맥에 민감한 표현 $h_k$ 를 형성합니다.

biLM 활용한 작업 모델 개선

사전 학습된 biLM 및 감독된 아키텍처를 사용하여 biLM을 통해 작업 모델을 개선하는 것은 매우 간단한 과정입니다. 각 단어에 대해 biLM의 모든 계층 표현을 기록한 후, 최종 작업 모델이 이러한 표현의 선형 결합을 학습하도록 합니다.

감독된 모델의 가장 낮은 계층을 먼저 고려합니다. 대부분의 감독된 NLP 모델은 가장 낮은 계층에서 공통 아키텍처를 공유하므로, ELMo를 일관되고 통일된 방식으로 추가할 수 있습니다. 주어진 토큰 시퀀스 $(t_1, \ldots, t_N)$ 에 대해, 미리 학습된 단어 임베딩과 선택적으로 문자 기반 표현을 사용하여 각 토큰 위치에 대해 문맥에 독립적인 토큰 표현 $x_k$ 를 형성하는 것이 일반적입니다. 그런 다음 모델은 일반적으로 양방향 RNN, CNN 또는 피드 포워드 네트워크를 사용하여 문맥에 민감한 표현 $h_k$ 를 형성합니다.

ELMo 를 모델에 추가

ELMo 를 지도 학습된 모델에 추가하기 위해, 첫번째로 biLM 의 가중치를 동결합니다. 그런 다음 ELMo 벡터 $\text{ELMo}_k^{\text{task}}$ 를 $x_k$ 와 연결하여 이 ELMo가 강화된 표현 $[\mathbf{x}_k; \text{ELMo}_k^{\text{task}}]$ 을 태스크 RNN에 전달합니다. 일부 태스크 (SNLI, SQuAD)에서는 태스크 RNN 출력에 ELMo를 포함하여 추가 개선을 확인하였습니다. 이는 출력에 특정 선형 가중치를 도입하고 $h_k$ 를 $[h_k; \text{ELMo}_k^{\text{task}}]$ 로 교체합니다. 나머지 감독 모델은 변경되지 않고, 이러한 추가 작업은 더 복잡한 신경망 모델에서도 발생할 수 있습니다.

예를 들어, biLSTMs 다음에 bi-attention 레이어를 사용하는 SNLI 실험을 참조하거나, coreference resolution 실험에서 클러스터링 모델이 biLSTMs 상단에 레이어링됩니다.

마지막으로, ELMo 에 적당한 양의 드롭아웃을 추가하고, 경우에 따라서는 ELMo 가중치를 정규화하기 위해 가중치 감쇠(weight decay)를 추가하는 것이 유익하다는 것을 발견했습니다. 이를 통해 ELMo 가중치가 모든 biLM 레이어의 평균에 가깝게 유지되도록 하는 귀납적 편향을 부과합니다.

사전 학습된 양방향 언어 모델 아키텍처

이 논문에서 사전 학습된 biLM은 1602.02410 – Exploring the Limits of Language Modeling (Jozefowicz arXiv’16) 과 1508.06615 – Character-Aware Neural Language Models (LSTM-Char-CNN) 의 아키텍처와 유사합니다. 그렇지만 양방향의 공동 학습을 지원하고, LSTM 레이어 간에 잔차 연결을 추가하도록 수정되었습니다.

Jozefowicz 의 단일 최적 모델 CNN-BIG-LSTM 에서 모든 임베딩 및 숨겨진 차원을 절반으로 줄였습니다. 구체적으로, 최종 모델은 4096 유닛과 512 차원 투영이 있는 L=2 biLSTM 레이어와 첫 번째 레이어에서 두 번째 레이어로의 잔차 연결을 사용합니다. 문맥에 독립적인 타입 표현은 Highway Network에서 제안한 대로 2048개의 문자 n-gram 합성곱 필터와 두 개의 하이웨이 레이어를 사용하고, 512개의 표현으로 선형 투영을 통해 다운됩니다. 결과적으로 biLM은 각 입력 토큰에 대해 세 개의 레이어 표현을 제공합니다.

1B Word Benchmark에서 10 에포크 동안 학습한 후 평균 전방 및 후방의 perplexity 는 39.7로, LSTM-Char-CNN의 전방 CNN-BIG-LSTM에 비해 30.0입니다. 사전 학습 후, biLM은 표현을 계산하고 모든 작업에 맞게 미세 조정될 수 있습니다.

평가

ELMo는 다양한 NLP 작업과 데이터셋에서 평가되었습니다.

질문 답변: 스탠포드 질문 답변 데이터셋(SQuAD)
감정 분석: 스탠포드 감정 트리뱅크(SST) 데이터셋
명명된 개체 인식(NER): CoNLL-2003 NER 데이터셋
자연어 추론(NLI): 스탠포드 자연어 추론(SNLI) 데이터셋
의미 역할 라벨링(SRL): CoNLL-2005 SRL 데이터셋

ELMo 는 위 5개의 데이셋에서 평가되어 최첨단 결과를 달성했습니다.

이러한 데이터셋과 작업 외에도 ELMo는 GLUE 벤치마크, Multi-Genre Natural Language Inference (MNLI) 데이터셋, Common Crawl 데이터셋 등에서도 평가되었습니다.

전반적으로, ELMo는 다양한 NLP 작업에서 매우 효과적임이 입증되었으며, 많은 벤치마크 데이터셋에서 최첨단 결과를 달성했습니다.

참고