다양한 LLM의 발전, 그 중심에는 attention 이 있습니다.
처리하는 문장의 맥락정보를 강화하여, 언어모델은 더 뛰어나게 정보를 처리할 수 있었고, attention으로만 구성된 트랜스포머 모델로부터 LLM이 태동했으니까요!
오늘 학계에서는 attention 기법을 개선하는 새로운 기술이 2개 소개되었습니다.

star attention

트랜스포머 기반 대규모 언어 모델(LLM)의 긴 시퀀스 추론은 Self attention 메커니즘의 이차 복잡도로 인해 비용과 속도 측면에서 비효율적입니다.
이를 해결하기 위해 NVidia의 연구자들이 Star attention을 제안하였습니다. Star attention은 두 단계의 블록-희소 근사화 접근법으로, 첫 번째 단계에서는 호스트 간 block local attention을 병렬로 처리하고, 두 번째 단계에서는 쿼리 및 응답 토큰이 sequance global attention을 통해 이전 캐시된 토큰에 주의를 기울입니다.
결과적으로, 연구자들은 메모리 요구 사항과 추론 시간을 최대 11배 줄이면서도 95-100%의 정확성을 유지할 수 있는 효율적인 방법을 제시했습니다.

No Title

No Description

monotonic attention으로 튜랜스듀서 아키텍쳐를 개선하다

스트리밍 생성 모델, 특히 트랜스듀서 아키텍처는 산업 응용 분야에서 널리 사용되고 있지만, 입력-동기화 디코딩 메커니즘으로 인해 동시 번역과 같은 비단조적 정렬이 필요한 작업에서 성능 한계가 있었습니다.
중국 과학원 외 공동 연구자들은 학습 가능한 monotonic attention메커니즘을 도입하여 이 문제를 해결합니다.
순방향-역방향 알고리즘을 통해 예측기 상태와 입력 타임스탬프 간 정렬의 사후 확률을 추론하고, 이를 통해 모델이 예측에 기반하여 attention범위를 적응적으로 조정할 수 있게 합니다.
실험 결과, 제안된 MonoAttn-Transducer는 스트리밍 생성에서 비단조적 정렬 처리 능력을 크게 향상시켜, 트랜스듀서 기반 프레임워크의 복잡한 작업 수행 가능성을 보여주었습니다.

GitHub – ictnlp/MonoAttn-Transducer: Code Implementation for Paper “Learning Monotonic Attention in Transducer for Streaming Generation”

Code Implementation for Paper “Learning Monotonic Attention in Transducer for Streaming Generation” – ictnlp/MonoAttn-Transducer