👉🏻 90% 국비지원으로 핫한 AI 강의 듣기

구글의 2025년 되돌아보기
허깅페이스 Transformers v5 토크나이저 업데이트

구글의 2025년 되돌아보기

^©Google

구글이 2025년 연구 성과를 정리한 블로그 포스트를 올렸어요. 작년이 멀티모달 모델의 기반을 쌓은 해였다면, 올해는 AI가 사람과 함께 생각하고 행동하며 세상을 탐구하기 시작한 해라고 평가하고 있는데요.

AI 모델 분야에서는 Gemini 3 시리즈와 이미지 모델 Nano Banana, 비디오 모델 Veo 3.1, 오픈소스 Gemma 3를 주요 성과로 꼽았습니다. 과학 분야에서는 AlphaFold, AlphaGenome 등 자연과학 모델과 수학·프로그래밍 대회에서 금메달 수준 성적을 낸 모델도 소개했고요. 양자 컴퓨팅, 에너지 효율성, 기상 예측, 도시 계획 같은 실제 세계(real-world)에 도움이 되는 연구도 진행해 왔다고 합니다.

Google's year in review: 8 areas with research breakthroughs in 2025

허깅페이스 Transformers v5 토크나이저 업데이트

^{©Hugging Face}

허깅페이스 Transformers가 2020년 v4 출시 이후 5년 만에 v5를 내놨습니다. 이번 버전에서는 특히 토크나이저(tokenizer)를 대폭 개선했는데요. 토크나이저는 자연어 텍스트를 모델이 처리할 수 있는 정수 시퀀스로 변환하는 역할을 해요.

기존 v4에서는 토크나이저 구조가 체크포인트 파일에 숨겨져 있어서 내부를 파악하기 어려웠는데, v5에서는 토크나이저 구조와 학습된 파라미터를 분리해서 구조를 쉽게 확인할 수 있게 됐어요. 또한 v4에서는 파이썬 기반 '느린' 토크나이저와 러스트 백엔드 '빠른' 토크나이저가 따로 있었는데, v5에서는 러스트 기반 빠른 토크나이저로 통합되면서 중복 코드가 제거됐습니다.

Tokenization in Transformers v5: Simpler, Clearer, and More Modular