season 1에는 전체 Pretraining PipeLine (a.k.a PPL) framework의 개별 module들의 필요성을 논의한 뒤 이를 각자 공부하면서 개발 후, 토의를 통해서 완성시켜 나갑니다. 아래는 개발해야할 개별 아이템들입니다. (순서가 있습니다.) 아래는 예시입니다.

Item 1: Tokenizer 학습 모듈
개요
데이터를 기반으로 subword를 학습하는 algorithm (e.g. Character-level bpe, Byte-level bpe, Wordpiece) 등을 효율적으로 학습할 수 있는 framework을 만듭니다.


Item 2: Serializer 모듈
개요
학습된 tokenizer를 기반으로 학습하고자하는 plm 유형에 따라 데이터를 미리 학습가능한 형태로 저장해놓는 framework를 만듭니다.
학습시키고자하는 pre-trained language model (a.k.a plm)의 유형 (e.g. MLM, CLM, S2S)을 고려할 수 있어야합니다.


Item 3: Pre-training 모듈
개요
plm유형에 따라 serialize된 데이터를 기반으로 모델을 학습할 수 있는 framework의 전체 구조를 설계합니다. 아래와 같은 항목들을 고려해야합니다.


Item 4: Pre-training 모듈에 BERT 학습기능 추가
개요
Item 3에서 초벌로 설계한 Pre-training 모듈에 BERT를 학습할 수 있는 기능을 추가합니다.
해당 기능을 토대로 학습한 모델을 예시로서 공개합니다.

Item 5: Pre-training 모듈에 GPT 학습기능 추가
개요
Item 3에서 초벌로 설계한 Pre-training 모듈에 GPT를 학습할 수 있는 기능을 추가합니다.
해당 기능을 토대로 학습한 모델을 예시로서 공개합니다.

Item 6: Pre-training 모듈에 Roberta 학습기능 추가
개요
Item 3에서 초벌로 설계한 Pre-training 모듈에 RoBERTa를 학습할 수 있는 기능을 추가합니다.
해당 기능을 토대로 학습한 모델을 예시로서 공개합니다.

Item 7: Pre-training 모듈에 BART 학습기능 추가
개요
Item 3에서 초벌로 설계한 Pre-training 모듈에 BART를 학습할 수 있는 기능을 추가합니다.
해당 기능을 토대로 학습한 모델을 예시로서 공개합니다.

개별 아이템 별로 랩원들간의 토의를 통해서 필요한 요건을 문서로 정리합니다. 그리고 해당 문서를 기반으로 각자 개발 후, 추후 토론을 통해 모듈을 완성해가는 방식입니다. 모듈을 완성하면 이를 외부에 공유할 수 있는 형태로 작성하여 공유합니다. 아래는 생각하고있는 좋은 공유로서의 예시입니다.

Data Loader, Better, Faster, Stronger

- 자연어처리에 지식이 있으신분
- Pre-trained Language Model을 직접 학습해 보고 싶으신 분