백엔드 개발 공부, Django로 ‘4개월’이면 가능해요
어떤 모임인가요?
Stable diffusion이 그리는 그림들은 다들 보았으리라 생각합니다.
그러나 그 내부에서 벌어지는 원리가 궁금하지 않으신가요?
그 내부에는 무지막지한 수학적 알고리즘이 숨겨져 있답니다.
힘들지만 그 내막을 파헤쳐보는 대장정에 함께할 파티원을 모집합니다!
무엇을 얻을 수 있나요?
높은 확률로 stable diffusion의 원리를 깨달을 수 있습니다.
극히 낮은 확률로 stable diffusion의 원리를 깨달을 수 없음을 알 수 있습니다.
무엇을 공부하나요?
Stable Diffusion을 이해하기 앞서서 선행 논문들을 살펴보고 이를 토대로 stable diffusion을 이해합니다.
어떤 사전지식이 필요한가요?
다변수 미적분학,
기본적인 베이지안 확률론,
미분 방정식의 기본적 개념 약간,
CNN Unet, Transformer
등등 사전지식이 필요합니다.
이런 분들이 들으면 좋아요!
Stable diffusion과 같은 모델을 만들고 싶으신 분
이런 분들은 신청하기 전 다시 한 번 고민해보세요!
딥러닝 처음 시작하시는 분
수학적 배경이 부족하신 분
프로그램 코드를 작성하는데 어려움이 있으신 분
학습유형
사전학습 (주차별 학습 내용을 각자 학습한 후, 모여서 토론해요.)
모임 운영 방식
매주 한 시간 논문, 한 시간 코드 리뷰를 진행합니다.
주어진 파트를 미리 정하고 자신의 발표가 오기 전까지 공부를 하고 발표 준비를 합니다.
커리큘럼
Introduction
1주차 : 생성모델의 과거와 오늘 그리고 미래 - 퍼실이 진행

Diffusion모델과의 불편한 만남
2주차 : DDPM 뽀개기
3주차 : Score-based Models 뽀개기

Flow-based Models과의 어색한 만남
4주차 : NICE, RealNVP, Glow 뽀개기
5주차 : Neural ODE, FFJORD 뽀개기

Stochastic Differential Equation과의 우연한 만남
6주차 : SDE 뽀개기
7주차 : EDM 뽀개기

Rectified Flow과의 새로운 만남
8주차 : Rectified Flow 뽀개기
9주차 : Flow-Matching 뽀개기

Stable Diffusion의 세계로
10주차 : Latent Diffusion 뽀개기
11주차 : Stable Diffusion 3 뽀개기

교재 / 학습자료 / 준비물
  • 2주차 : DDPM 뽀개기 Sohl-Dickstein, Jascha, et al. "Deep unsupervised learning using nonequilibrium thermodynamics." International conference on machine learning. PMLR, 2015. Ho, Jonathan, Ajay Jain, and Pieter Abbeel. "Denoising diffusion probabilistic models." Advances in neural information processing systems 33 (2020): 6840-6851.
  • 3주차 : Score-based Models 뽀개기 Yang Song and Stefano Ermon. Generative modeling by estimating gradients of the data distribution. In Advances in Neural Information Processing Systems, pp. 11895–11907, 2019. Yang Song and Stefano Ermon. Improved techniques for training score-based generative models. Advances in Neural Information Processing Systems, 33, 2020.
  • 4주차 : NICE, RealNVP, Glow 뽀개기 Dinh, Laurent, David Krueger, and Yoshua Bengio. "Nice: Non-linear independent components estimation." arXiv preprint arXiv:1410.8516 (2014). Dinh, Laurent, Jascha Sohl-Dickstein, and Samy Bengio. "Density estimation using real nvp." arXiv preprint arXiv:1605.08803 (2016). Kingma, Durk P., and Prafulla Dhariwal. "Glow: Generative flow with invertible 1x1 convolutions." Advances in neural information processing systems 31 (2018).
  • 5주차 : Neural ODE 뽀개기 Chen, Ricky TQ, et al. "Neural ordinary differential equations." Advances in neural information processing systems 31 (2018). Grathwohl, Will, et al. "Ffjord: Free-form continuous dynamics for scalable reversible generative models." arXiv preprint arXiv:1810.01367 (2018).
  • 6주차 : SDE 뽀개기 Song, Yang, et al. "Score-based generative modeling through stochastic differential equations." arXiv preprint arXiv:2011.13456 (2020).
  • 7주차 : EDM 뽀개기 Karras, Tero, et al. "Elucidating the design space of diffusion-based generative models." Advances in Neural Information Processing Systems 35 (2022): 26565-26577.
  • 8주차 : Rectified Flow 뽀개기 Liu, Xingchao, Chengyue Gong, and Qiang Liu. "Flow straight and fast: Learning to generate and transfer data with rectified flow." arXiv preprint arXiv:2209.03003 (2022).
  • 9주차 : Flow-Matching 뽀개기 Lipman, Yaron, et al. "Flow matching for generative modeling." arXiv preprint arXiv:2210.02747 (2022).
  • 10주차 : Latent Diffusion 뽀개기 Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.
  • 11주차 : Stable Diffusion 3 뽀개기 Esser, Patrick, et al. "Scaling rectified flow transformers for high-resolution image synthesis." arXiv preprint arXiv:2403.03206 (2024).
첫 시간 전 준비사항
편하게 오시면 됩니다!
퍼실이 소개
박수철

박수철

#생성모델 외길 #ENTJ이고 싶은 INTP

자기 소개 및 개설 동기

생성모델이 VAE와 GAN을 지나 diffusion으로 옮겨가고, 또 이제는 rectified flow라는 모델이 빠르게 적용되기 시작했습니다.
Stable Diffusion 3에도 이러한 흐름이 반영되었는데요... 리뷰를 해보면서 반은 알고 반은 모르겠다 싶었고, 나머지 반은 풀잎스쿨을 통해서 여러분들과 함께 채워나가려 개설하게 되었습니다.
생성모델에 열정이 있으신 많은 분들 활발한 참여 부탁 드려요.

소속

풀잎스쿨 / LAB 참여 이력

풀잎42기 Stable Diffusion 3 뽀개기 퍼실

풀잎19기 Difussion / Score-based Models 퍼실

풀잎16기 음성인식과 음성합성 퍼실

풀잎11기 타코트론의 모든 것 퍼실

풀잎10기 Deep Generative Models 퍼실

풀잎21기 [슬로우페이퍼 15기] Diffusion 모델부터 DALL-E 2까지! 참여

풀잎21기 Mathematics for Machine Learning S2 참여

풀잎18기 생성모델 연구개발을 위한 Implicit Generative Models 구현반-StyleGAN에서 StyleGAN v3까지 참여

풀잎18기 Tesla 자율주행 기술에 발가락 담그기 (지각(Perception) 중심) 참여

풀잎14기 GAN 최신 논문 톺아보기 참여

풀잎스쿨 참여 주의사항
Q. 풀잎스쿨은 강의인가요?
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!

Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!

Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)

Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불정책
첫 모임 시작 전날까지 취소 및 전액 환불이 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.
Stable Diffusion 3 뽀개기

모임시작

2024년 04월 27일

모임일시

매주 토요일 13:30 ~ 15:30

모임장소

강남캠퍼스

모집기간

2024년 03월 30일 ~ 04월 26일

모집인원

20명

모집방법

선착순

165,000원 / 총 11회 24시간

(7,500원 / 시간)

📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!

모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.

"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"

백엔드 개발 공부, Django로 ‘4개월’이면 가능해요
Stable Diffusion 3 뽀개기

모임시작

2024년 04월 27일

모임일시

매주 토요일 13:30 ~ 15:30

모임장소

강남캠퍼스

모집기간

2024년 03월 30일 ~ 04월 26일

모집인원

20명

모집방법

선착순

165,000원 / 총 11회 24시간

(7,500원 / 시간)

📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!

모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.

"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"

어떤 모임인가요?
Stable diffusion이 그리는 그림들은 다들 보았으리라 생각합니다.
그러나 그 내부에서 벌어지는 원리가 궁금하지 않으신가요?
그 내부에는 무지막지한 수학적 알고리즘이 숨겨져 있답니다.
힘들지만 그 내막을 파헤쳐보는 대장정에 함께할 파티원을 모집합니다!
무엇을 얻을 수 있나요?
높은 확률로 stable diffusion의 원리를 깨달을 수 있습니다.
극히 낮은 확률로 stable diffusion의 원리를 깨달을 수 없음을 알 수 있습니다.
무엇을 공부하나요?
Stable Diffusion을 이해하기 앞서서 선행 논문들을 살펴보고 이를 토대로 stable diffusion을 이해합니다.
어떤 사전지식이 필요한가요?
다변수 미적분학,
기본적인 베이지안 확률론,
미분 방정식의 기본적 개념 약간,
CNN Unet, Transformer
등등 사전지식이 필요합니다.
이런 분들이 들으면 좋아요!
Stable diffusion과 같은 모델을 만들고 싶으신 분
이런 분들은 신청하기 전 다시 한 번 고민해보세요!
딥러닝 처음 시작하시는 분
수학적 배경이 부족하신 분
프로그램 코드를 작성하는데 어려움이 있으신 분
학습유형
사전학습 (주차별 학습 내용을 각자 학습한 후, 모여서 토론해요.)
모임 운영 방식
매주 한 시간 논문, 한 시간 코드 리뷰를 진행합니다.
주어진 파트를 미리 정하고 자신의 발표가 오기 전까지 공부를 하고 발표 준비를 합니다.
커리큘럼
Introduction
1주차 : 생성모델의 과거와 오늘 그리고 미래 - 퍼실이 진행

Diffusion모델과의 불편한 만남
2주차 : DDPM 뽀개기
3주차 : Score-based Models 뽀개기

Flow-based Models과의 어색한 만남
4주차 : NICE, RealNVP, Glow 뽀개기
5주차 : Neural ODE, FFJORD 뽀개기

Stochastic Differential Equation과의 우연한 만남
6주차 : SDE 뽀개기
7주차 : EDM 뽀개기

Rectified Flow과의 새로운 만남
8주차 : Rectified Flow 뽀개기
9주차 : Flow-Matching 뽀개기

Stable Diffusion의 세계로
10주차 : Latent Diffusion 뽀개기
11주차 : Stable Diffusion 3 뽀개기

교재 / 학습자료 / 준비물
  • 2주차 : DDPM 뽀개기 Sohl-Dickstein, Jascha, et al. "Deep unsupervised learning using nonequilibrium thermodynamics." International conference on machine learning. PMLR, 2015. Ho, Jonathan, Ajay Jain, and Pieter Abbeel. "Denoising diffusion probabilistic models." Advances in neural information processing systems 33 (2020): 6840-6851.
  • 3주차 : Score-based Models 뽀개기 Yang Song and Stefano Ermon. Generative modeling by estimating gradients of the data distribution. In Advances in Neural Information Processing Systems, pp. 11895–11907, 2019. Yang Song and Stefano Ermon. Improved techniques for training score-based generative models. Advances in Neural Information Processing Systems, 33, 2020.
  • 4주차 : NICE, RealNVP, Glow 뽀개기 Dinh, Laurent, David Krueger, and Yoshua Bengio. "Nice: Non-linear independent components estimation." arXiv preprint arXiv:1410.8516 (2014). Dinh, Laurent, Jascha Sohl-Dickstein, and Samy Bengio. "Density estimation using real nvp." arXiv preprint arXiv:1605.08803 (2016). Kingma, Durk P., and Prafulla Dhariwal. "Glow: Generative flow with invertible 1x1 convolutions." Advances in neural information processing systems 31 (2018).
  • 5주차 : Neural ODE 뽀개기 Chen, Ricky TQ, et al. "Neural ordinary differential equations." Advances in neural information processing systems 31 (2018). Grathwohl, Will, et al. "Ffjord: Free-form continuous dynamics for scalable reversible generative models." arXiv preprint arXiv:1810.01367 (2018).
  • 6주차 : SDE 뽀개기 Song, Yang, et al. "Score-based generative modeling through stochastic differential equations." arXiv preprint arXiv:2011.13456 (2020).
  • 7주차 : EDM 뽀개기 Karras, Tero, et al. "Elucidating the design space of diffusion-based generative models." Advances in Neural Information Processing Systems 35 (2022): 26565-26577.
  • 8주차 : Rectified Flow 뽀개기 Liu, Xingchao, Chengyue Gong, and Qiang Liu. "Flow straight and fast: Learning to generate and transfer data with rectified flow." arXiv preprint arXiv:2209.03003 (2022).
  • 9주차 : Flow-Matching 뽀개기 Lipman, Yaron, et al. "Flow matching for generative modeling." arXiv preprint arXiv:2210.02747 (2022).
  • 10주차 : Latent Diffusion 뽀개기 Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.
  • 11주차 : Stable Diffusion 3 뽀개기 Esser, Patrick, et al. "Scaling rectified flow transformers for high-resolution image synthesis." arXiv preprint arXiv:2403.03206 (2024).
첫 시간 전 준비사항
편하게 오시면 됩니다!
퍼실이 소개

박수철

박수철
#생성모델 외길 #ENTJ이고 싶은 INTP
자기소개 및 개설동기
생성모델이 VAE와 GAN을 지나 diffusion으로 옮겨가고, 또 이제는 rectified flow라는 모델이 빠르게 적용되기 시작했습니다.
Stable Diffusion 3에도 이러한 흐름이 반영되었는데요... 리뷰를 해보면서 반은 알고 반은 모르겠다 싶었고, 나머지 반은 풀잎스쿨을 통해서 여러분들과 함께 채워나가려 개설하게 되었습니다.
생성모델에 열정이 있으신 많은 분들 활발한 참여 부탁 드려요.
소속
풀잎스쿨 / LAB 참여 이력

풀잎42기 Stable Diffusion 3 뽀개기 퍼실

풀잎19기 Difussion / Score-based Models 퍼실

풀잎16기 음성인식과 음성합성 퍼실

풀잎11기 타코트론의 모든 것 퍼실

풀잎10기 Deep Generative Models 퍼실

풀잎21기 [슬로우페이퍼 15기] Diffusion 모델부터 DALL-E 2까지! 참여

풀잎21기 Mathematics for Machine Learning S2 참여

풀잎18기 생성모델 연구개발을 위한 Implicit Generative Models 구현반-StyleGAN에서 StyleGAN v3까지 참여

풀잎18기 Tesla 자율주행 기술에 발가락 담그기 (지각(Perception) 중심) 참여

풀잎14기 GAN 최신 논문 톺아보기 참여

풀잎스쿨 참여 주의사항
Q. 풀잎스쿨은 강의인가요?
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!

Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!

Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)

Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불정책
첫 모임 시작 전날까지 취소 및 전액 환불이 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.