모두의연구소에서 만들면 다릅니다. AI학교 아이펠 DS과정 마침내 오픈!
어떤 모임인가요?
  • apache airflow에서 데이터 파이프라인을 구축하는 것을 공부합니다.
  • apache airflow와 외부 시스템과 연결하는 것을 공부합니다.
  • apache airflow를 배포하고 관리하는 것을 공부합니다.
모임이 더 궁금하다면 모두의연구소 커뮤니티(https://join.slack.com/t/modulabs/shared_invite/zt-24wqh8x3q-N4AzqCVF_qD1x4RQeqFzAQ) 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!
무엇을 얻을 수 있나요?
- 데이터 파이프라인에 대한 지식
- Apache Airflow 배포/운영을 위한 지식
무엇을 공부하나요?
  • apache airflow에서 DAG 만들기
  • apache airflow에서 container로 작업하기
  • apache airflow와 외부 환경 연결하기
  • apache airflow를 분산 클라우드 환경에 배포하기
어떤 사전지식이 필요한가요?
  • 중급 이상의 python 프로그래밍 능력
  • 서버에 대한 충분한 이해도( 리눅스 운영 체제에서 프로세스, 서비스, 포트, 내부-외부 ip, 파일 권한 등에 대한 지식 )
이런 분들이 들으면 좋아요!
- 기존에 개발을 하면서, 데이터 엔지니어링 관련 기술을 배우고 싶은 분
이런 분들은 신청하기 전 다시 한 번 고민해보세요!
- python 라이브러리에서 pandas, numpy, tensorflow, pytorch 정도만 써보신 분들( 언어 사용 경험이 데이터 분석 또는 딥러닝 모델 훈련 경험 뿐이면 내용을 따라오기 힘들 것 같습니다 )
- 매주 진행된 내용들을 따라오기 힘들 것 같은 분들 (매주 모임 참여에만 의의가 있으신 분들은 한번 생각해주세요)
학습유형
사전학습 (주차별 학습 내용을 각자 학습한 후, 모여서 토론해요.)
모임 운영 방식
매주 두 명이 각각 한 챕터를 맡아서 발표하고 질문을 받는 방식으로 진행됩니다.
커리큘럼
1주차
ch1. Apache airflow 살펴보기
ch2. Airflow Dag의 구조

2주차
ch3. Airflow의 스케줄링
ch4. Airflow 콘텍스트를 사용하여 태스크 템플릿 작업하기

3주차
ch5. 태스크 간 의존성 정의하기
ch6.워크플로 트리거

4주차
ch7. 외부 시스템과 통신하기
ch8. 커스텀 컴포넌트 빌드

5주차
ch9 테스트하기
ch10 컨테이너에세 태스크 실행하기

6주차
ch11. 모범사례
ch12. 운영환경에서 Airflow 관리

7주차
ch13 Airflow 보안
ch14 프로젝트: 뉴욕에서 가장 빠른 길 찾기

8주차
ch15 클라우드에서의 Airflow
ch16. AWS에서의 Airflow

교재 / 학습자료 / 준비물
책: Apache Airflow 기반의 데이터 파이프라인
첫 시간 전 준비사항
  • 책을 구매해주세요
  • 책을 읽을 수 있는 만큼 읽고 참여해주세요
퍼실이 소개
김혁진

김혁진

#이직중 #파이썬 #서버인프라

자기 소개 및 개설 동기

apache airflow에 관심이 많아서 공부하려고 했는 데, 이런 저런 이유로 깊게 파고 들지는 못했던 것 같습니다.
이번에는 단순한 데이터 파이프라인을 작성하는 것을 넘어, apache airflow를 어떻게 하면 분산 환경 하에서 배포하고, 안전하게 운영하는 방법까지 해보고 싶네요.

소속

현재 없음

풀잎스쿨 / LAB 참여 이력

풀잎42기 Apache Airflow로 데이터 파이프라인 구동하기 퍼실

풀잎40기 데이터 수집,처리 시스템 만들어보기 퍼실

풀잎39기 SQL 숙달하기 퍼실

풀잎26기 데이터 공학 시작하기 퍼실

풀잎24기 처음 시작하는 우분투 리눅스 퍼실

풀잎30기 주니어 데이터 엔지니어가 되보자! 참여

풀잎25기 Head first Rust! 참여

풀잎19기 등받이데이터로 신원인증을 해보자 참여

풀잎18기 Object Detection 논문 톺아보기 참여

풀잎스쿨 참여 주의사항
Q. 풀잎스쿨은 강의인가요?
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!

Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!

Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)

Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불정책
첫 모임 시작 전날까지 취소 및 전액 환불이 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.
Apache Airflow로 데이터 파이프라인 구동하기

모임시작

2024년 04월 27일

모임일시

매주 토요일 10:30 ~ 13:30

모임장소

온라인캠퍼스

모집기간

2024년 03월 28일 ~ 04월 26일

모집인원

6명

모집방법

선착순

165,000원 / 총 8회 24시간

(6,875원 / 시간)

📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!

모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.

"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"

모두의연구소에서 만들면 다릅니다. AI학교 아이펠 DS과정 마침내 오픈!
Apache Airflow로 데이터 파이프라인 구동하기

모임시작

2024년 04월 27일

모임일시

매주 토요일 10:30 ~ 13:30

모임장소

온라인캠퍼스

모집기간

2024년 03월 28일 ~ 04월 26일

모집인원

6명

모집방법

선착순

165,000원 / 총 8회 24시간

(6,875원 / 시간)

📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!

모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.

"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"

어떤 모임인가요?
  • apache airflow에서 데이터 파이프라인을 구축하는 것을 공부합니다.
  • apache airflow와 외부 시스템과 연결하는 것을 공부합니다.
  • apache airflow를 배포하고 관리하는 것을 공부합니다.
모임이 더 궁금하다면 모두의연구소 커뮤니티(https://join.slack.com/t/modulabs/shared_invite/zt-24wqh8x3q-N4AzqCVF_qD1x4RQeqFzAQ) 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!
무엇을 얻을 수 있나요?
- 데이터 파이프라인에 대한 지식
- Apache Airflow 배포/운영을 위한 지식
무엇을 공부하나요?
  • apache airflow에서 DAG 만들기
  • apache airflow에서 container로 작업하기
  • apache airflow와 외부 환경 연결하기
  • apache airflow를 분산 클라우드 환경에 배포하기
어떤 사전지식이 필요한가요?
  • 중급 이상의 python 프로그래밍 능력
  • 서버에 대한 충분한 이해도( 리눅스 운영 체제에서 프로세스, 서비스, 포트, 내부-외부 ip, 파일 권한 등에 대한 지식 )
이런 분들이 들으면 좋아요!
- 기존에 개발을 하면서, 데이터 엔지니어링 관련 기술을 배우고 싶은 분
이런 분들은 신청하기 전 다시 한 번 고민해보세요!
- python 라이브러리에서 pandas, numpy, tensorflow, pytorch 정도만 써보신 분들( 언어 사용 경험이 데이터 분석 또는 딥러닝 모델 훈련 경험 뿐이면 내용을 따라오기 힘들 것 같습니다 )
- 매주 진행된 내용들을 따라오기 힘들 것 같은 분들 (매주 모임 참여에만 의의가 있으신 분들은 한번 생각해주세요)
학습유형
사전학습 (주차별 학습 내용을 각자 학습한 후, 모여서 토론해요.)
모임 운영 방식
매주 두 명이 각각 한 챕터를 맡아서 발표하고 질문을 받는 방식으로 진행됩니다.
커리큘럼
1주차
ch1. Apache airflow 살펴보기
ch2. Airflow Dag의 구조

2주차
ch3. Airflow의 스케줄링
ch4. Airflow 콘텍스트를 사용하여 태스크 템플릿 작업하기

3주차
ch5. 태스크 간 의존성 정의하기
ch6.워크플로 트리거

4주차
ch7. 외부 시스템과 통신하기
ch8. 커스텀 컴포넌트 빌드

5주차
ch9 테스트하기
ch10 컨테이너에세 태스크 실행하기

6주차
ch11. 모범사례
ch12. 운영환경에서 Airflow 관리

7주차
ch13 Airflow 보안
ch14 프로젝트: 뉴욕에서 가장 빠른 길 찾기

8주차
ch15 클라우드에서의 Airflow
ch16. AWS에서의 Airflow

교재 / 학습자료 / 준비물
책: Apache Airflow 기반의 데이터 파이프라인
첫 시간 전 준비사항
  • 책을 구매해주세요
  • 책을 읽을 수 있는 만큼 읽고 참여해주세요
퍼실이 소개

김혁진

김혁진
#이직중 #파이썬 #서버인프라
자기소개 및 개설동기
apache airflow에 관심이 많아서 공부하려고 했는 데, 이런 저런 이유로 깊게 파고 들지는 못했던 것 같습니다.
이번에는 단순한 데이터 파이프라인을 작성하는 것을 넘어, apache airflow를 어떻게 하면 분산 환경 하에서 배포하고, 안전하게 운영하는 방법까지 해보고 싶네요.
소속
현재 없음
풀잎스쿨 / LAB 참여 이력

풀잎42기 Apache Airflow로 데이터 파이프라인 구동하기 퍼실

풀잎40기 데이터 수집,처리 시스템 만들어보기 퍼실

풀잎39기 SQL 숙달하기 퍼실

풀잎26기 데이터 공학 시작하기 퍼실

풀잎24기 처음 시작하는 우분투 리눅스 퍼실

풀잎30기 주니어 데이터 엔지니어가 되보자! 참여

풀잎25기 Head first Rust! 참여

풀잎19기 등받이데이터로 신원인증을 해보자 참여

풀잎18기 Object Detection 논문 톺아보기 참여

풀잎스쿨 참여 주의사항
Q. 풀잎스쿨은 강의인가요?
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!

Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!

Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)

Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불정책
첫 모임 시작 전날까지 취소 및 전액 환불이 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.