데이터 엔지니어 코스

코스 소개

D.Hub를 처음 사용하는 데이터 엔지니어를 위한 코스입니다.

공개 기상 관측 API를 데이터 연결로 등록하고, 그 API가 주는 시간별 관측값을 데이터셋으로 가져오고, 일별 요약으로 집계하고, 매일 자동 실행되게 한 뒤, 분석가가 보는 대시보드 차트로 마무리합니다. 6개 레슨이 끝나면 실습 컬렉션에는 실제로 동작하는 파이프라인 한 개와 그 결과를 보여 주는 대시보드 한 개가 남습니다.

외부 시스템을 붙이는 일부터 결과를 남기는 일까지가 이 코스의 목표입니다.

flowchart LR
    accTitle: 데이터 엔지니어 코스 전체 흐름
    accDescr: 공개 REST API를 데이터 연결로 등록하고 코드 노드로 시간별 관측 데이터셋에 적재한 뒤 Polars 정리와 집계를 거쳐 일별 마트를 만들고 스케줄과 실행 모니터링을 붙여 대시보드로 전달하는 흐름입니다.
    api[(공개 기상 API)] --> connector[REST 데이터 연결]
    connector --> code[코드 노드 수집]
    code --> src[(시간별 관측)]
    src --> prepare[정리·집계 코드]
    prepare --> stg[(정리된 시간별)]
    prepare --> mart[(일별 요약 마트)]
    schedule[매일 스케줄] --> code
    mart --> dashboard[대시보드 차트]

시작 전에 알아둘 용어

• 데이터 연결(커넥터): 외부 시스템에 접속할 때 재사용하는 주소와 인증 정보 묶음입니다. 이 코스에서는 공개 기상 API의 주소를 여기에 등록합니다.
• 파이프라인: 데이터를 읽고 변환해 원하는 대상에 저장하는 실행 흐름입니다. 이 코스에서는 파이프라인 한 개를 레슨마다 조금씩 키웁니다.
• 코드 노드: 표준 변환으로 표현할 수 없는 처리를 Python으로 작성하는 파이프라인 단계입니다. 외부 API 호출이 대표적인 예입니다.
• 변환 노드: 컬럼 이름 변경, 형변환, 필터, 조인, 집계처럼 코드 없이 구성하는 처리 단계입니다.
• 마트: 분석가가 바로 사용할 수 있도록 집계와 이름 정리가 끝난 결과 데이터셋을 가리킵니다.

사전 준비

• D.Hub 포털 접근 권한. 데이터 연결 등록은 관리자 또는 매니저 역할이 필요합니다.
• 실습에 사용할 컬렉션 1개. 이 코스의 커넥터, 데이터셋, 코드, 파이프라인, 대시보드가 모두 여기에 모입니다.
• 분석가 코스를 완료했거나 컬렉션과 데이터셋의 기본 개념을 알고 있어야 합니다.

가입이나 API 키가 필요한 준비물은 없습니다. 이 코스가 사용하는 API는 인증 없이 호출할 수 있는 공개 서비스입니다.

dbt, Airflow, Snowflake와 같은 도구를 사용해 본 경험이 있다면 D.Hub의 개념을 더 빠르게 이해할 수 있습니다.

완료 후 할 수 있는 것

• 관리형 REST 데이터 연결을 등록하고 연결 테스트와 Query Console로 응답을 확인할 수 있습니다.
• 코드 노드에 데이터 연결을 바인딩해 외부 API의 응답을 데이터셋으로 적재할 수 있습니다.
• Polars 코드 노드로 원본 컬럼을 정리하고 일별 분석용 마트를 만들 수 있습니다.
• 반복 실행해도 결과가 어긋나지 않도록 쓰기 방식과 읽기 방식을 선택할 수 있습니다.
• 배치 파이프라인에 반복 일정을 걸고 실행 이력에서 상태를 확인할 수 있습니다.
• 실패한 실행의 원인을 히스토리에서 찾아 복구하고 전체를 다시 실행할 수 있습니다.
• 결과 데이터셋에 설명과 권한을 정리하고 대시보드 차트로 분석가에게 전달할 수 있습니다.

이 코스 다음에 무엇이 있을까

추가적으로 진행하고 싶다면 다음 과정을 이어서 학습해 보세요.

• 리테일 재고와 가격 경쟁력 분석하기 — 커넥터, 파이프라인, 코드 노드, 스케줄을 하나의 도메인 시나리오에서 함께 실습합니다. 분석가와 엔지니어의 전체 작업 흐름을 다루는 90분 과정입니다.
• Python으로 시나리오 가져오기 — dhub2-examples 시나리오를 한 줄의 명령으로 자신의 환경에 가져옵니다. 워크숍 1단계에서 사용하는 도구를 미리 연습할 수 있습니다.

각 레슨 옆의 체크박스를 선택하면 학습 진행 상황이 자동으로 저장됩니다.