데이터 엔지니어의 주요 작업 영역

분석가는 준비된 데이터로 차트와 대시보드를 만듭니다. 데이터 엔지니어는 분석에 필요한 데이터가 만들어지는 과정을 담당합니다.

D.Hub에서 데이터 엔지니어의 작업은 커넥터, 파이프라인, 코드, 데이터셋 영역으로 나뉩니다. 각 영역에서 수행한 작업의 결과는 데이터셋으로 연결됩니다.

엔지니어가 자주 다루는 영역

1. 데이터 연결(커넥터) — DB, S3, REST API와 같은 외부 시스템에 접속할 연결 정보를 등록합니다. 등록 화면에서는 주소와 인증 정보를 설정하며, 테이블 탐색·스키마 매핑·데이터셋 생성은 하지 않습니다.
2. 파이프라인(Pipelines) — 컬렉션의 데이터셋, 코드, 변환 노드를 캔버스에서 연결해 작업 흐름을 구성합니다.
3. 코드(Codes) — Python 또는 SQL 코드를 관리합니다. 파이프라인의 코드 노드에서 호출하거나 별도로 실행할 수 있습니다.
4. 데이터셋(Datasets) — 파이프라인과 코드의 처리 결과가 저장됩니다. 분석가는 이 데이터셋을 차트와 대시보드의 입력으로 사용합니다.

네 영역의 최종 결과가 데이터셋으로 모인다는 점이 중요합니다. 엔지니어가 만든 데이터셋은 분석가의 컬렉션 탐색기에 표시되고 위젯의 데이터 소스로 사용됩니다. 데이터셋은 두 역할을 연결합니다.

이 코스에서 만들 것

소재는 공개 기상 관측 API입니다. 서울 좌표의 시간별 기온과 습도를 인증 없이 돌려주는 서비스이므로 가입이나 키 발급 없이 바로 실습할 수 있습니다.

레슨 06이 끝나면 실습 컬렉션에는 커넥터 1개, 데이터셋 3개, 코드 2개, 파이프라인 1개, 대시보드 1개가 남습니다.

익숙한 도구와 비교해 보기

dbt, Airflow, Snowflake로 데이터 파이프라인을 운영해 본 경험이 있다면 다음 표를 참고해 D.Hub의 영역을 이해할 수 있습니다. 레슨 02부터는 D.Hub의 용어만 사용합니다.

기존 도구와 비교했을 때 D.Hub에는 두 가지 차이가 있습니다.

• DAG와 모델을 한 화면에서 확인합니다. Airflow의 task graph와 dbt의 모델 의존 그래프를 따로 관리하지 않고, 하나의 파이프라인에서 입력 데이터셋, 변환 노드, 출력 데이터셋의 연결을 함께 확인할 수 있습니다.
• 모든 테이블을 데이터셋으로 관리합니다. source 테이블과 마트 테이블은 컬렉션, 권한, 태그로 구분하며 데이터를 저장하는 엔진은 화면에 드러나지 않습니다.

분석가와 엔지니어의 역할 분담

분석가와 엔지니어가 같은 포털에서 작업할 때는 담당 범위를 미리 정하는 것이 좋습니다. 일반적으로 다음과 같이 역할을 나눕니다.

조직의 규모에 따라 한 사용자가 두 역할을 모두 담당할 수도 있습니다. 이 코스에서는 데이터 엔지니어가 담당하는 영역과 작업을 기준으로 학습을 진행하되, 마지막 레슨에서 분석가에게 넘기는 지점까지 직접 만들어 봅니다.

처음 D.Hub를 만지신다면 입문 코스 30분을 먼저 통과하길 권합니다.

다음 레슨

첫 단계인 데이터 연결로 들어가 공개 기상 API를 관리형 REST 커넥터로 등록합니다. 연결 테스트로 접속을 확인한 뒤 Query Console에서 실제 응답까지 눈으로 확인합니다.