데이터 직군 소개: DA, DS, DE, DPM
[데이터 커리어] 카테고리에서는 어떤 데이터 직무들이 있는지 어떤 역량들이 필요한지 그리고 서로 어떻게 협업하며 일을 하는지 등을 이야기 해볼까 합니다.
제가 10년간 데이터 조직의 디렉터로 일하면서 보고 느껴왔던 생각을 기반으로 작성하였습니다.
궁금하신 부분이 있으시면 언제든 말씀주세요! - 데이멘토
데이터 조직을 구성하는 다양한 직군
이전 글에서 데이터 팀이 무슨 일을 하는 지를 확인해 보았습니다.
이번 시간에는 데이터 팀을 구성하고 있는 다양한 데이터 관련 직군들에 대해 알아보려고 해요
사실 데이터 팀이 있다는 뜻은 어느정도 회사의 규모가 크거나 조직화가 되어 있다고 볼 수 있습니다.
분석지원을 하거나 제품을 고도화하는 단계에서 필요한 조직이고 분석할 수준의 데이터가 어느정도 쌓여 있는 상태라고 볼 수 있으니까요.
따라서 데이터 직군들은 공통적으로 ‘누군가’를 지원하는 경우가 많습니다.
우리가 데이터 조직에서 일을 한다면 어떤 역할들이 있고 어떤 직군들이 서로 협업하는지를 이해하는게 중요합니다.
이 글에서 아래의 직군들을 한번 소개 드려보겠습니다.
•
데이터분석가(DA) / 데이터 사이언티스트(DS) / 데이터 엔지니어(DE) / 데이터 PM(DPM)
1. “조직의 나침반” - 데이터 분석가 
데이터 분석가는 조직이 길을 잃지 않게 해주는 사람입니다.
감이 아니라 데이터라는 근거로 현재를 정확히 이해하고, 가치를 발견하도록 돕습니다.
데이터 분석가의 역할과 업무
•
데이터 분석가는 조직의 현재 상태를 진단하기 위해 아래와 같은 일을 합니다.
◦
데이터 준비(정합성 점검, 가공, 기준 정리)◦
비즈니스 인사이트 도출(원인 분석, 기회 발견)◦
데이터 시각화(대시보드/리포트로 커뮤니케이션)•
구체적인 업무 예시
◦
KPI 지표 정의 및 통계 지식을 활용한 인사이트 도출
◦
A/B 테스트, 퍼널 분석, 리텐션 분석 등 각종 실험·행동 분석
•
최근 데이터 분석가는 점차 현업 부서(마케팅·운영·기획 등)와 더 밀접하게 협업하고 있습니다.
특히 프로덕트 분석가가 아닌 경우, 데이터 분석가의 역할 경계가 점점 더 넓어지고, 때로는 모호해지기도 합니다.
◦
도메인 전문가들은 AI를 활용해 기본적인 분석을 직접 수행할 수 있게 되었기 때문입니다.
•
프로덕트 분석(Product Analytics)은 상대적으로 역할이 선명합니다.
◦
A/B 테스트 및 제품 개선 효과 측정을 합니다.
◦
기존 버전 vs 개선 버전의 차이를 빠르게 검증하고, “얼마나 빨리/정확히 판단하느냐”가 팀의 역량이 되기도 합니다.
데이터 분석가의 필요 역량
1) 업무에 필요한 지식 및 스킬
•
SQL 기초 및 기본적인 자료구조 이해
•
Python / R 등 통계·분석 툴 활용 능력
•
Tableau, Power BI 등 BI 도구(시각화) 활용 능력
•
문제를 제대로 정의하기 위한 비즈니스 도메인 이해
2) 성향 및 태도
•
여러 이해관계자 사이에서 중개자 역할을 해본 경험이 있으면 큰 도움이 됩니다.
(또는 다양한 사람과 교류하고 소통하는 걸 즐긴다면 더욱 유리합니다.)
•
숨은 정보를 끝까지 파고드는 집요함, 그리고 꼼꼼함은 확실한 무기입니다.
“인정 받는” 데이터 분석가 꿀팁!
•
인사이트에 너무 집중하다 보면, 정작 중요한 걸 놓칠 때가 있습니다.
분석은 ‘멋진 해석’이 아니라, 의사결정을 끝내는 문장이어야 합니다.
•
효과적인 의사 전달은 데이터분석가에게 기본 업무입니다. 기본만 잘 해도 인정받기 쉬운 것 같습니다.
◦
어느정도 미적 감각을 지닌 시각화 능력 그리고 핵심을 관통하는 한가지 지표 만들기
2. “제품의 엔진” - 데이터 사이언티스트
데이터 사이언티스트는 데이터를 설명하는 사람을 넘어,
데이터로 제품을 ‘작동’하게 만드는 사람입니다.
추천, 예측, 자동화, 탐지 같은 기능들이 바로 여기서 태어납니다.
데이터 사이언티스트의 역할과 업무
•
데이터 사이언티스트는 방대한 데이터를 기반으로 모델/알고리즘을 설계해 제품의 가치와 효율을 끌어올립니다.
◦
유저 경험을 더 좋게 만들고◦
운영/비용을 줄이며◦
리스크를 빠르게 막습니다•
업무 흐름(대표적인 사이클)
◦
가설 기반 문제정의
▪
무엇을 예측할 것인가?
▪
기능 개선의 성공 기준은 무엇인가?
◦
피처 설계 및 데이터 준비 (Feature Engineering)
◦
모델링/평가 (Offline metric + Online metric)
◦
모델 서빙/운영 (배포, 모니터링 관리)
▪
모델이 제품 기능에 직접 들어가기 때문에 안정성은 선택이 아니라 필수입니다.
▪
제품에 붙는 모델은 대부분 **자동화된 운영(재학습/모니터링/알람)**까지 고려해야 합니다.
◦
실험/효과 측정 (A/B Test)
▪
제품에 적용된 기능이 잘 작동하는지, 사용자가 기대한 방식으로 쓰는지 지속적으로 확인합니다.
▪
필요하면 **빠르게 고도화(개선 반복)**합니다.
데이터 사이언티스트의 필요 역량
1) 업무에 필요한 지식 및 스킬
•
SQL 기초 및 기본적인 자료구조 이해
•
Python / R 등 통계·분석 툴 활용 능력
•
머신러닝/딥러닝 기초
◦
분류/회귀/랭킹/시계열/추천 등 문제 유형에 대한 이해
•
대용량 데이터를 위한 분산 처리/시스템 기초
◦
컴퓨터공학 지식이 많을수록 확실히 유리합니다
•
데이터 엔지니어와 협업(또는 부재 상황)을 고려한 데이터 파이프라인 이해
2) 성향 및 태도
•
스스로 질문하고 계속 검증하며 개선하는 성향이 중요합니다.
◦
결과를 “받아들이는 것”에서 끝나지 않고, 왜 이런 결과가 나왔는지 끝까지 파고드는 사고가 필요합니다.
•
모델이 제품 기능으로 들어가는 만큼, 비즈니스 성과 관점(효과/비용/리스크)을 함께 볼 수 있어야 합니다.
“인정 받는” 데이터 사이언티스트 꿀팁!
•
모델 성능보다 중요한 건 제품
◦
정확도를 올리는 것도 중요하지만 제품에서 잘 운영되는지, 사용자가 편하게 쓰는지
실제로 성과가 올라가는지를 잊어선 안됩니다.
•
데이터와 로직은 반드시 관리해야 합니다.
◦
실제 많은 분들이 모델링 후 어떤 훈련 데이터를 썼는지 ,어떤 피처/로직을 썼는지,
어떤 버전이 배포됐는지가 관리 되지 않아 휘발되고 재현 불가한 결과물되는 경우가 많습니다.
•
“완벽한 모델”보다 “운영 가능한 모델”이 더 강력합니다.
3. “데이터의 공장장” - 데이터 엔지니어
데이터 엔지니어는 분석가와 사이언티스트가 마음껏 뛰어놀 수 있도록,
데이터가 안전하게 흐르는 길을 만드는 사람입니다.
데이터 엔지니어의 역할과 업무
•
데이터 엔지니어는 신뢰할 수 있는 데이터가 안정적으로 흐르도록 데이터 시스템을 설계하고 운영합니다.
◦
데이터가 제때 도착하게 만들고◦
데이터가 깨끗한 상태로 유지되게 하고◦
문제가 생기면 빠르게 감지하고 복구합니다•
대표 업무(현실에서 가장 많이 하는 일들)
◦
로그/이벤트 설계 지원
▪
트래킹 설계, 스키마 정의, 누락/중복 방지 기준 정리
◦
ETL/ELT 파이프라인 구축 및 운영
▪
배치/스트리밍 설계, 재처리 전략(Backfill), 스케줄 관리
▪
ETL과 ELT의 차이•
ETL는 데이터 엔지니어가 주로 담당하며 데이터 시스템 밖에 있는 데이터를 안으로 가져오는 것(외부→내부)이고
•
ELT는 데이터분석가나 데이터분석엔지니어가 내부에 있는 데이터를 다시 변환해서 쓰게 하는 작업(내부→다시변환 후 내부)입니다.
◦
데이터 웨어하우스/레이크 설계 및 관리
▪
파티셔닝/클러스터링, 성능 튜닝, 비용 최적화
◦
데이터 품질 관리
▪
테스트/검증 규칙, 모니터링, 알람
◦
권한/보안/개인정보 처리 체계
▪
접근 권한, 마스킹, 보관 정책, 감사 대응
•
특히 중요한 포인트
◦
데이터 엔지니어의 일은 “구축”보다 운영이 80%입니다.
◦
파이프라인이 한 번 깨지면, 분석/대시보드/모델이 줄줄이 멈춥니다.
그래서 데이터 엔지니어는 조직의 생산성 보험에 가깝습니다.
데이터 엔지니어의 필요 역량
1) 업무에 필요한 지식 및 스킬
•
Python/NoSQL(카산드라,몽고DB) 기반의 데이터 처리 역량
•
데이터 파이프라인 설계
◦
배치 vs 스트리밍, 재처리(Backfill) 전략, 장애 복구
•
데이터 웨어하우스/레이크 이해
◦
스키마 설계, 파티셔닝, 성능 튜닝, 비용 최적화
•
클라우드/인프라 기본기(AWS, GCP, Azure)
•
데이터 품질/거버넌스
◦
테스트, 알람, 권한, 개인정보 보호
2) 성향 및 태도
•
“한 번 만들고 끝”이 아니라 계속 안정적으로 굴리는 성향이 필요합니다.
•
작은 이상징후를 놓치지 않는 꼼꼼함이 강력한 무기입니다.
•
장애 상황에서도 침착하게 우선순위를 잡는 운영 마인드가 중요합니다.
“인정 받는” 데이터 엔지니어 꿀팁!
•
데이터 파이프라인의 목표는 기능이 아니라 ‘신뢰’입니다.
사람들이 “그 데이터 믿어도 되나요?”를 묻지 않게 만드는 것이 핵심입니다.
•
재처리 가능성(Backfill)을 설계에 처음부터 넣으세요.
◦
현실에서는 누락/오류/정의 변경이 반드시 생깁니다. 이때 재처리가 안 되면, 결국 사람 손으로 야근하는 경우가 정말 너무 많습니다
•
“잘 만든 파이프라인”보다 “안 죽는 파이프라인”이 더 강력합니다.
4. “데이터의 제품 책임자” - 데이터 PM
데이터 PM은 데이터 팀이 만드는 것들(지표, 대시보드, 데이터 마트, 플랫폼)을
‘사용 가능한 제품’으로 만드는 사람입니다.
데이터 조직이 커질수록 데이터는 늘어나는데, 이상하게도 현업은 더 불편해집니다.
이때 필요한 역할이 바로 데이터 PM입니다.
데이터 PM의 역할과 업무
•
데이터 PM은 내부 고객(현업/리더/분석가/엔지니어)이 원하는 것을 모아
◦
우선순위를 정하고◦
제품처럼 설계하고◦
의사결정까지 책임집니다.•
대표 업무(현실에서 가장 중요한 일들)
◦
문제정의 & 요구사항 정리
▪
“대시보드 만들어주세요”가 아니라 왜 필요한지 / 누가 / 어떤 의사결정을 위해 / 어떤 기준으로 쓰는지 정리합니다.
◦
로드맵/우선순위 관리
▪
요청은 항상 넘치므로, ROI/리스크/도입효과 기준으로 쳐냅니다.
◦
스펙 정의
▪
지표 정의서, 이벤트 설계서, 권한 정책, 데이터 표준 등, 문서로 합의하고 구현 가능한 수준까지 구체화합니다.
◦
출시·도입·운영 체계 구축
▪
릴리즈 후 교육/온보딩/가이드/문의 프로세스까지 설계합니다.
◦
성과/채택 모니터링
▪
만들어 놓고 끝이 아니라, 사용률/재방문/활용 의사결정까지 추적합니다.
•
데이터 PM의 주요 업무
◦
최근 데이터 PM은 조직의 데이터 마트를 정의하고에 운영하는 일을 주로 하고 있습니다.
◦
데이터가 재사용성과 확장성이 있는지, 변경 사항에 대한 업데이트와 알림도 주로 하고 있습니다.
◦
따라서 조직 내 데이터에 대한 운영 권한과 책임을 가지고 해야하는게 중요합니다.
데이터 거버넌스(Data Governance) 포함해야 하는 이유
데이터가 커질수록, 기술보다 무서운 건 혼란과 리스크입니다.
DPM은 데이터 거버넌스를 “규칙”이 아니라
제품의 사용성을 지키는 안전장치로 설계해야 합니다.
•
지표 거버넌스
◦
KPI 정의 승인/변경/폐기 프로세스
◦
지표 오너 지정 및 책임 범위 명확화
•
데이터 카탈로그/문서화
◦
테이블/컬럼 의미, 원천, 업데이트 주기, 사용 예시
◦
“이게 뭔지”를 묻지 않게 만드는 체계
•
권한/개인정보/보안
◦
최소 권한 원칙, 민감정보 마스킹, 접근 로그
◦
규정 준수(컴플라이언스)가 나중에 붙으면 전체가 멈춥니다.
데이터 PM의 필요 역량
1) 업무에 필요한 지식 및 스킬
•
제품 사고(Product Thinking): 기능이 아니라 ‘채택’이 목표
•
우선순위/로드맵 관리: 제한된 리소스로 최대 효과 만들기
•
데이터 이해: 지표/모델/파이프라인 구조를 알아야 현실적인 스펙이 나옵니다
•
커뮤니케이션/조정 능력: 이해관계자 정렬, 갈등 해결, 합의 도출
•
운영 감각: SLA/품질/권한/문서/변경관리
2) 성향 및 태도
•
“요청을 처리”하는 사람이 아니라 문제를 구조화하는 성향이 필요합니다.
◦
표면적으로 들어나는 이슈 보다 그 뒷면에 근본적인 문제가 무엇이였는지를 찾아내는 통찰도 필요할것 같아요
•
데이터 직군들 뿐 아니라 사업/운영/경영진 그리고 고객들하고도 소통하는 경우가 많기에 커뮤니케이션에 대해 해결하고 조정하는 역량이 있다면 큰 도움이 됩니다.
“인정 받는” 데이터 PM(DPM) 꿀팁!
•
요청을 다 받으면 데이터 PM이 아니라 “티켓 처리 센터”가 됩니다.
언제나 사용자들은 불편함과 어려움을 토로합니다. 여기서 어떤 기능을 개선해야하는지 어떻게
우선순위를 정해야하는지가 진짜 PM 역할입니다.
•
데이터 마트/지표 정의는 문서로만 관리하면 반드시 무너집니다.
정의(Definition)를 시스템/모델에 넣고, 변경사항을 프로세스로 관리하세요.
•
지표 생애 주기 관리, 문서화, 권환 및 개인정보 관리 등 데이터 거버넌스에 대해 지속적으로 고민하세요
정리하며
오늘은 데이터 직무에서 가장 핵심이 되는 4개의 직군을 소개 드려보았습니다.
데이터 직군은 굉장히 다양합니다. 위에서 보여드린 직군들 외에도 비즈니스 분석가, 데이터 리서처, 데이터 분석 엔지니어가 구분되어 있는 조직들도 있고 필요와 역할에 따라 분리되기도 합니다.
다음엔 실제로 실무에서 예시 프로젝트를 기반으로 각 직군들이 어떻게 유기적으로 협업 하는지를
써보려고 합니다~!