데이터 팀은 무슨 일을 하는 조직일까? 
[데이터 커리어] 카테고리에서는 어떤 데이터 직무들이 있는지 어떤 역량들이 필요한지 그리고 서로 어떻게 협업하며 일을 하는지 등을 이야기 해볼까 합니다.
제가 10년간 데이터 조직의 디렉터로 일하면서 보고 느껴왔던 생각을 기반으로 작성하였습니다.
궁금하신 부분이 있으시면 언제든 말씀주세요! - 데이멘토
데이터 팀은 킹메이커입니다.
데이터 팀이라고 하면 똑똑한 사람들이 모여서 멋진 대시보드, 복잡한 모델, 화려한 알고리즘을 만드는 조직으로 떠올리기 쉽습니다.
하지만 현실의 데이터 팀은 생각보다 훨씬 조용한 조직입니다.
앞에 나서서 “우리가 해냈다!”라고 외치기보다는, 뒤에서 묵묵히 판을 깔아주는 역할에 가깝습니다.
서비스를 만드는 팀이 더 잘 만들 수 있게 의사결정을 하는 사람과 조직이 더욱 나은 방향으로 갈 수 있게이게 데이터 팀의 진짜 존재 이유입니다.
데이터 조직의 미션
“신뢰할 수 있는 데이터를 바탕으로 부가가치 만들기”
데이터를 흔히 “새로운 석유”라고 부르죠. 하지만 정제되지 않은 석유가 위험하듯, 정리되지 않은 데이터는 자산이 아니라 폭탄이 됩니다
따라서 데이터 조직의 미션은 아주 명확합니다.
•
신뢰할 수 있는 데이터를 만든다•
그 데이터를 통해 조직이 더 나은 선택을 하게 만든다이 구조 때문에 데이터 팀은 본질적으로 서포트 조직에 가깝습니다.
•
직접 제품을 만들기보다는 → 만들 수 있게 돕고
•
직접 결정을 내리기보다는 → 결정 근거를 제공합니다
만약, 데이터를 잘못 쓰면 어떻게 될까요? 여기서부터 데이터 팀의 실력이 들어납니다.
•
개인정보를 잘못 다루면 → 법적 리스크
법적 리스크•
데이터 품질이 나쁘면 → Garbage In, Garbage Out
Garbage In, Garbage Out•
기준 없이 쓰면 → 조직 전체 혼란
조직 전체 혼란이런 문제들을 해결하기 위해서 데이터 거버넌스와 개인정보를 적절히 사용하고 관리하는 책임이 있습니다.
데이터 팀이 만들어내는 가치
첫번째, 데이터 기반 의사결정
회사와 조직은 크고 작은 수많은 의사결정 속에 있습니다.
A로 가야 할지, B로 가야 할지의 의사결정은 언제나 리스크가 따르기 마련입니다.
그리고 이런 순간에 가장 핵심적인 역할을 하는 팀이 바로 Decision Science 팀, 즉 데이터 분석가입니다.
데이터 분석가는 아래와 같은 역할들을 합니다.
•
고품질 데이터를 바탕으로 의사결정권자에게 판단 재료를 제공
•
지표를 정의하고 대시보드와 리포트를 생성 등을 수행
참고로 데이터를 기반으로 의사결정을 하는 개념은 2가지가 있습니다.
•
Data Driven Decision(데이터로만 의사결정을 하는 것)
→ “데이터가 이렇게 말하니까 그냥 이렇게 갑시다”
•
Data Informed Decision(무조건 데이터로만 결정하는 것이 아닌 결정에 참고)
→ “데이터를 참고해서 사람이 판단합시다”
사실상 현실에서는 두 번째와 같이 사람의 직관과 함께 판단하여 결정하는 것이 훨씬 건강합니다.
AI도 아직까지 완전한 판단을 하는 것이 어렵다고 합니다. 그래서 중요한 결정에 있어서는 뭐가 좋은지 최종적 판단을 인간이 하는 것이 맞다고 생각합니다.
정리하자면 데이터 분석가는 조직이 데이터를 이해하며 결정하도록 만드는 사람입니다.
이게 바로 데이터 문해력(Data literacy)의 시작입니다.
두번째, 데이터 기반 제품 개선
의사결정을 넘어, 데이터가 제품 자체에 녹아드는 단계가 있습니다.
이 역할을 맡는 팀이 Product Science 팀, 즉 데이터 과학자입니다.
데이터 과학자는 아래와 같은 역할들을 합니다.
•
고품질 데이터를 기반으로 사용자 경험을 개선
•
내부 프로세스를 최적화
예를 들면 머신러닝과 같은 모델을 통해 서비스 경험을 개선하는 개인화 추천, 검색 또는
사용자 행동 예측, 어뷰징, 보안 탐지 등을 제공하고 공장에서는 공정 오류나 기기 고장을 예측하는
일들을 할 수 있습니다.
즉, 이 단계에서 데이터는 설명용 자료가 아니라 제품의 일부가 됩니다.
이 모든 것을 하기위해 데이터는 누가 준비할까?
여기까지 읽으면 자연스럽게 이런 질문이 나옵니다.
“이 데이터는 도대체 어디서 오는 거지?”
바로 데이터 엔지니어입니다.
데이터 엔지니어는 데이터분석가와 사이언티스트가 고품질의 데이터를 가지고 위의 업무를 할 수 있도록 지원합니다.
서비스에서 발생하는 데이터와 외부(써드파티) 데이터 등 모든 것을 모아 안정적인 데이터 파이프라인과
데이터 웨어하우스를 만듭니다.
즉, 데이터분석가와 사이언티스트 또는 데이터를 볼 수 있는 실무자가 데이터를 기반으로 바로 문제 해결에 집중 할 수 있도록 합니다.
이상적인 데이터 팀의 성장 순서
데이터 팀은 보통 아래 순서로 발전합니다.
•
1. 데이터 인프라 → 2. 데이터 기반 의사결정 (지표정의, 시각화 …)→ 3. 데이터 기반 제품 개선
데이터 인프라•
파이프라인
•
데이터 웨어하우스
•
데이터 품질 관리
데이터 기반 의사결정•
지표 정의
•
시각화
•
리포트
데이터 기반 제품 개선•
머신러닝
•
개인화
•
자동화
그리고 이 모든 단계의 바닥에는 항상 이것들이 깔려 있습니다.
•
데이터 문해력•
데이터 거버넌스•
개인정보 보호정리하며
데이터 팀은 단순히 숫자를 다루고 마법을 만들어 내는 조직이 아닙니다.
조직과 제품을 성장시키기 위한 부가가치를 만들어 내는 조직입니다.
그리고 좋은 데이터 팀일수록 조용하고 사고가 없으며 조직 전체의 생산성을 슬쩍 끌어올려 준다고 생각합니다.
다음 글에서는 다양한 데이터 직무에는 구체적으로 어떤 직군들이 있는지 어떤 역량이 필요한지를 소개해 보겠습니다!