상위: Data Engineering
요약
Data Mesh는 대규모 데이터 플랫폼을 위한 새로운 아키텍처 패러다임입니다. 이는 도메인 중심의 분산 데이터 아키텍처를 제안하며, 4가지 핵심 원칙을 통해 확장 가능하고 민첩한 데이터 플랫폼을 구축할 수 있습니다.
정의
Data Mesh는 대규모 데이터 플랫폼을 위한 새로운 아키텍처 패러다임으로, 도메인 중심의 분산 데이터 아키텍처를 제안합니다.
핵심 원칙
도메인 중심의 데이터 소유권
각 비즈니스 도메인이 자신의 데이터를 소유하고 관리하며, 도메인 전문가가 데이터의 의미와 품질을 책임지는 것입니다. 이는 데이터 제품(Data Product) 개념을 도입합니다.
데이터를 제품으로
데이터를 제품처럼 관리하며, 명확한 API, 문서화, 품질 보장을 통해 데이터 소비자의 요구사항에 맞춘 설계를 진행합니다.
셀프서빙 데이터 플랫폼
도메인 팀이 독립적으로 데이터 제품을 개발할 수 있는 플랫폼을 마련하며, 표준화된 도구와 프로세스를 제공하여 복잡성을 추상화합니다.
연합 거버넌스
중앙집중식 거버넌스에서 연합 거버넌스로 전환하며, 도메인 간 표준과 정책을 조정하여 글로벌 일관성과 로컬 자율성의 균형을 유지합니다.
주요 구성 요소
Data Product
Data Product는 독립적이고 배포 가능한 데이터 단위로, 명확한 인터페이스와 계약을 가지며, 메타데이터와 문서화를 포함합니다.
Domain Team
Domain Team은 특정 비즈니스 도메인 전문가들로 구성되어 데이터의 의미와 품질에 대한 책임을 지며, 데이터 제품 개발 및 운영을 담당합니다.
Platform Team
Platform Team은 셀프서빙 플랫폼을 제공하며, 공통 인프라와 도구 관리를 담당하고, 표준화와 자동화를 지원합니다.
장점
Data Mesh는 도메인별 독립적 확장, 빠른 데이터 제품 개발, 도메인별 데이터 소유권의 명확화, 표준화된 데이터 제품의 재사용성 등의 장점을 제공합니다.
도전과제
Data Mesh를 구현하면서 조직 문화 변화 필요성, 복잡한 거버넌스 모델, 기술적 복잡성 증가, 도메인 간 의존성 관리 등의 도전과제를 마주하게 됩니다.
구현 고려사항
조직 구조 재설계, 데이터 거버넌스 프레임워크 구축, 플랫폼 기술 스택 선택, 점진적 마이그레이션 전략 등을 고려하여 Data Mesh를 구현하게 됩니다.
관련 기술
마이크로서비스 아키텍처, API 우선 설계, 이벤트 기반 아키텍처, 클라우드 네이티브 기술 등이 Data Mesh와 관련 있는 기술들입니다.