상위: Data Engineering
요약
Lakehouse는 데이터 레이크의 저비용 오브젝트 스토리지와 데이터 웨어하우스의 관리 기능(ACID, 스키마, 쿼리 성능)을 결합한 아키텍처이다. 오픈 테이블 포맷(Iceberg, Delta Lake, Hudi)이 핵심 기술이며, 2026년 기준 Gartner가 "transformational"로 평가할 만큼 업계 표준으로 자리잡았다.
왜 등장했는가?
Two-Tier 아키텍처의 문제
기존에는 데이터 레이크와 웨어하우스를 모두 운영하는 조직이 많았다.
[데이터 소스] → [Data Lake (S3)] → ETL → [Data Warehouse (Redshift)] → [BI/분석]
↓
[ML 플랫폼]이 구조의 문제점:
- 데이터 중복: 같은 데이터가 레이크와 웨어하우스에 각각 존재
- ETL 파이프라인 부담: 레이크 → 웨어하우스 간 변환/동기화 필요
- 데이터 불일치: 두 시스템 간 데이터가 달라질 수 있음
- 비용 증가: 스토리지와 컴퓨팅을 이중으로 지불
Lakehouse의 해결
[데이터 소스] → [Lakehouse (S3 + 오픈 테이블 포맷)] → [BI / ML / 분석]단일 저장소에서 BI와 ML을 모두 지원한다. 핵심은 Parquet 파일 위에 메타데이터 레이어를 추가하는 오픈 테이블 포맷이다.
오픈 테이블 포맷이 제공하는 것
| 기능 | 전통적 데이터 레이크 | Lakehouse |
|---|---|---|
| ACID 트랜잭션 | X | O |
| 스키마 진화 (Schema Evolution) | X | O |
| 타임 트래블 (Time Travel) | X | O |
| MERGE / UPSERT | X | O |
| 파티션 진화 (Partition Evolution) | X | O |
| 통계 기반 파일 스킵 | 제한적 | O |
주요 오픈 테이블 포맷
Apache Iceberg
- Netflix에서 개발, Apache Software Foundation이 관리
- 벤더 중립적: Spark, Flink, Trino, Presto, Dremio, Snowflake, AWS Athena 등 다양한 엔진 지원
- Hidden Partitioning: 사용자가 파티션을 의식하지 않아도 자동 최적화
- 계층적 메타데이터: metadata file → manifest list → manifest file → data file
- 대규모 테이블(페타바이트 급)에 최적화
- 2026년 기준 가장 빠르게 채택률이 증가하는 포맷
- 상세: Apache Iceberg
Delta Lake
- Databricks에서 개발, Linux Foundation이 관리
- Spark 에코시스템과 깊은 통합: Databricks 환경에서 최고의 성능
- Transaction Log (_delta_log): JSON/Parquet 기반 변경 이력 추적
- Change Data Feed: 변경 데이터 캡처(CDC)를 스토리지 계층에서 지원
- UniForm: Delta 테이블을 Iceberg/Hudi로도 읽을 수 있게 하는 호환성 레이어
- 상세: Delta Lake
Apache Hudi
- Uber에서 개발
- 증분 처리(Incremental Processing) 에 강점
- Copy-on-Write / Merge-on-Read 두 가지 테이블 유형
- CDC 파이프라인에 특화
Iceberg vs Delta Lake 비교
| 항목 | Apache Iceberg | Delta Lake |
|---|---|---|
| 개발 주체 | Netflix → ASF | Databricks → Linux Foundation |
| 엔진 호환성 | 멀티 엔진 (벤더 중립) | Spark 최적화 (타 엔진은 커넥터) |
| 메타데이터 구조 | 계층적 (manifest list → manifest) | Transaction Log (JSON + Parquet) |
| 파티셔닝 | Hidden Partitioning (자동) | 명시적 파티셔닝 |
| 스키마 진화 | 완전한 type-safe 진화 | 지원하지만 Iceberg보다 제한적 |
| 대규모 테이블 | 페타바이트 급 최적화 | 대규모 지원, Spark에서 최적 |
| 호환성 전략 | 네이티브 멀티 엔진 | UniForm으로 Iceberg/Hudi 호환 |
| 주요 채택처 | AWS, Snowflake, Netflix, Apple | Databricks, Microsoft, T-Mobile |
| 2026 트렌드 | 채택률 급상승 | Databricks 중심 안정적 |
선택 가이드
- 멀티 엔진 환경 (Trino + Spark + Flink 등): Iceberg
- Databricks/Spark 중심: Delta Lake
- 벤더 락인 회피: Iceberg
- CDC/증분 처리 중심: Hudi 또는 Delta Lake
Lakehouse 구현 패턴
Medallion Architecture
Lakehouse에서 가장 널리 사용되는 데이터 조직 패턴이다. Bronze → Silver → Gold 세 계층으로 데이터 품질을 점진적으로 향상시킨다.
스토리지와 컴퓨팅 분리
Lakehouse의 핵심 설계 원칙 중 하나이다.
[Object Storage (S3/GCS)] ← 데이터 저장 (저비용)
↕
[Compute Engine (Spark/Trino/Flink)] ← 쿼리 실행 (필요시 스케일)- 스토리지와 컴퓨팅을 독립적으로 확장
- 여러 컴퓨트 엔진이 같은 데이터에 동시 접근 가능
- 비용 효율적: 컴퓨팅은 사용할 때만 비용 발생
2026년 동향
- Gartner가 Lakehouse를 "transformational"로 격상
- Apache Iceberg 채택률이 급속히 증가 — AWS, Snowflake, Google Cloud 모두 네이티브 지원
- Delta Lake는 UniForm으로 Iceberg 호환성 확보하며 수렴 중
- Lakehouse가 실시간 분석, Agentic AI, 엣지 추론까지 확장
- 신규 프로젝트의 기본 아키텍처로 자리잡음
관련 개념
- Medallion Architecture: Lakehouse의 데이터 조직 패턴 (Bronze/Silver/Gold)
- Apache Iceberg: 벤더 중립 오픈 테이블 포맷
- Delta Lake: Databricks 중심 오픈 테이블 포맷
- Batch vs Real-time: 배치 vs 실시간 처리
- Streaming Architecture: 스트리밍 아키텍처 패턴
- Data Mesh: 도메인 중심 분산 데이터 아키텍처