스테이트풀 워크로드 — DB와 Redis 클러스터를 쿠버네티스에 올리는 법
“쿠버네티스 위에 데이터베이스를 직접 올려도 될까요?”
인프라 엔지니어들 사이에서 가장 오랫동안 뜨겁게 대립해 온 논쟁 중 하나입니다. 과거에는 “상태가 없는(Stateless) 웹 서버나 API 서버만 쿠버네티스에 올리고, 데이터베이스(RDB)나 캐시(Redis)는 AWS RDS 같은 완전 관리형 클라우드 서비스를 쓰거나 별도의 전용 베어메탈 서버에 두는 것”이 불문율처럼 여겨졌습니다. 파드가 언제든 죽고 스케줄러에 의해 다른 노드로 튕겨 나갈 수 있는 쿠버네티스의 변덕스러운 환경이 데이터베이스의 데이터 정합성과 고가용성을 위협한다고 보았기 때문입니다.
하지만 쿠버네티스 생태계가 성숙해지며 StatefulSet 과 Operator 패턴 이라는 강력한 무기가 등장했고, 오늘날 수많은 글로벌 테크 기업들이 클러스터 내부에서 대규모 PostgreSQL과 Redis 클러스터를 안정적으로 프로덕션 운영하고 있습니다.
컨테이너 환경에서 상태(State)를 안전하게 길들이는 아키텍처와 운영 원리를 정리합니다.
1. Deployment로는 왜 DB를 감당할 수 없는가?
웹 서버를 띄울 때 쓰는 Deployment는 파드들을 ‘이름 없는 가축(Cattle)‘처럼 다룹니다:
- 파드 이름에
web-789bf-x7k2p같은 무작위 해시 문자열이 붙습니다. - 어떤 파드가 먼저 뜨고 어떤 파드가 먼저 죽어도 전혀 상관없습니다.
- 모든 파드가 동일한 복제본이므로 아무 파드나 죽이고 새로 띄워도 무방합니다.
하지만 분산 데이터베이스(Master-Replica 구조)의 파드들은 ‘고유한 이름과 역할을 가진 반려동물(Pet)‘입니다:
- 1번 마스터 노드가 먼저 완전히 기동하여 트랜잭션 로그를 열어야 2번과 3번 레플리카(Replica) 노드가 마스터에 붙어 복제를 시작할 수 있습니다.
- 각 노드는 자신만의 고유한 식별자(ID)와 독립된 전용 데이터 디스크를 유지해야 합니다.
- 마스터 노드가 죽었을 때 아무 파드나 마스터로 승격되어서는 안 되며, 최신 데이터를 가진 복제본이 정합성을 검증받고 승격되어야 합니다.
Deployment는 이러한 순서 보장, 고유 식별성, 전용 스토리지 매핑을 전혀 지원하지 못합니다.
2. StatefulSet의 3대 핵심 보장
쿠버네티스는 상태 기반 애플리케이션의 엄격한 요구사항을 만족시키기 위해 스테이트풀셋(StatefulSet) 컨트롤러를 제공합니다.
① 고유하고 예측 가능한 네트워크 식별자 (Predictable Network ID)
StatefulSet으로 파드를 생성하면 무작위 해시가 아닌 0부터 시작하는 순차적인 번호가 부여됩니다:
db-0, db-1, db-2
파드가 죽어서 다른 노드에서 다시 살아나도, IP 주소는 바뀔지언정 파드 이름은 영원히 db-0으로 유지됩니다. 또한 파드의 생성과 삭제도 무작위가 아니라 0 ➔ 1 ➔ 2 순서대로 하나씩 생성되고, 축소될 때는 역순인 2 ➔ 1 ➔ 0 순으로 안전하게 닫힙니다.
② volumeClaimTemplates을 통한 1:1 전용 스토리지 보장
Deployment에서는 여러 파드가 동일한 PVC를 바라보거나 볼륨 설정이 꼬이기 쉽습니다. 반면 StatefulSet은 볼륨 템플릿(volumeClaimTemplates) 을 내장하고 있어, 각 파드가 뜰 때마다 자신만의 고유한 PVC를 자동으로 분리 생성합니다:
db-0➔data-db-0(전용 PV 생성 및 바인딩)db-1➔data-db-1(전용 PV 생성 및 바인딩)
만약 db-1 파드가 노드 고장으로 죽고 다른 노드로 이사 가더라도, 스케줄러는 새로운 노드에 data-db-1 기존 디스크를 그대로 떼어와 다시 마운트해 줍니다. 데이터가 다른 노드의 디스크와 절대 섞이지 않는 것입니다.
③ 헤드리스 서비스 (Headless Service)를 통한 개별 파드 주소 지정
일반적인 Service는 트래픽을 임의의 파드로 부하 분산(Load Balancing)하지만, 데이터베이스에서는 “쓰기 쿼리는 반드시 db-0(마스터)으로, 읽기 쿼리는 db-1이나 db-2(레플리카)로” 직접 찔러야 합니다.
clusterIP: None으로 선언하는 헤드리스 서비스 는 가상 IP를 생성하지 않고, 클러스터 내부 CoreDNS에 각 파드의 고유한 도메인 주소를 1:1로 직접 등록해 줍니다:
db-0.db-service.database.svc.cluster.local(마스터 직접 통신)db-1.db-service.database.svc.cluster.local(레플리카 1 직접 통신)
3. 인간 DBA를 코드로 복제하다: K8s Operator 패턴
StatefulSet만으로도 기본적인 DB 배포는 가능하지만, 실제 상용 운영에는 턱없이 부족합니다:
- 마스터 DB가 죽었을 때 레플리카 중 하나를 감지하고 새로운 마스터로 자동 승격(Failover)시키는 작업
- 새 레플리카가 추가되었을 때 기존 마스터로부터 베이스 백업을 복사하고 실시간 스트리밍 복제(WAL 복제)를 맺는 작업
- 매일 자정에 S3 버킷으로 트랜잭션 스냅샷을 백업하고 주기적으로 정합성을 체크하는 작업
과거에는 이런 일들을 인간 숙련된 DBA(데이터베이스 관리자)가 새벽에 SSH로 붙어서 셸 스크립트를 돌리며 수작업으로 처리했습니다.
이 DBA의 지식과 운영 노하우를 쿠버네티스의 선언적 Reconcile Loop 코드로 완전히 자동화한 것이 바로 오퍼레이터(Operator) 패턴 입니다:
flowchart TD
ENG["<b>엔지니어의 선언적 명세 (Custom Resource)</b><br/>• PostgreSQL Cluster 3 Nodes<br/>• 100GiB Storage per Node<br/>• Automated S3 Backup every 6 Hours"]
OP["<b>DB Operator (Software DBA)</b><br/>Continuous Reconcile Loop"]
subgraph Actions["Automated Database Lifecycle Management"]
A1["1. Provision StatefulSet & Dedicated 1:1 PVCs"]
A2["2. Monitor Consensus Engine (Patroni / Raft)"]
A3["3. Automatic Failover & Master Promotion within Seconds"]
A4["4. Seamless Endpoint Routing Switch (Read/Write)"]
A5["5. Continuous WAL Streaming & Snapshot Archive to S3"]
end
ENG -->|"Apply YAML"| OP
OP --> Actions
4. 실전 프로덕션 구축: PostgreSQL과 Redis
현업에서 가장 검증된 오픈소스 오퍼레이터 조합은 다음과 같습니다:
PostgreSQL: CloudNativePG (CNPG)
- 쿠버네티스 커뮤니티에서 가장 현대적이고 완성도 높은 PostgreSQL 오퍼레이터입니다.
- 무거운 외부 데몬 없이 PostgreSQL 네이티브 스트리밍 복제를 구성하며, 마스터 노드 다운 시 수 초 내에 무손실 페일오버를 수행합니다.
- 오브젝트 스토리지(S3/MinIO)와 완벽히 결합하여 특정 시점 복구(PITR: Point-in-Time Recovery) 기능을 선언적으로 제공합니다. (“어제 오후 2시 15분 30초 상태로 새 DB 복구해 줘”를 YAML 한 줄로 실행)
Redis: Redis Operator / OT-CONTAINER-KIT
- 마스터-슬레이브 복제와 고가용성 감시 데몬인 Redis Sentinel 클러스터를 한 번에 구성합니다.
- 대규모 분산 캐시가 필요한 경우 6개 이상의 노드로 구성되는 Redis Cluster(샤딩) 환경을 YAML 하나로 자동 프로비저닝하고 슬롯 리밸런싱을 관리합니다.
5. 실무 운영의 3대 위험과 회피 전략
쿠버네티스 위에서 DB를 운영할 때 반드시 챙겨야 할 실무 체크리스트입니다:
- 스플릿 브레인(Split-Brain) 방지: 무조건 홀수 노드(최소 3대)
- 네트워크 단절로 인해 1번 노드가 고립되었을 때, 1번도 자신이 마스터라 주장하고 2번도 자신이 마스터로 승격되면 데이터가 양쪽에서 갈라져 영구 파괴됩니다.
- 과반수 투표(Quorum)가 성립되어야만 새 마스터를 선출할 수 있도록 마스터/레플리카 또는 센티널 노드는 항상 3대 이상의 홀수 로 배치해야 합니다.
- 물리적 분산: PodAntiAffinity 필수 적용
- 스케줄러가 우연히 3개의 DB 파드를 모두 동일한 물리 베어메탈 서버 한 대에 몰아서 띄우면, 그 물리 서버가 꺼지는 순간 DB 클러스터 전체가 전멸합니다.
podAntiAffinity설정을 넣어 각 DB 파드가 반드시 서로 다른 물리 워커 노드(kubernetes.io/hostname)에 분산 배치되도록 강제해야 합니다.
- 노드 장애 시 스토리지 재부착 지연 (VolumeAttachment)
- 특정 노드가 하드웨어 고장으로 멈추면, 클라우드(AWS)는 해당 노드가 볼륨을 여전히 물고 있다고 판단하여 다른 노드로 볼륨을 넘겨주지 않는 락(Lock) 상태가 발생할 수 있습니다.
- 노드 장애를 감지하는 타임아웃 튜닝과, 필요 시 펜싱(Fencing) 메커니즘을 통해 강제로 볼륨을 분리하고 정상 노드에 빠르게 재부착하도록 오퍼레이터 설정을 최적화해야 합니다.
6. 정리: 상태를 길들이는 쿠버네티스 엔지니어링
데이터베이스를 쿠버네티스에 올리는 것은 더 이상 금기가 아닙니다.
- StatefulSet 을 통해 순서 보장, 고유 식별자, 1:1 전용 영구 볼륨이라는 물리적 기초를 다지고,
- Operator 패턴 을 통해 장애 감지, 자동 마스터 승격, 백업 및 복구라는 논리적 운영 노하우를 자동화함으로써,
엔지니어는 고가의 상용 클라우드 DB 서비스에 종속되지 않고 사내 인프라 전체를 일관된 쿠버네티스 선언적 API로 완벽하게 통제할 수 있게 됩니다.