컨테이너의 망각을 극복하는 스토리지 — PV/PVC, CSI, 그리고 오브젝트 스토리지

기본적으로 컨테이너는 상태가 없는(Stateless) 일회성 프로세스입니다. 컨테이너 내부의 파일시스템에 아무리 중요한 파일이나 사용자 업로드 이미지를 저장해 두어도, 파드가 재시작되거나 노드 점검으로 다른 서버로 이사 가는 순간 모든 데이터는 흔적도 없이 사라집니다.

하지만 현실의 엔터프라이즈 시스템은 결코 Stateless 애플리케이션만으로 돌아가지 않습니다. 데이터베이스의 테이블스페이스, 사용자가 업로드한 첨부파일, AI 모델 가중치 파일, 로그 아카이브 등 반드시 영구적으로 보존되어야 하는 데이터가 존재합니다.

쿠버네티스가 파드의 소멸과 무관하게 데이터를 안전하게 보존하기 위해 구축한 스토리지 추상화 계층과, 클라우드 네이티브 환경에서 대세로 자리 잡은 오브젝트 스토리지의 결합 방식을 해부합니다.

1. PV와 PVC의 분리 철학: 인프라 관리자와 개발자의 역할 분리

쿠버네티스에서 스토리지를 다룰 때 가장 먼저 마주하는 객체가 PV(PersistentVolume) 와 PVC(PersistentVolumeClaim) 입니다. 초심자들은 “왜 귀찮게 두 개의 객체로 나누어 놓았는가?”라는 의문을 갖기 쉽습니다.

이 분리는 인프라를 구축하는 시스템 관리자(SRE) 와, 비즈니스 애플리케이션을 배포하는 개발자 의 관심사를 완벽하게 분리하기 위한 고도의 아키텍처 설계입니다:

  • PV (PersistentVolume - 실제 스토리지 조각):
    • 인프라 관리자의 영역입니다.
    • AWS EBS 볼륨, 온프레미스 SAN/NAS, Ceph 분산 스토리지 등 실제 물리적·클라우드 스토리지 리소스를 클러스터에 등록해 둔 것입니다.
    • 용량, 볼륨 타입, 접근 모드, 회수 정책(Reclaim Policy) 등이 명시됩니다.
  • PVC (PersistentVolumeClaim - 스토리지 요청서):
    • 애플리케이션 개발자의 영역입니다.
    • 개발자는 스토리지가 AWS에 있는지, 사내 IDC의 Ceph에 있는지 알 필요가 없습니다.
    • “내 파드에는 100GiB 용량의 읽기/쓰기가 가능한 빠른 SSD 스토리지가 필요하다”는 스펙만을 적은 요청서(Claim)를 작성합니다.

쿠버네티스 컨트롤러는 개발자가 등록한 PVC의 요구 조건(용량, 액세스 모드)을 만족하는 사용 가능한 PV를 클러스터에서 자동으로 찾아 둘을 1:1로 묶어줍니다(Binding). 이후 파드는 이 PVC를 마운트하여 영구 디스크를 사용합니다.

회수 정책 (Reclaim Policy): 파드가 지워진 후 데이터의 운명

PVC가 삭제되었을 때 밑단에 연결된 실제 PV(디스크)를 어떻게 처리할지를 결정합니다:

  • Retain (보존): PVC가 삭제되어도 실제 디스크와 데이터는 지워지지 않고 보존됩니다. 관리자가 수동으로 데이터를 백업하거나 검증한 뒤 삭제해야 하므로 금융권이나 중요 DB에 필수적입니다.
  • Delete (삭제): PVC가 삭제되는 즉시 연결된 AWS EBS나 클라우드 디스크까지 함께 포맷되어 영구 삭제됩니다.

2. 동적 프로비저닝의 혁신: StorageClass와 CSI

과거(정적 프로비저닝)에는 개발자가 50GiB짜리 PVC를 요청할 때마다 인프라 관리자가 AWS 콘솔이나 스토리지 장비에 들어가서 50GiB 디스크를 수동으로 생성하고 PV 매니페스트를 일일이 만들어 두어야 했습니다. 스토리지가 준비되지 않으면 파드는 Pending 상태로 멈췄습니다.

이 수작업을 없애고 클라우드 네이티브다운 자동화를 달성한 핵심 도구가 바로 스토리지클래스(StorageClass) 와 CSI(Container Storage Interface) 입니다.

StorageClass를 통한 동적 프로비저닝 (Dynamic Provisioning)

StorageClass는 “어떤 종류의 디스크를 어떤 백엔드 드라이버를 써서 자동으로 만들어낼 것인가”를 정의해 둔 템플릿입니다:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: ebs.csi.aws.com # AWS EBS CSI Driver
volumeBindingMode: WaitForFirstConsumer # Wait until Pod is scheduled to a specific AZ
parameters:
  type: gp3
  iops: "3000"
  throughput: "125"

개발자가 PVC를 생성할 때 storageClassName: fast-ssd를 지정하기만 하면, 쿠버네티스가 자동으로 AWS API를 호출하여 정확히 요청한 용량의 gp3 EBS 볼륨을 몇 초 만에 즉시 생성하고 PV까지 자동으로 만들어 바인딩해 줍니다.

CSI (Container Storage Interface)의 의의

과거 쿠버네티스 초기에는 AWS EBS, GCP PD, Ceph 등의 스토리지 연동 코드가 쿠버네티스 핵심 소스코드 내부(In-tree)에 포함되어 있었습니다. 이로 인해 특정 스토리지 벤더의 버그가 쿠버네티스 전체 릴리즈에 영향을 주었고, 새 스토리지 장비를 지원하려면 쿠버네티스 바이너리를 재컴파일해야 했습니다.

이를 극복하기 위해 제정된 산업 표준이 CSI 입니다. 쿠버네티스는 표준 인터페이스 규격만 제공하고, 각 스토리지 벤더(NetApp, Dell, AWS, Rook-Ceph 등)가 독립적인 gRPC 기반 컨테이너 플러그인(CSI Driver)을 개발하여 배포합니다. 덕분에 클러스터 관리자는 원하는 스토리지 CSI 드라이버만 파드로 띄우면 사내 레거시 스토리지부터 최신 분산 스토리지까지 제약 없이 연동할 수 있게 되었습니다.

3. 액세스 모드의 결정적 차이: RWO vs RWX

쿠버네티스 볼륨을 설계할 때 가장 많은 아키텍처 오류가 발생하는 지점이 바로 접근 모드(Access Mode) 의 선택입니다:

  • ReadWriteOnce (RWO):
    • 단 하나의 노드에서만 읽기/쓰기가 가능한 형태로 마운트됩니다.
    • 대표 주자: AWS EBS, GCP Persistent Disk, 물리 서버의 로컬 NVMe SSD.
    • 블록 스토리지 특성상 두 개 이상의 물리 서버에 동시에 파일시스템 레벨로 붙일 수 없습니다. 만약 파드 A가 1번 노드에서 RWO 볼륨을 쓰고 있다면, 다른 노드로 배정된 파드 B는 해당 볼륨에 절대로 접근할 수 없습니다.
  • ReadOnlyMany (ROX):
    • 여러 노드에서 동시에 읽기 전용으로 마운트할 수 있습니다.
  • ReadWriteMany (RWX):
    • 서로 다른 물리 노드에 떠 있는 여러 파드가 동시에 읽고 쓸 수 있습니다.
    • 대표 주자: NFS, AWS EFS, CephFS, GlusterFS.

웹 서버 파드 여러 대가 동일한 사용자 첨부파일 디렉터리를 공유해야 한다면 반드시 RWX 스토리지(NFS/EFS/CephFS)를 써야 합니다. 하지만 RWX 네트워크 파일시스템은 네트워크 레이턴시로 인해 파일 쓰기 속도가 느리고, 동시성 파일 락(Lock) 이슈가 발생하기 쉽다는 고질적인 문제를 안고 있습니다.

과거 쿠버네티스 초기(1.10~1.15 시절)에는 Heketi와 결합한 GlusterFS 가 대표적인 오픈소스 RWX 솔루션으로 널리 쓰였으나, 작은 파일(Small file)이 많아질 때 발생하는 치명적인 I/O 지연과 스플릿 브레인(Split-Brain) 복구 악몽으로 인해 레드햇(Red Hat)조차 자사의 스토리지 제품군(ODF) 백엔드를 Ceph로 전격 교체하며 사실상 역사의 뒤안길로 사라졌습니다.

4. 파일시스템을 넘어선 클라우드 네이티브 대안: S3 호환 오브젝트 스토리지

여기서 한 가지 근본적인 아키텍처 질문을 던져야 합니다. “여러 파드가 공유하는 대용량 파일들을 과연 쿠버네티스 PV/PVC로 마운트해야 하는가?”

실무에서 많은 초보 엔지니어들이 겪는 대표적인 패착이 바로 파드 간 파일 공유를 위해 무리하게 무거운 RWX PVC(NFS 등)를 클러스터에 주렁주렁 매다는 것입니다. 그러나 PV/PVC와 오브젝트 스토리지는 동작하는 계층과 접근 방식이 완전히 다른 개념 입니다:

  • PV / PVC: 운영체제 커널 레벨의 POSIX 파일시스템 마운트 입니다. 컨테이너 내부 경로(/var/lib/mysql)에 디스크를 꽂아두고 open(), write(), fsync() 같은 저수준 시스템 콜로 접근합니다. 쿠버네티스 컨트롤 플레인이 볼륨의 부착(Attach)과 마운트 생명주기를 직접 제어합니다.
  • 오브젝트 스토리지 (S3, MinIO 등): 쿠버네티스의 볼륨 관리 시스템과 완전히 무관한 애플리케이션 레벨의 HTTP REST API 입니다. 파일시스템 마운트 없이 네트워크를 통해 객체 단위로 PUT, GET, DELETE를 호출합니다.

데이터베이스(MySQL, PostgreSQL)나 캐시(Redis)처럼 저지연 블록 I/O와 POSIX 시스템 콜이 필수인 워크로드는 반드시 RWO PVC 로 1:1 마운트해야 합니다. 하지만 사용자 업로드 이미지, 미디어 파일, 백업 아카이브처럼 파드 간 공유가 필요한 비정형 데이터는 억지로 PV/PVC에 묶어둘 이유가 없습니다. 이들을 PV/PVC의 족쇄에서 해방시켜 S3 호환 오브젝트 스토리지 REST API로 분리하는 것 이 클라우드 네이티브 스토리지 설계의 핵심 정답입니다.

4.1. MinIO: 가볍고 빠른 S3 호환 레이어의 대표주자

프라이빗 클라우드나 사내 온프레미스 IDC에서 S3 호환 스토리지를 구축할 때 가장 널리 알려지고 대중적으로 쓰여온 솔루션이 MinIO 입니다.

flowchart TD
    WebPods["⚙️ <b>웹 애플리케이션 계층 (Web Pods)</b><br/>• 수평 확장되는 무상태(Stateless) 파드<br/>• 공유 파일시스템 마운트 없이 독립 실행"]

    MinIO["🪣 <b>S3 호환 오브젝트 스토리지 계층 (MinIO / Ceph RGW)</b><br/>• S3 REST API (GET / PUT / DELETE) 엔드포인트 제공<br/>• 파일 락(Lock) 병목 없는 무제한 수평 확장<br/>• 이레이저 코딩 기반 분산 데이터 보호 및 자가 치유"]

    NVMe["⚡ <b>노드 로컬 스토리지 계층 (고속 NVMe SSD)</b><br/>• 쿠버네티스 CSI 기반 단일 노드 독점 마운트 (ReadWriteOnce)<br/>• 네트워크 파일시스템(NFS) 대비 극상의 저지연 I/O 제공"]

    WebPods -->|"S3 REST API 호출 (무상태 HTTP 통신)"| MinIO
    MinIO ==>|"블록 단위 I/O 분산 저장"| NVMe
그림 1. S3 호환 오브젝트 스토리지 연동 및 로컬 디스크 분산 아키텍처
  • 무제한의 수평 확장성: 파드 수백 대가 동시에 대용량 이미지를 업로드해도 NFS처럼 파일 락(Lock) 병목이 걸리지 않습니다.
  • 고성능 로컬 디스크 활용: MinIO 파드 자체는 각 노드의 초고속 로컬 SSD(RWO)를 물고 돌며, 내부의 이레이저 코딩(Erasure Coding) 알고리즘을 통해 디스크 장애 시에도 무중단으로 데이터를 복구합니다.
  • 클라우드 이식성: 개발 단계에서 S3 API 규격으로 개발한 애플리케이션 코드는 아무런 수정 없이 AWS 프로덕션 환경의 실제 S3 버킷으로 즉시 전환할 수 있습니다.

4.2. 현업에서 고려할 수 있는 오브젝트 스토리지 대안들

MinIO는 단일 바이너리나 가벼운 컨테이너로 손쉽게 띄울 수 있어 로컬 개발이나 중소형 클러스터에 매우 유용하지만, 환경과 요구사항에 따라 다음과 같은 대안들을 함께 검토하는 것이 일반적입니다:

  1. Rook-Ceph (Ceph RGW):
    • 대규모 온프레미스 및 베어메탈 쿠버네티스 환경의 사실상 표준입니다.
    • 블록 스토리지(RBD), 공유 파일시스템(CephFS)뿐만 아니라 S3 호환 오브젝트 게이트웨이(RADOS Gateway, RGW)를 단일 Ceph 클러스터 위에서 통합 제공합니다. 리눅스 재단 산하의 중립적 오픈소스로 대규모 분산 환경에서 뛰어난 안정성을 입증받았습니다.
  2. SeaweedFS:
    • 페이스북의 Haystack 분산 객체 저장소 논문을 기반으로 설계된 고성능 분산 스토리지입니다.
    • 수십억 개의 작은 파일(썸네일, 첨부파일 등)을 지연 없이 초고속으로 처리하는 데 특화되어 있으며, 가볍고 빠른 S3 API 호환 계층을 기본 제공합니다.
  3. Garage:
    • Rust로 작성된 경량 분산 오브젝트 스토리지로, 복잡한 관리 부담 없이 여러 데이터센터나 노드에 데이터를 지리적으로 복제(Geo-replication)하는 데 최적화되어 있습니다.
  4. 퍼블릭 클라우드 관리형 S3 직접 연동 (AWS S3, Cloudflare R2 등):
    • 퍼블릭 클라우드 위에서 쿠버네티스를 운영 중이라면 클러스터 내부에 무겁게 스토리지 파드를 직접 띄우는 대신, 관리형 S3를 활용하는 것이 유지보수 오버헤드를 줄이는 가장 현실적인 해법입니다.
    • IRSA(IAM Roles for Service Accounts)나 Workload Identity를 통해 파드에 임시 자격증명을 부여하면, 쿠버네티스 내부 시크릿 관리 부담 없이 안전하게 대용량 객체를 저장할 수 있습니다.

5. 프로덕션 스토리지 표준 매니페스트

StorageClass를 통한 동적 프로비저닝과 볼륨 마운트가 결합된 실무 매니페스트입니다:

# 1. PVC request for dynamically provisioning a 20GiB SSD volume
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: app-data-pvc
spec:
  accessModes:
  - ReadWriteOnce # Single node read-write
  storageClassName: fast-ssd # Handled by StorageClass
  resources:
    requests:
      storage: 20Gi
---
# 2. Application deploying a pod mounting the PVC
apiVersion: apps/v1
kind: Deployment
metadata:
  name: stateful-app
spec:
  replicas: 1
  selector:
    matchLabels:
      app: stateful-app
  template:
    metadata:
      labels:
        app: stateful-app
    spec:
      containers:
      - name: app
        image: alpine:latest
        command: ["/bin/sh", "-c", "while true; do date >> /data/archive.log; sleep 10; done"]
        volumeMounts:
        - name: persistent-storage
          mountPath: /data # Path inside container
      volumes:
      - name: persistent-storage
        persistentVolumeClaim:
          claimName: app-data-pvc # Bound to the PVC above

6. 정리: 데이터의 수명을 파드의 생명주기로부터 격리하라

쿠버네티스 스토리지 엔지니어링의 핵심은 “언제든 파괴될 수 있는 파드의 운명으로부터, 영구 보존되어야 하는 데이터의 수명을 안전하게 분리해 내는 것” 입니다:

  • PV와 PVC 를 통해 인프라 물리 계층과 애플리케이션 요구 스펙을 완전히 디커플링합니다.
  • CSI와 StorageClass 를 도입하여 디스크 생성과 마운트 전 과정을 인프라 코드로 자동화합니다.
  • 단일 노드 고성능 쓰기는 RWO(블록 스토리지) 로 해결하고, 다중 노드 공유 파일은 무거운 NFS 대신 S3 API 기반 오브젝트 스토리지(MinIO, Ceph RGW 등) 로 전환하여 클라우드 네이티브의 유연성과 확장성을 극대화합니다.

이 스토리지 기반이 단단하게 갖춰졌을 때, 비로소 다음 단계인 데이터베이스(DB)와 캐시 같은 상태 기반(Stateful) 핵심 시스템들을 클러스터 안으로 끌어올릴 수 있는 자격이 주어집니다.