쿠버네티스 네트워킹의 본질 — CNI, kube-proxy, 그리고 eBPF의 혁명

쿠버네티스를 운영하면서 가장 많은 엔지니어가 절망을 겪는 영역이 바로 네트워크입니다.

클러스터 내의 한 파드가 다른 파드를 호출했을 때 타임아웃이 발생하거나, 서비스 가상 IP로 트래픽이 전달되지 않는 장애가 터지면 어디서부터 손을 대야 할지 막막해집니다. 물리 서버의 네트워크 카드(NIC)와 리눅스 브리지, 가상 이더넷 인터페이스(veth), 커널 라우팅 테이블, 그리고 iptables 규칙이 복잡하게 뒤엉켜 있기 때문입니다.

쿠버네티스 네트워크의 기본 규칙과 패킷의 이동 경로, 그리고 CNI가 리눅스 커널 레벨에서 네트워크를 제어하는 원리를 이해하면 보이지 않던 패킷의 흐름이 명확하게 드러납니다.

1. 쿠버네티스 네트워크의 3대 불문율: IP-per-Pod

전통적인 가상화나 초기 도커 환경에서는 호스트의 IP를 공유하면서 포트 번호로 컨테이너를 구분(Port Mapping/NAT)했습니다. 하지만 수천 개의 컨테이너가 뜨고 지는 분산 환경에서 포트 충돌을 피하기 위해 포트를 동적으로 할당하고 관리하는 작업은 극심한 복잡성을 낳았습니다.

쿠버네티스는 이를 해결하기 위해 IP-per-Pod 라는 대원칙을 세우고, 클러스터 네트워크에 3가지 절대적인 요구사항을 정의했습니다:

  1. 모든 파드는 NAT 없이 다른 모든 파드와 고유한 사설 IP로 직접 통신할 수 있어야 한다. (같은 노드든, 다른 물리 노드에 있든 상관없이)
  2. 모든 노드는 NAT 없이 모든 파드와 직접 통신할 수 있어야 한다.
  3. 파드가 스스로 바라보는 자신의 IP와, 외부에서 바라보는 그 파드의 IP는 완전히 일치해야 한다.

즉, 쿠버네티스 안에서 파드는 단순한 프로세스가 아니라, 독자적인 네트워크 인터페이스와 독립된 IP를 가진 하나의 완벽한 가상 머신처럼 취급 됩니다.

하지만 쿠버네티스 자체는 이 네트워크를 실제로 구축하는 코드를 내장하고 있지 않습니다. 대신 인터페이스 표준 규격인 CNI(Container Network Interface) 를 선언해 두고, 실제 네트워크 구성은 외부 CNI 플러그인에 전적으로 위임합니다.

2. CNI의 진화 계보: 오버레이부터 eBPF 혁명까지

kubelet이 파드를 띄울 때, CNI 플러그인 바이너리를 호출하여 가상 이더넷 쌍(veth pair)을 생성하고, 한쪽은 호스트 노드에, 다른 한쪽은 파드의 네트워크 네임스페이스 안에 꽂아 넣은 뒤 IP를 할당합니다.

물리적으로 서로 다른 노드에 떠 있는 두 파드가 패킷을 주고받는 방식을 어떻게 구현하느냐에 따라 CNI의 계보가 나뉩니다.

① 플래널 (Flannel): 단순한 오버레이(Overlay)의 대명사

  • 원리: 물리 네트워크의 구조를 전혀 신경 쓰지 않고, 파드의 IP 패킷을 기존 호스트 간 통신 패킷(UDP/VXLAN) 안에 캡슐화(Encapsulation)하여 전송합니다. 목적지 노드에 도착하면 패킷의 껍데기를 벗겨(Decapsulation) 내부 파드에 전달합니다.
  • 장단점: 물리 네트워크 설정 없이 어디서나 손쉽게 동작하지만, 모든 패킷을 포장하고 뜯는 과정에서 CPU 오버헤드가 발생하고 MTU(최대 전송 단위)가 줄어들어 고성능 트래픽 환경에는 부적합합니다.

② 캘리코 (Calico): 엔터프라이즈의 표준, 순수 L3 직접 라우팅

  • 원리: 캡슐화 오버헤드를 없애기 위해 인터넷 백본망에서 쓰이는 BGP(Border Gateway Protocol) 를 각 노드에 심었습니다. 노드 자체가 하나의 라우터가 되어, “내 노드에는 어떤 파드 IP들이 살고 있다”는 라우팅 정보를 다른 노드들과 실시간으로 교환합니다.
  • 장단점: 캡슐화가 없는 순수 L3 라우팅(Underlay)이 가능하여 물리 네트워크 속도에 근접하는 높은 성능을 냅니다. 여기에 리눅스 iptables를 활용한 정교한 보안 정책(NetworkPolicy)을 제공하여 오랜 기간 엔터프라이즈의 표준으로 군림했습니다.

③ 실리움 (Cilium): 리눅스 커널 eBPF 기반의 차세대 표준

  • 원리: 리눅스 커널의 최신 혁신 기술인 eBPF(Extended Berkeley Packet Filter) 를 활용합니다. 커널 소스코드를 고치거나 모듈을 추가하지 않고도, 네트워크 드라이버(XDP)나 소켓 계층에 안전한 마이크로 프로그램을 주입하여 패킷을 제어합니다.
  • 혁신점:
    • 뒤에서 다룰 kube-proxy와 거대한 iptables 규칙을 커널 레벨에서 완전히 걷어내고, eBPF 해시 테이블을 통해 O(1)의 속도로 패킷을 즉시 라우팅합니다.
    • 파드가 수만 개로 늘어나도 네트워크 지연이 발생하지 않으며, L7 레벨(HTTP/gRPC)의 보안 및 관찰성(Hubble)까지 커널 안에서 한 번에 해결합니다. 현대 클라우드 네이티브 인프라에서 가장 강력하게 권장되는 CNI입니다.

3. ClusterIP와 kube-proxy의 마법: 왜 ping이 안 될까?

쿠버네티스를 처음 다루는 엔지니어들이 가장 많이 하는 실수는 ClusterIP로 핑(ping)을 날려보고 “서버가 죽었다”고 오판하는 것입니다:

# Attempt ping to ClusterIP
ping 10.96.0.10
# Result: 100% packet loss (No ICMP response)

하지만 curl로 HTTP 요청을 보내면 정상적으로 응답이 돌아옵니다. 왜 이런 현상이 발생할까요?

ClusterIP는 세상에 물리적으로 존재하는 IP가 아닙니다. 클러스터 내의 어떤 서버나 인터페이스에도 해당 IP가 할당되어 있지 않습니다. ClusterIP는 오직 리눅스 커널 내부의 패킷 주소 변환(DNAT) 테이블에만 존재하는 가상의 규칙 입니다.

이 마법을 수행하는 주체가 각 노드마다 데몬셋(DaemonSet)으로 떠 있는 kube-proxy 입니다:

  1. 사용자가 서비스 가상 IP(10.96.0.10:80)로 패킷을 전송합니다.
  2. 패킷이 호스트의 네트워크 카드로 나가기 전, 리눅스 커널의 넷필터(Netfilter) 계층을 통과합니다.
  3. kube-proxy가 미리 심어둔 iptables 또는 IPVS 규칙이 이 패킷을 가로챕니다.
  4. “목적지가 10.96.0.10:80인 패킷은 살아있는 백엔드 파드들(예: 192.168.1.15:8080, 192.168.2.33:8080) 중 하나를 무작위로 골라 목적지 IP를 그것으로 바꿔치기(DNAT)하라”는 명령을 커널이 즉각 실행합니다.
  5. 변환된 패킷이 실제 살아있는 워커 파드로 날아갑니다.

ICMP 프로토콜(ping)에는 TCP/UDP 같은 포트 개념이 없기 때문에, 포트 기반으로 DNAT를 수행하는 kube-proxy 규칙에 걸리지 않고 패킷이 버려지는 것입니다.

Cilium을 CNI로 사용할 경우, kube-proxy-replacement=true 옵션을 켜서 수만 줄의 느린 iptables 규칙을 완전히 삭제하고, eBPF 소켓 계층에서 이 주소 변환을 나노초 단위로 끝낼 수 있습니다.

4. CoreDNS와 내부 서비스 디스커버리: ndots:5의 함정

파드가 다른 파드를 호출할 때마다 매번 바뀌는 IP를 외울 수는 없습니다. 쿠버네티스는 클러스터 내부 전용 DNS 서버인 CoreDNS 를 통해 도메인 기반의 서비스 디스커버리를 제공합니다.

my-namespace 네임스페이스에 있는 my-svc 서비스의 전체 도메인 이름(FQDN)은 다음과 같은 정형화된 형식을 갖습니다:

my-svc.my-namespace.svc.cluster.local

같은 네임스페이스 안에 있는 파드라면 단순히 http://my-svc라는 서비스 이름만으로 호출해도 내부 DNS가 알아서 올바른 ClusterIP로 해석해 줍니다.

실무 5초 지연의 주범: ndots:5 설정

쿠버네티스 파드가 생성되면 리눅스의 /etc/resolv.conf 파일에 기본적으로 다음과 같은 설정이 주입됩니다:

search my-namespace.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

ndots:5란, 조회하려는 도메인에 포함된 점(.)의 개수가 5개 미만이면, 외부 DNS에 물어보기 전에 위에 나열된 search 검색 도메인 접미사를 뒤에 하나씩 붙여서 CoreDNS에 먼저 질의하라는 의미입니다.

만약 애플리케이션이 외부의 api.github.com(점이 2개)을 호출하면:

  1. api.github.com.my-namespace.svc.cluster.local. 질의 (실패)
  2. api.github.com.svc.cluster.local. 질의 (실패)
  3. api.github.com.cluster.local. 질의 (실패)
  4. 마지막으로 접미사를 뗀 api.github.com. 원본 질의 (성공)

외부 도메인 하나를 조회하기 위해 CoreDNS에 불필요한 내부 질의가 3~4번씩 연속으로 날아가며, 대규모 트래픽 상황에서는 CoreDNS 파드가 과부하에 걸려 응답이 5초씩 밀리는 대형 장애로 이어집니다.

이를 막기 위해 외부 통신이 잦은 파드에는 FQDN 끝에 점을 찍어 api.github.com. 형태로 호출하거나, 파드 스펙의 dnsConfig에서 options: [{ name: "ndots", value: "2" }]로 점 개수 기준을 낮춰주는 것이 실무 네트워크 튜닝의 핵심입니다.

5. 제로 트러스트 보안: NetworkPolicy

기본적으로 쿠버네티스의 네트워크는 개방형(Flat Network) 입니다. 별도의 설정을 하지 않으면 클러스터 안의 어떤 파드든 다른 모든 네임스페이스의 파드나 데이터베이스 파드로 아무런 제약 없이 패킷을 찌를 수 있습니다.

만약 외부 웹 프론트엔드 파드가 해킹당하면, 공격자는 내부 사설망을 자유롭게 스캔하여 사내 결제 API나 백엔드 DB 파드로 침투할 수 있습니다.

이를 차단하는 쿠버네티스의 네이티브 방화벽이 바로 네트워크 정책(NetworkPolicy) 입니다:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: db-allow-backend-only
  namespace: database
spec:
  podSelector:
    matchLabels:
      role: db
  policyTypes:
  - Ingress
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          environment: production
      podSelector:
        matchLabels:
          app: backend
    ports:
    - protocol: TCP
      port: 5432

위 정책을 선언하면 role: db 라벨을 가진 데이터베이스 파드는, 오직 production 네임스페이스의 app: backend 라벨을 달고 들어오는 5432 포트의 트래픽만 허용하고, 그 외의 모든 인입 트래픽을 커널 레벨에서 즉시 드롭(Drop)시킵니다.

주의할 점은 NetworkPolicy 매니페스트는 정책을 선언할 뿐이며, 실제 패킷을 차단하는 집행(Enforcement)은 Calico나 Cilium 같은 CNI가 담당 한다는 사실입니다. Flannel처럼 단순 오버레이만 제공하는 CNI를 쓸 경우 NetworkPolicy를 작성해도 패킷이 전혀 차단되지 않으므로, 보안이 필요한 엔터프라이즈 환경에서는 반드시 Calico나 Cilium을 도입해야 합니다.

6. 정리: 패킷의 여정을 이해하는 엔지니어링

쿠버네티스에서 패킷 하나가 흐르는 과정은 리눅스 커널의 다양한 가상화 기술이 정교하게 맞물린 결과입니다:

  • 파드 생성: CNI가 veth pair를 만들어 파드 네임스페이스에 꽂고 IP-per-Pod 주소를 할당합니다.
  • 서비스 호출: kube-proxy나 eBPF가 ClusterIP 가상 목적지를 실제 살아있는 워커 파드의 IP로 주소 변환(DNAT)합니다.
  • 도메인 해석: CoreDNS가 내부 검색 도메인을 바탕으로 서비스를 질의하고 응답합니다.
  • 노드 간 이동: Calico의 BGP 라우팅이나 Flannel의 VXLAN 터널, 혹은 Cilium의 eBPF 라우팅을 타고 물리 회선을 건넙니다.
  • 보안 격리: NetworkPolicy가 인가되지 않은 트래픽을 출발지와 목적지 커널에서 칼같이 차단합니다.

이 패킷의 여정을 머릿속에 그릴 수 있을 때, 서비스 간 통신 장애가 발생해도 브라우저부터 커널 테이블까지 패킷이 유실된 정확한 지점을 단 몇 분 만에 찾아낼 수 있습니다.