사설망을 뚫는 홀펀칭 — STUN, TURN, 그리고 ICE 프레임워크의 동작 원리

1:1 화상 통화나 대용량 파일 전송, 음성 채팅 시스템을 구축할 때 모든 데이터를 중앙 서버를 거쳐 중계하도록 설계하면 서버의 네트워크 대역폭 비용은 천문학적으로 치솟습니다. 가장 이상적인 해결책은 두 사용자의 컴퓨터가 중앙 서버를 거치지 않고 직접 IP 패킷을 주고받는 P2P(Peer-to-Peer) 통신입니다.

그러나 현대 인터넷 환경에서 두 컴퓨터가 서로 직접 대화하는 것은 결코 자연스러운 일이 아닙니다. 거의 모든 가정과 사무실, 카페의 컴퓨터는 공유기 뒤의 사설 IP(Private IP) 대역에 숨어 있습니다. 외부에서는 그 컴퓨터의 존재조차 알 수 없고, 공유기의 방화벽은 내부에서 먼저 나가지 않은 외부의 모든 인바운드 패킷을 가차 없이 버립니다.

서로 사설망 뒤에 갇혀 있는 두 컴퓨터는 어떻게 공유기의 철벽을 뚫고 직접 연결할 수 있을까요? 이 불가능해 보이는 과제를 해결하기 위해 탄생한 네트워크 엔지니어링의 정수가 바로 NAT 트래버설(NAT Traversal, 홀펀칭) 과 STUN, TURN, ICE 프레임워크 입니다.

1. P2P 통신의 장벽: 사설 IP와 NAT의 침묵

사설 IP(192.168.x.x 또는 10.x.x.x)를 사용하는 컴퓨터 A와 B가 있다고 가정해 보겠습니다.

A가 B에게 직접 메시지를 보내고 싶어도 두 가지 치명적인 문제가 발생합니다.

flowchart LR
    subgraph NetA["Private LAN A"]
        A["Host A<br/>192.168.0.10:5000"]
    end
    subgraph NetB["Private LAN B"]
        B["Host B<br/>192.168.1.20:5000"]
    end

    RA["Router A (NAT)<br/>Public: 203.0.113.10:45000"]
    RB["Router B (NAT)<br/>Public: 198.51.100.20:55000"]

    A --> RA
    RA -->|"Packet to 198.51.100.20:55000"| RB
    RB -.-x|"<b>DROPPED!</b><br/>No inbound mapping in conntrack table"| B
그림 1. 사설망 NAT 공유기 뒤에 위치한 두 단말 간 인바운드 패킷 폐기(Drop) 현상
  1. 상대방의 공인 주소를 모른다 : A는 B의 사설 IP(192.168.1.20)만 알 뿐, B의 공유기가 전 세계 인터넷에 노출하고 있는 실제 공인 IP와 포트(198.51.100.20:55000)를 알 길이 없습니다.
  2. 공유기 방화벽의 패킷 폐기 (Drop) : 설령 A가 B의 공인 주소를 알아내 패킷을 보낸다 해도, B의 공유기는 내부의 B가 먼저 A를 향해 패킷을 보낸 적이 없기 때문에 “알 수 없는 외부 침입”으로 간주하고 패킷을 즉시 폐기(Drop)합니다.

이 장벽을 넘기 위해선 두 단계의 마법이 필요합니다:

  1. 나의 공인 주소 발견 (STUN)
  2. 공유기 방화벽에 양방향 구멍 뚫기 (Hole Punching)

2. STUN: 거울을 보고 내 진짜 얼굴을 찾는 기술

첫 번째 관문인 “내 공유기가 외부에 매핑해 준 공인 IP와 포트가 무엇인가?”를 해결하는 표준 프로토콜이 STUN(Session Traversal Utilities for NAT, RFC 5389) 입니다.

원리는 간단합니다. 공인 인터넷 망에 위치한 중립적인 제3의 서버(STUN 서버 )를 거울 삼아 바라보는 것입니다.

sequenceDiagram
    autonumber
    actor A as Host A (192.168.0.10:5000)
    participant NAT as NAT Router A
    participant STUN as STUN Server (74.125.250.129:3478)

    A->>NAT: 1. STUN Binding Request (from 192.168.0.10:5000)
    Note over NAT: NAT rewrites source IP:port<br/>to 203.0.113.10:45000
    NAT->>STUN: Forward Binding Request
    Note over STUN: Inspects packet UDP source header:<br/>Identifies 203.0.113.10:45000
    STUN-->>NAT: 2. STUN Binding Success Response<br/>(XOR-MAPPED-ADDRESS: 203.0.113.10:45000)
    NAT-->>A: Forward Response to Host A
    Note over A: Host A now knows its public reflexive IP & Port!
그림 2. STUN 프로토콜의 Binding Request/Response를 통한 공인 주소 발견
  1. 클라이언트 A는 STUN 서버로 가벼운 UDP 패킷인 Binding Request 를 전송합니다.
  2. 패킷이 A의 공유기(NAT)를 통과하는 순간, 공유기는 패킷의 출발지 IP/포트를 자신의 공인 IP와 임의의 포트(203.0.113.10:45000)로 변환합니다.
  3. STUN 서버는 패킷을 받아보고, 패킷의 IP 헤더에 찍힌 실제 출발지 주소(203.0.113.10:45000)를 읽어냅니다.
  4. STUN 서버는 응답 패킷의 바디에 “네가 나한테 보낸 패킷의 출발지 공인 주소는 203.0.113.10:45000이다”라는 정보를 담아 돌려줍니다.

이 응답을 받은 클라이언트 A는 비로소 **“아, 내가 사설망 뒤에 있지만 외부 세상에는 203.0.113.10:45000으로 보이는구나!”**라는 사실을 깨닫게 됩니다.

XOR-MAPPED-ADDRESS의 비밀

STUN 명세에는 재미있는 엔지니어링 디테일이 있습니다. 최초의 STUN(RFC 3489)에서는 공인 주소를 MAPPED-ADDRESS 속성에 평문 그대로 담아 보냈습니다.

그런데 일부 똑똑한(?) 공유기(NAT) 장비에 탑재된 ALG(Application Layer Gateway) 기능이 패킷 바디를 훔쳐보고, 바디 안에 적힌 사설 IP를 제멋대로 변환해 버려 패킷이 깨지는 사고가 빈번했습니다.

이를 방지하기 위해 개정된 RFC 5389에서는 공인 IP와 포트를 STUN 프로토콜의 매직 쿠키(0x2112A442) 값과 XOR 비트 연산 하여 암호화처럼 난독화한 XOR-MAPPED-ADDRESS 속성을 표준으로 도입했습니다. 멍청한 공유기 ALG가 패킷 내부의 IP 주소를 알아채지 못하게 감춰버린 것입니다.

3. UDP 홀펀칭: 양방향 동시 타격의 기적

이제 A와 B는 각자 STUN 서버를 통해 자신의 공인 주소를 알아냈습니다. 그리고 별도의 시그널링 서버(중앙 웹소켓 서버 등)를 통해 서로의 공인 주소를 맞교환했습니다.

  • A의 공인 주소: 203.0.113.10:45000
  • B의 공인 주소: 198.51.100.20:55000

하지만 여전히 서로에게 무작정 패킷을 보내면 상대방 공유기 방화벽에 막힙니다. 여기서 홀펀칭(Hole Punching) 의 기적이 일어납니다.

sequenceDiagram
    autonumber
    actor A as Host A
    participant RA as Router A
    participant RB as Router B
    actor B as Host B

    A->>RA: 1. UDP packet to B (198.51.100.20:55000)
    Note over RA: Router A opens outbound hole for B!
    RA-xRB: Packet arrives at B -> DROPPED (Router B denies A)

    B->>RB: 2. UDP packet to A (203.0.113.10:45000)
    Note over RB: Router B opens outbound hole for A!
    RB->>RA: Packet arrives at A
    RA->>A: ACCEPTED! (Hole opened in Step 1)

    A->>RA: 3. A responds back to B
    RA->>RB: Packet arrives at B
    RB->>B: ACCEPTED! (Hole opened in Step 2)
    Note over A,B: Direct P2P Tunnel Established!
그림 3. UDP 양방향 홀펀칭(Hole Punching) 및 직접 P2P 통신 개설 절차
  1. A가 먼저 B를 향해 패킷을 쏩니다.
    • 패킷이 공유기 A를 통과하는 순간, 공유기 A의 방화벽 테이블에는 *“내가 방금 198.51.100.20:55000으로 패킷을 보냈으니, 앞으로 저 주소에서 날아오는 응답 패킷은 내부의 A에게 통과시켜 준다”*는 인바운드 규칙이 메모리에 기록됩니다. (공유기 A에 구멍이 뚫림!)
    • 하지만 이 패킷이 공유기 B에 도착했을 때, 공유기 B는 아직 A의 존재를 모르므로 패킷을 가차 없이 버립니다.
  2. 동시에 B 역시 A를 향해 패킷을 쏩니다.
    • 패킷이 공유기 B를 통과하는 순간, 공유기 B에도 *“앞으로 203.0.113.10:45000에서 오는 패킷은 통과시켜 준다”*는 규칙이 생깁니다. (공유기 B에 구멍이 뚫림!)
  3. 결과 :
    • 이제 양쪽 공유기 모두 상대방의 IP:포트에 대해 인바운드 수신 허용 규칙을 활성화했습니다.
    • 이후 이어지는 모든 패킷은 양쪽 공유기의 방화벽을 당당히 통과하며, 중앙 서버가 전혀 개입하지 않는 브라우저 간 초고속 1:1 P2P 파이프라인이 완성 됩니다.

4. 대칭형(Symmetric) NAT: 홀펀칭을 무력화하는 최악의 난적

하지만 현실의 모든 공유기가 이렇게 순진하게 동작하지는 않습니다. NAT는 동작 방식에 따라 크게 4가지 유형으로 나뉩니다.

  1. Full-Cone NAT (완전 원뿔형) : 내부 소켓이 외부로 한 번 매핑되면, 전 세계 어떤 IP/포트에서 그 공인 포트로 쏴도 전부 통과시켜 줍니다. (홀펀칭 가장 쉬움)
  2. Restricted-Cone NAT : 내부에서 패킷을 보냈던 목적지 IP에서 오는 패킷만 통과시킵니다.
  3. Port-Restricted-Cone NAT : 내부에서 패킷을 보냈던 목적지 IP:포트가 완벽히 일치해야만 통과시킵니다. (일반적인 가정용 공유기)
  4. Symmetric NAT (대칭형 NAT) : 홀펀칭의 절대적인 저승사자.

대칭형 NAT는 “내부 소켓이 동일하더라도, 패킷을 보내는 목적지 IP:포트가 다르면 매번 완전히 새로운 무작위 공인 포트를 할당” 합니다.

flowchart TD
    A["Host A (192.168.0.10:5000)"] --> NAT["Symmetric NAT Router"]
    NAT -->|"1. Outbound to STUN Server"| P1["Public Port: 45000 (Allocated for STUN)"]
    NAT -->|"2. Outbound to Peer B"| P2["<b>Public Port: 61234 (Completely New Random Port!)</b>"]

    P1 --> STUN["STUN Server"]
    P2 -.-x|"Peer B sends to 45000 -> MISMATCH DROP!"| B["Peer B"]
그림 4. 목적지별로 공인 포트를 무작위 재할당하는 대칭형(Symmetric) NAT의 홀펀칭 실패

STUN 서버에 물어봐서 알아낸 공인 포트는 45000번이었는데, B에게 패킷을 보내는 순간 공유기가 변덕을 부려 전혀 다른 61234번 포트로 매핑을 바꿔버립니다. B는 A의 45000번 포트를 향해 패킷을 쏘고 있으므로, 두 패킷은 허공을 맴돌며 홀펀칭은 100% 실패로 끝납니다.

기업용 방화벽, 대학교 기숙사 네트워크, 그리고 스마트폰의 4G/5G 테더링(LTE CGNAT) 환경은 대부분 이 대칭형 NAT를 사용합니다.

5. TURN과 ICE: 실패를 허용하지 않는 완벽한 프레임워크

대칭형 NAT 환경에서는 수학적으로 P2P 홀펀칭이 불가능합니다. 그렇다면 연결을 포기해야 할까요?

이때 구원투수로 등판하는 것이 TURN(Traversal Using Relays around NAT, RFC 5766) 입니다.

flowchart LR
    A["Host A<br/><i>(Symmetric NAT)</i>"]
    TURN["<b>TURN Relay Server</b><br/>Public Media Relay (RFC 5766)"]
    B["Host B<br/><i>(Symmetric NAT)</i>"]

    A ==>|"Encrypted Media Stream (Relayed)"| TURN
    TURN ==>|"Encrypted Media Stream (Relayed)"| B
그림 5. 홀펀칭 불가 시 중계 서버를 경유하는 TURN 릴레이 아키텍처

TURN은 P2P를 깨끗이 포기하고, 공인 IP를 가진 고성능 중계 서버를 두어 모든 트래픽을 서버가 직접 날라주는 릴레이(Relay) 방식입니다. 어떤 가혹한 방화벽 환경에서도 무조건 100% 연결을 보장하지만, 서버 호스팅 비용과 네트워크 대역폭 비용이 감당하기 힘들 정도로 발생한다는 치명적인 단점이 있습니다.

모든 것을 조율하는 오케스트라: ICE 프레임워크

실시간 시스템은 가능한 한 비용이 들지 않는 P2P(STUN)로 연결해야 하고, 도저히 불가능할 때만 최후의 수단으로 비싼 중계 서버(TURN)를 써야 합니다. 이 우선순위 결정과 연결성 검사를 자동화한 표준이 바로 ICE(Interactive Connectivity Establishment, RFC 8445) 프레임워크입니다.

WebRTC 연결이 시작되면 ICE 에이전트는 사용 가능한 모든 연결 후보군(Candidate )을 수집합니다:

  1. Host Candidate : 단말의 로컬 사설 IP (동일 공유기 내 로컬 통신용)
  2. Server Reflexive (srflx) Candidate : STUN 서버를 통해 알아낸 공유기의 공인 IP:포트 (P2P 홀펀칭용)
  3. Relay Candidate : TURN 중계 서버가 할당해 준 릴레이 IP:포트 (최후의 보루)
flowchart TD
    subgraph ICE["ICE Candidate Pair Priority & Connectivity Checks"]
        P1["<b>Priority 1: Host Candidate Pair</b><br/>Direct LAN (Lowest Latency, Zero Cost)"]
        P2["<b>Priority 2: Server Reflexive (srflx) Pair</b><br/>Direct P2P via STUN Hole Punching (Low Latency, Zero Cost)"]
        P3["<b>Priority 3: Relay Candidate Pair</b><br/>TURN Server Relay (Higher Latency, Expensive Bandwidth)"]

        P1 -->|"If LAN unreachable"| P2
        P2 -->|"If P2P Hole Punching fails"| P3
    end
그림 6. ICE 프레임워크의 연결 후보군(Candidate) 우선순위 및 연결성 검사

ICE는 수집된 후보군들을 우선순위(Host → srflx → Relay)대로 정렬한 뒤, 백그라운드에서 모든 쌍(Candidate Pair)을 향해 STUN 바인딩 체크 패킷을 병렬로 발사합니다.

P2P 홀펀칭 패킷이 단 하나라도 뚫리는 순간, ICE는 즉시 비싼 TURN 연결을 버리고 무료 P2P 파이프라인으로 트래픽을 전환합니다. 전 세계 WebRTC 트래픽의 약 80~85%는 이 ICE 프레임워크 덕분에 비용이 들지 않는 P2P(STUN)로 처리되며, 오직 극단적인 방화벽 환경의 15% 미만 트래픽만이 TURN 서버를 경유합니다.

6. 사설망의 벽을 넘어

STUN의 거울 보기, UDP 홀펀칭의 동시 타격, 그리고 ICE의 영리한 후보군 조율은 IPv4 주소 고갈이라는 시대의 한계 속에서 엔지니어들이 지켜낸 인터넷 종단 간 원칙(End-to-End Principle)의 승리 였습니다.

가정용 공유기의 사설망에 갇혀 바깥세상을 볼 수 없었던 두 대의 컴퓨터는 이 정교한 프로토콜의 춤을 통해 서로를 찾아내고, 수천 킬로미터의 물리적 거리를 넘어 1초에 수십 프레임의 고화질 영상과 음성을 지연 없이 주고받을 수 있게 되었습니다.

오늘날 우리가 웹 브라우저 탭 하나로 화상 회의에 접속하고 디스코드에서 끊김 없는 음성 대화를 나눌 수 있는 것은, 보이지 않는 곳에서 수 밀리초 만에 수십 개의 ICE 패킷을 던지며 방화벽의 틈새를 찾아내는 이 치열한 네트워크 엔지니어링 덕분입니다.