Headscale 구축 가이드: Tailscale 비용 제한 없는 무제한 프라이빗 네트워크

단순한 원격 접속을 넘어 전 세계 기기를 하나의 가상 랜선으로 묶는 메시 네트워크는 이제 현대 인프라의 기본입니다. 그 중심에는 Tailscale이 있습니다. 설정은 간편하고 연결은 강력합니다. 하지만 성장하는 팀이나 헤비 유저에게 Tailscale의 가격 정책은 큰 벽으로 다가옵니다.

2026년 현재 Tailscale의 무료 플랜은 사용자 수를 단 3명으로 제한하며, 기기 연결 대수에도 엄격한 제약을 둡니다. 조금만 규모를 키워도 사용자당 월 6달러에서 18달러에 달하는 구독료를 지불해야 합니다. 비용보다 더 큰 문제는 데이터 주권입니다. 기업의 민감한 네트워크 메타데이터가 외부 SaaS 서버를 거친다는 점은 보안 감사에서 늘 지적받는 요소입니다.

이 모든 제약을 단칼에 해결할 대안이 바로 Headscale입니다. Headscale은 Tailscale의 제어 평면을 오픈소스로 재구현한 프로젝트입니다. 기기 인증과 키 교환은 여러분의 독립된 서버에서 처리하고, 실제 데이터 전송은 검증된 Tailscale 앱을 그대로 사용합니다. 비용은 0원이며, 노드 연결은 무제한입니다.

왜 굳이 Headscale을 직접 운영해야 하는가

가장 큰 이유는 지갑을 지키기 위해서입니다. 월 5달러 수준의 저가형 VPS(가상 전용 서버) 하나면 수천 대의 노드를 수용하는 거대 네트워크를 운영할 수 있습니다. 상용 플랜 대비 유지 비용을 90% 이상 절감하는 셈입니다.

보안 측면에서도 압도적입니다. 기기 명칭, 내부 IP 주소, 접속 로그 등 모든 메타데이터가 여러분이 관리하는 데이터베이스에만 저장됩니다. 이는 GDPR이나 국내 개인정보보호법 준수가 필수적인 비즈니스 환경에서 대체 불가능한 강점입니다. 내 네트워크의 통제권을 타인에게 맡기지 않고 스스로 소유한다는 인프라 자립의 핵심입니다.

실전 구축: Docker Compose 기반의 풀 스택 구성

많은 가이드가 가벼운 SQLite를 권장하지만, 실제 운영 환경에서는 데이터 무결성과 확장성을 위해 PostgreSQL을 사용하는 것이 정석입니다. 아래는 Caddy를 이용해 SSL 인증까지 자동화한 현대적인 배포 템플릿입니다.

1. 디렉토리 구조 준비

먼저 서버에 접속하여 설정과 데이터가 저장될 공간을 확보합니다.

mkdir -p ~/headscale-stack/{config,data/{headscale,postgres,caddy_data,caddy_config}}
cd ~/headscale-stack

2. 운영 환경용 Docker Compose 설계

컨테이너 기술은 관리를 단순하게 만듭니다. 아래 설정을 통해 DB, 제어 평면, 리버스 프록시를 한 번에 실행합니다.

version: "3.8"
services:
  postgres:
    image: postgres:15-alpine
    container_name: headscale-db
    environment:
      POSTGRES_DB: headscale
      POSTGRES_USER: admin
      POSTGRES_PASSWORD: your_strong_password
    volumes:
      - ./data/postgres:/var/lib/postgresql/data
    networks:
      - headscale-net

  headscale:
    image: headscale/headscale:stable
    container_name: headscale
    volumes:
      - ./config:/etc/headscale:ro
      - ./data/headscale:/var/lib/headscale
    command: serve
    ports:
      - "8080:8080"
    depends_on:
      - postgres
    networks:
      - headscale-net

  caddy:
    image: caddy:latest
    container_name: headscale-proxy
    ports:
      - "80:80"
      - "443:443"
      - "443:443/udp"
    volumes:
      - ./Caddyfile:/etc/caddy/Caddyfile
      - ./data/caddy_data:/data
    networks:
      - headscale-net

networks:
  headscale-net:
    driver: bridge

3. SSL 및 도메인 설정

Headscale은 반드시 HTTPS 환경에서 동작해야 합니다. Caddy를 사용하면 Let's Encrypt 인증서를 자동으로 갱신합니다. 특히 Cloudflare DNS-01 챌린지를 활용하면 외부 방화벽 포트를 개방하지 않고도 안전하게 와일드카드 인증서를 발급받을 수 있습니다. config.yaml 파일 내 server_url 항목을 반드시 자신의 도메인 주소로 수정하십시오.

기기 연결과 관리의 핵심 포인트

서버가 구동되었다면 이제 클라이언트를 붙일 차례입니다.

• 사용자 생성: docker exec headscale headscale users create myteam 명령으로 논리적 그룹을 먼저 만듭니다.
• 노드 등록: 리눅스 기준 tailscale up --login-server https://vpn.yourdomain.com 명령어를 입력하면 인증 URL이 출력됩니다. 이를 복사하여 서버에서 승인하면 즉시 연결됩니다.

Headscale은 기본적으로 CLI 기반이지만, 가시성을 위해 Headscale-Admin 같은 Web UI를 병행하는 것이 좋습니다. 별도의 서버 사이드 로직 없이 API로만 통신하므로 보안 위협을 최소화하면서도 전체 노드 현황을 직관적으로 파악할 수 있습니다.

전문가를 위한 보안 및 성능 최적화

네트워크가 커질수록 보안 정책(ACL) 설계가 중요해집니다. 기본 설정은 모든 기기가 서로 통신할 수 있는 Full Mesh 구조입니다. 하지만 특정 노드가 탈취될 경우 전체 네트워크가 위험에 노출됩니다.

Deny-by-Default 원칙을 고수하십시오. 모든 연결을 일단 차단하고, 태그(Tag) 기반으로 필요한 통로만 열어주는 것이 안전합니다. 예를 들어 tag:dev는 tag:db에만 접근할 수 있도록 제한하는 식입니다.

성능 이슈가 발생한다면 다음 세 가지를 점검하십시오.

1. UDP 41641 포트: 직접 연결(Direct Connect)을 위해 방화벽에서 이 포트가 열려 있는지 확인하십시오. 릴레이 서버(DERP)를 거치면 속도가 급격히 저하됩니다.
2. MTU 값: 가상 인터페이스 간의 패킷 파편화로 속도가 느려진다면 MTU 값을 1280 정도로 낮추어 최적화하십시오.
3. DNS 프록시: Cloudflare 사용 시 오렌지 아이콘(Proxy)을 끄고 DNS 전용으로 설정해야 비표준 프로토콜 통신이 차단되지 않습니다.

인프라 자립을 위한 마지막 단계

Headscale 도입은 단순한 비용 절감 이상의 가치를 가집니다. 이는 거대 플랫폼의 제약에서 벗어나 본인이 설계한 대로 동작하는 순수한 네트워크 환경을 구축하는 과정입니다. 오픈소스의 투명성과 Tailscale의 편의성을 결합한 이 시스템은 보안과 효율성을 동시에 추구하는 엔지니어에게 최상의 선택지입니다. 제공된 Docker 템플릿을 기반으로 오늘 바로 여러분만의 안전한 프라이빗 성을 구축해 보십시오. 편의성과 보안은 더 이상 타협의 대상이 아닙니다.