IPsec 암호화는 인터넷 프로토콜 보안(IPsec)이 제공하는 보호 기능을 지칭하는 일반적인 표현입니다. 실제로 IPsec은 단순한 암호화 기능이 아닌 IP 네트워크용 보안 아키텍처로, 네트워크 계층에서 기밀성, 무결성, 인증, 재전송 방지 및 정책 기반 트래픽 제어 기능을 제공합니다. 이것이 IPsec이 기업 VPN, 지점 간 연결, 클라우드 네트워킹 및 다양한 인프라 환경에서 중요한 이유이며, 해당 환경에서는 보안을 애플리케이션 계층에 추가하는 것이 아닌 IP 경로 자체에 내장해야 합니다.

IPsec이 여전히 중요한 이유 중 하나는 대부분의 애플리케이션 하위 계층에서 작동하기 때문입니다. 웹 브라우저는 HTTPS를 사용하고 이메일 플랫폼은 TLS, 음성 시스템은 SRTP를 사용하지만 IPsec은 IP 트래픽을 포괄적으로 보호합니다. 호스트 간, 보안 게이트웨이 간 또는 호스트와 게이트웨이 간 통신을 안전하게 보호할 수 있어 개별 애플리케이션을 재설계하지 않고 다중 서비스를 한 번에 보호하려는 경우 유용합니다.

IPsec은 호스트, 게이트웨이 또는 호스트-게이트웨이 혼합 환경의 트래픽을 보호하는 네트워크 계층 보안 프레임워크입니다.

IPsec 암호화란 무엇인가

IPsec은 Internet Protocol Security의 약칭으로, IP 계층 트래픽을 보호하기 위한 프로토콜 및 규칙 모음입니다. 즉, IPsec은 애플리케이션 전용 보안 메커니즘보다 네트워크에 더 가깝게 위치합니다. 웹 세션이나 파일 전송만 보호하는 것이 아니라 정책이 허용하는 경우 IPsec 보안 연합에 포함된 다양한 서비스의 패킷을 보호할 수 있습니다.

용어 IPsec 암호화는 편리하지만 다소 불완전합니다. 암호화는 전체 기능 중 일부에 불과합니다. IPsec 설정 방식에 따라 다음 기능을 제공할 수 있습니다:

• 패킷 페이로드의 기밀성

• 데이터 출처 인증

• 비연결형 무결성

• 재전송 공격 방지 기능

• 트래픽 선택 및 정책 시행

실제 운영 환경에서 이러한 보호 기능은 주로 ESP(캡슐화 보안 페이로드)와 피어를 인증하고 패킷 보호 규칙을 정의하는 보안 연합을 설정하는 키 관리 프로토콜인 IKEv2와 연계되어 사용됩니다.

IPsec 작동 방식

실질적으로 IPsec은 보호 대상 패킷을 지정하고 해당 패킷의 보안 파라미터를 협상한 후, 네트워크를 통과하는 트래픽에 선택된 보안 서비스를 적용하는 방식으로 작동합니다.

1. 트래픽 선택 및 정책

IPsec을 구축하려면 보호해야 할 트래픽을 결정하는 규칙이 먼저 필요합니다. 해당 규칙은 일반적으로 송수신 주소, 프로토콜, 포트, 인터페이스, 피어 식별 정보 또는 광범위한 네트워크 정책을 기반으로 설정됩니다. 기업 환경 용어로는 IPsec 터널에 진입해야 하는 중요 트래픽을 의미합니다.

IPsec 아키텍처에서 정책과 연결 상태는 우연적인 세부 사항이 아닌 핵심 요소입니다. 시스템은 보호 대상 트래픽과 트래픽 처리 방식을 명확히 파악해야 합니다. 일부 트래픽은 폐기되고 일부는 IPsec을 우회하며 나머지는 전송 전 보호 처리됩니다.

2. 피어 인증 및 키 교환

보호 대상 트래픽이 식별되면 두 통신 피어는 보안 적용 방식을 협의해야 하며, 해당 작업은 주로 IKEv2가 처리합니다. 피어는 상호 인증을 진행하고 암호화 파라미터를 협상하며 공유 키를 생성하고 하나 이상의 보안 연합을 설정합니다. 이러한 보안 연합은 보호 세션에 사용되는 알고리즘, 키, 유효 기간, 작동 모드, 선택자 및 관련 파라미터를 정의합니다.

인증 방식은 사전 공유 키, 디지털 인증서 또는 기타 지원 방식을 사용할 수 있습니다. 소규모 환경에서는 설정이 간편한 사전 공유 키가 일반적이며, 대규모 또는 보안 민감 환경에서는 확장성과 강화된 ID 관리 기능으로 인해 인증서를 선호합니다.

3. ESP 또는 AH 기반 패킷 보호

보안 연합이 설정되면 IPsec은 자체 프로토콜을 통해 패킷을 보호합니다. 현대 환경에서는 ESP가 압도적으로 많이 사용됩니다. ESP는 기밀성을 제공하며 무결성, 인증, 재전송 방지 및 제한적인 트래픽 흐름 기밀 기능을 추가로 지원합니다. 실생활 주요 사용 사례를 포괄하기 때문에 일반적으로 IPsec 터널 언급 시 ESP를 의미합니다.

AH(인증 헤더)는 또 다른 IPsec 프로토콜입니다. AH는 인증 및 무결성 서비스를 제공하도록 설계되었지만 기밀성은 지원하지 않습니다. 또한 전송 모드에서 ESP보다 더 많은 고정 IP 헤더 필드를 보호합니다. 실제로는 주소 변환 및 터널 상호 운용성이 중요한 환경에서는 AH 사용 빈도가 낮습니다.

4. 지속적인 유지보수

IPsec 세션은 한 번 설정 후 영구적으로 사용되지 않습니다. 키와 보안 연합에는 유효 기간이 존재합니다. 피어는 주기적으로 키를 재생성하고 알고리즘을 재협상하며 장애를 감지하거나 경로 변경 후 터널을 재구축합니다. 안정적인 네트워크에서는 백그라운드에서 자동으로 진행되지만 이는 IPsec 설계가 암호학적 요소만큼 운영 측면의 중요 주제인 이유입니다.

IPsec 핵심 구성 요소

ESP

ESP는 현대 IPsec의 핵심 프로토콜입니다. 트래픽을 암호화하고 무결성, 출처 인증, 재전송 방지 기능을 제공합니다. 네트워크 엔지니어가 방화벽, 라우터 또는 게이트웨이가 IPsec VPN을 지원한다고 언급할 경우 거의 대부분 ESP 기반 보호를 의미합니다.

AH

AH는 인증과 무결성에 중점을 두며 기밀성은 제공하지 않습니다. 기술적으로 AH는 IPsec이 단순 암호화 도구가 아닌 광범위한 보안 프레임워크로 설계되었음을 보여주는 중요한 요소입니다. 그럼에도 일반 VPN 시나리오에서 ESP가 더 유연하기 때문에 다수의 상용 환경에서는 AH 대신 ESP를 사용합니다.

IKEv2

IKEv2는 협상 및 관리 계층으로 피어 인증, 암호화 협상, 키 생성 및 보안 연합 유지보수를 담당합니다. 견고한 키 관리 체계가 없다면 IPsec의 대규모 활용은 비현실적입니다.

보안 연합

보안 연합은 보호 대상 트래픽 흐름 또는 방향에 적용되는 활성 규칙 집합입니다. 트래픽 처리에 사용되는 알고리즘, 키, 작동 모드, 유효 기간, 재전송 설정 및 피어 정보를 지정합니다. 터널은 단순 개념이 아닌 구체적인 협상 상태로 구현되므로 보안 연합은 IPsec 이해의 핵심입니다.

전송 모드 vs 터널 모드

IPsec은 두 가지 주요 모드로 작동하며 선택한 모드에 따라 아키텍처와 사용 사례가 달라집니다.

전송 모드

전송 모드에서는 원본 IP 헤더를 유지한 채 원본 IP 패킷의 페이로드만 보호합니다. 통신 단말 자체에서 IPsec을 실행할 때 간결하고 효율적인 동작이 가능하며 주로 호스트 간 보호에 사용됩니다. 표준에서는 일부 아키텍처에서 세밀한 시나리오 사용도 허용합니다.

터널 모드

터널 모드에서는 원본 IP 패킷 전체를 신규 IP 패킷 내부에 캡슐화하여 외부 IP 헤더를 추가하고 원본 패킷을 내부 페이로드로 보호합니다. 터널 모드는 게이트웨이 간 VPN 및 다수의 호스트-게이트웨이 원격 접속 환경의 표준 모델이며, 터널이 네트워크 간 안전 경로로 작동하기 때문에 지점 연결에 용이합니다.

다수의 실제 운영 환경에서 IPsec VPN이라 하면 터널 모드를 의미합니다. 유연하고 보안 게이트웨이와 호환되며 사이트 간 설계에 자연스럽게 적용됩니다.

IPsec의 가치

강력한 네트워크 계층 보호

IPsec은 IP 계층에서 동작하므로 다중 애플리케이션을 동시에 보호할 수 있습니다. 개별 애플리케이션 스택을 수정하지 않고 네트워크 경로 전체를 보호해야 할 경우 매우 유리합니다.

폭넓은 배포 유연성

IPsec은 호스트 간, 게이트웨이 간, 호스트-게이트웨이 통신을 모두 지원합니다. 이는 네트워크 설계자에게 지점, 데이터센터, 클라우드 연결, 모바일 사용자 또는 인프라 서비스 보호를 위한 다양한 설계 옵션을 제공합니다.

단순 암호화를 넘어선 보안

IPsec의 진정한 장점은 데이터 은닉만이 아닙니다. 통신 상대방을 검증하고 트래픽 변조 여부, 패킷 재전송 여부를 확인할 수 있게 해줍니다. 운영 관점에서 이는 순수 암호화 기반 설계보다 IPsec을 더 신뢰할 수 있게 만듭니다.

성숙한 표준 기반

IPsec은 오랜 기간 검증된 IETF 표준과 상세한 구현 가이드를 기반으로 개발되었습니다. 긴 수명 주기 장비, 다벤더 상호 운용성 및 통제된 변경 관리가 중요한 기업 인프라에서 이러한 성숙도는 필수적입니다.

IPsec 주요 활용 분야

사이트 간 VPN

IPsec의 가장 일반적인 사용 사례입니다. 지점, 공장, 창고, 변전소 및 원격 캠퍼스는 라우터, 방화벽 또는 전용 보안 게이트웨이 간 IPsec 터널을 통해 비신뢰 네트워크에서 안전하게 연결할 수 있습니다.

원격 접속

일부 기업에서는 IPsec을 안전한 사용자 원격 접속에 활용합니다. 노트북, 태블릿 또는 현장 단말기가 게이트웨이와 IPsec 터널을 구축하여 공용 인터넷을 통해 내부 애플리케이션에 안전하게 접속할 수 있습니다.

데이터센터 및 클라우드 상호 연결

IPsec는 온프레미스 인프라와 클라우드 네트워크, 다중 클라우드 및 데이터센터 사이트 간 트래픽 보호에 널리 사용됩니다. 특정 애플리케이션 프로토콜에 의존하지 않는 표준 기반 암호화 경로가 필요한 환경에 적합합니다.

OT 및 인프라 환경

산업, 공공 시설, 운송 및 공공 안전 네트워크에서 IPsec은 핵심 사이트, 원격 스테이션, 엣지 장비 및 관리 플랫폼 간 통신을 보호합니다. 운영자가 광역 IP 네트워크에서 안전한 라우팅 및 분할 연결을 구축하고자 할 때 주로 선택됩니다.

IPsec은 사이트 간 VPN, 원격 접속, 클라우드 상호 연결 및 공유 IP 인프라를 통한 안전한 데이터 전송에 광범위하게 사용됩니다.

실 운영에 중요한 기술 기능

NAT 통과

현대 다수의 네트워크에서 네트워크 주소 변환(NAT)을 사용하는 것이 실질적인 과제입니다. 표준 ESP는 NAT 장비와 호환되지 않아 실제 VPN 구축에서 NAT 통과 메커니즘이 필수적입니다. UDP 캡슐화는 협상을 통해 ESP 패킷이 NAT 환경을 더 안정적으로 통과하도록 합니다.

알고리즘 선택

IPsec은 고정된 암호화 알고리즘으로 정의되지 않습니다. 보안 수준은 활성화된 알고리즘과 관리 방식에 따라 달라집니다. 따라서 설계 시 최신 암호화 가이드라인, 피어 상호 운용성, 성능 요구사항 및 기업 정책을 고려해야 합니다.

오버헤드 및 MTU 설계

IPsec은 추가 헤더, 메타데이터 및 추가 캡슐화를 생성합니다. 이러한 오버헤드는 네트워크 설계 미흡 시 유효 페이로드 크기, 조각화 동작 및 애플리케이션 성능에 영향을 미칩니다. 운영 환경에서는 암호화 설정만큼 MTU 및 MSS 튜닝이 중요합니다.

운영 가시성

암호화 터널은 기밀성을 높이지만 트래픽 모니터링, 필터링 및 장애 조치 방식을 변경합니다. 운영팀은 IKE 협상 상태, 보안 연합 현황, 키 재생성 이벤트, 경로 변경, 패킷 카운터 및 정책 불일치 현황을 파악해야 합니다. IPsec 터널이 보안상 올바르게 구성되어도 라우팅 또는 정책 계층에서 장애가 발생할 수 있으므로 체계적인 운영 관리가 필수입니다.

IPsec VPN vs TLS VPN

IPsec과 TLS 기반 보안 접속은 자주 비교되지만 서로 다른 계층에서 문제를 해결합니다. TLS는 주로 애플리케이션 세션을 보호하는 반면 IPsec은 네트워크 계층에서 IP 트래픽을 포괄적으로 보호합니다. 사이트 간 광범위한 네트워크 연결 또는 다중 내부 서비스 접속이 필요한 경우 IPsec이 더 적합하며, 브라우저 중심 또는 특정 앱 전용 원격 접속 환경에서는 TLS 방식이 편리합니다.

두 기술 모두 절대적으로 우위에 있지 않습니다. 보안 경계를 애플리케이션 계층 또는 IP 계층 중 어디에 둘지, 필요한 네트워크 접속 범위, 사용자 경험 및 기업 운영 모델에 따라 적합한 선택이 달라집니다.

구축 시 고려사항

• 명확한 트래픽 선택자를 정의하고 지나치게 광범위한 터널 정책을 피하십시오.

• 안전한 최신 알고리즘을 사용하고 주기적으로 검토하십시오.

• 규모, 수명 주기 관리 및 신원 보안이 필요한 환경에서는 인증서를 활용하십시오.

• 초기 설계 단계에서 NAT 통과, MTU 오버헤드 및 라우팅 동작을 계획하십시오.

• 키 재생성, 피어 가동 여부, 보안 연합 카운터 및 터널 장애 전환 상태를 모니터링하십시오.

• 호스트 간, 호스트-게이트웨이 또는 게이트웨이 간 설계 구조를 문서화하십시오.

자주 묻는 질문

IPsec은 VPN과 동일한가?

정확히는 아닙니다. IPsec은 보안 프레임워크 및 프로토콜 모음이며 VPN은 더 포괄적인 구축 개념입니다. 다수의 VPN이 IPsec 기반으로 제작되지만 모든 VPN이 IPsec을 사용하는 것은 아닙니다.

IPsec은 암호화만 하는가?

아닙니다. IPsec은 기밀성, 무결성, 인증, 재전송 방지 및 정책 기반 트래픽 관리를 제공합니다. 암호화는 중요하지만 전체 기능 중 일부에 불과합니다.

ESP와 AH의 차이점은?

ESP는 기밀성은 물론 무결성 및 인증 기능을 제공합니다. AH는 인증과 무결성만 제공하고 기밀성은 지원하지 않습니다. 현대 운영 환경에서는 ESP가 일반적으로 더 많이 사용됩니다.

전송 모드와 터널 모드의 차이점은?

전송 모드는 원본 IP 패킷의 페이로드를 보호하고 원본 IP 헤더를 유지합니다. 터널 모드는 원본 패킷 전체를 신규 외부 IP 패킷으로 캡슐화하며 게이트웨이 기반 VPN에 널리 사용됩니다.

IPsec은 주로 어디에 사용되는가?

주요 사용처는 사이트 간 VPN, 원격 접속, 클라우드 상호 연결, 데이터센터 연결 및 기업·산업 광역 IP 네트워크의 안전 전송입니다.

IPsec은 NAT와 호환되는가?

호환되지만 표준 ESP는 NAT 환경에서 작동이 복잡해집니다. 그래서 실제 구축 환경에서는 UDP 캡슐화 같은 NAT 통과 메커니즘이 중요합니다.

결론

IPsec 암호화는 훨씬 광범위한 네트워크 보안 프레임워크에서 암호화 기능을 탑재한 일부 요소로 이해해야 합니다. 진정한 가치는 표준화된 정책 제어, 피어 인증, 협상된 보안 연합 및 패킷 단위 보안 서비스를 통해 IP 트래픽을 보호하는 데 있습니다. 체계적으로 설계된 IPsec은 비신뢰 네트워크를 경유하는 호스트, 게이트웨이, 지점, 클라우드 및 인프라 도메인 간 통신을 안전하게 보호하는 가장 실용적인 방식 중 하나입니다.