프라이빗 라우팅을 사용하여 Amazon VPC에 필요한 VPC 서비스 엔드포인트 생성 - Amazon Managed Workflows for Apache Airflow
요금프라이빗 네트워크 및 프라이빗 라우팅(필수) VPC 엔드포인트필수 VPC 엔드포인트 연결(선택 사항) Amazon S3 VPC 인터페이스 엔드포인트의 프라이빗 IP 주소를 활성화합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

프라이빗 라우팅을 사용하여 Amazon VPC에 필요한 VPC 서비스 엔드포인트 생성

인터넷에 액세스할 수 없는 기존 Amazon VPC 네트워크에서는 Amazon Managed Workflows for Apache Airflow에서 Apache Airflow를 사용하려면 추가 VPC 서비스 엔드포인트(AWS PrivateLink)가 필요합니다. 이 페이지에서는 Amazon MWAA에서 사용하는 AWS 서비스에 필요한 VPC 엔드포인트, Apache Airflow에 필요한 VPC 엔드포인트, VPC 엔드포인트를 생성하여 프라이빗 라우팅을 사용하여 기존 Amazon VPC에 연결하는 방법을 설명합니다.

요금

프라이빗 네트워크 및 프라이빗 라우팅

이 이미지는 프라이빗 웹 서버가 있는 Amazon MWAA 환경의 아키텍처를 보여줍니다.

프라이빗 네트워크 액세스 모드를 사용하면 Amazon VPC 내에서 사용자 환경의 IAM 정책에 대한 액세스 권한을 부여 받은 사용자만 Apache Airflow UI에 액세스할 수 있도록 제한됩니다.

프라이빗 웹 서버 액세스가 가능한 환경을 만들 때는 모든 종속성을 Python 휠 아카이브(.whl)에서 패키징한 다음 requirements.txt에서 .whl을 참조해야 합니다. 휠을 사용하여 종속성을 패키징하고 설치하는 방법에 대한 지침은 Python 휠을 이용한 종속성 관리를 참조하십시오.

다음 이미지는 Amazon MWAA 콘솔에서 프라이빗 네트워크 옵션을 찾을 수 있는 위치를 보여줍니다.

이 이미지는 Amazon MWAA 콘솔에서 프라이빗 네트워크 옵션을 찾을 수 있는 위치를 보여줍니다.

  • 프라이빗 라우팅. 인터넷에 액세스할 수 없는 Amazon VPC는 VPC 내의 네트워크 트래픽을 제한합니다. 이 페이지에서는 Amazon VPC가 인터넷에 액세스할 수 없고 사용자 환경에서 사용하는 AWS 각 서비스에 대해 VPC 엔드포인트가 필요하고 Amazon MWAA 환경과 동일한 지역 및 AWS Amazon VPC의 Apache Airflow용 VPC 엔드포인트가 필요하다고 가정합니다.

(필수) VPC 엔드포인트

다음 섹션에서는 인터넷에 액세스할 수 없는 Amazon VPC에 필요한 필수 VPC 엔드포인트를 보여줍니다. 여기에는 Apache Airflow에 필요한 VPC 엔드포인트를 포함하여 Amazon MWAA에서 사용하는 각 AWS 서비스의 VPC 엔드포인트가 나열되어 있습니다.

com.amazonaws.YOUR_REGION.s3
com.amazonaws.YOUR_REGION.monitoring
com.amazonaws.YOUR_REGION.ecr.dkr
com.amazonaws.YOUR_REGION.ecr.api
com.amazonaws.YOUR_REGION.logs
com.amazonaws.YOUR_REGION.sqs
com.amazonaws.YOUR_REGION.kms
com.amazonaws.YOUR_REGION.airflow.api
com.amazonaws.YOUR_REGION.airflow.env
com.amazonaws.YOUR_REGION.airflow.ops

필수 VPC 엔드포인트 연결

이 섹션에서는 프라이빗 라우팅을 사용하여 Amazon VPC에 필요한 VPC 엔드포인트를 연결하는 단계를 설명합니다.

서비스에 필요한 VPC 엔드포인트 AWS

다음 섹션은 환경에서 사용하는 AWS 서비스의 VPC 엔드포인트를 기존 Amazon VPC에 연결하는 단계를 보여줍니다.

VPC 엔드포인트를 프라이빗 서브넷에 연결하려면

  1. Amazon VPC 콘솔에서 엔드포인트 페이지를 엽니다.

  2. AWS 지역 선택기를 사용하여 지역을 선택합니다.

  3. Amazon S3에 대한 엔드포인트 생성

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .s3를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 게이트웨이 유형에 나열된 서비스 엔드포인트를 선택하는 것이 좋습니다.

      예제: com.amazonaws.us-west-2.s3 amazon Gateway

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택하고, DNS 이름 활성화를 선택하여 프라이빗 DNS가 활성화되었는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  4. Amazon ECR에 대한 첫 번째 엔드포인트 생성

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .ecr.dkr를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  5. Amazon ECR에 대한 두 번째 엔드포인트 생성

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .ecr.api를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  6. CloudWatch 로그용 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .logs를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  7. CloudWatch 모니터링을 위한 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .monitoring를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  8. Amazon SQS에 대한 VPC 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .sqs를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  9. AWS KMS다음을 위한 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .kms를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

Apache Airflow에 필요한 VPC 엔드포인트

다음 섹션은 Apache Airflow의 VPC 엔드포인트를 기존 Amazon VPC에 연결하는 단계를 보여줍니다.

VPC 엔드포인트를 프라이빗 서브넷에 연결하려면

  1. Amazon VPC 콘솔에서 엔드포인트 페이지를 엽니다.

  2. AWS 지역 선택기를 사용하여 지역을 선택합니다.

  3. Apache Airflow API를 위한 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .airflow.api를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  4. Apache Airflow 환경을 위한 첫 번째 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .airflow.env를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

  5. Apache Airflow 작업을 위한 두 번째 엔드포인트 생성:

    1. 엔드포인트 생성을 선택합니다.

    2. 속성별 필터링 또는 키워드별 검색 텍스트 필드에 .airflow.ops를 입력한 다음 키보드에서 Enter를 누릅니다.

    3. 서비스 엔드포인트를 선택합니다.

    4. VPC에서 사용자 환경의 Amazon VPC를 선택합니다.

    5. 서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.

    6. 사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.

    7. 정책에서 전체 액세스를 선택합니다.

    8. Create endpoint(엔드포인트 생성)을 선택합니다.

(선택 사항) Amazon S3 VPC 인터페이스 엔드포인트의 프라이빗 IP 주소를 활성화합니다.

Amazon S3 인터페이스 엔드포인트는 프라이빗 DNS를 지원하지 않습니다. S3 엔드포인트 요청이 여전히 퍼블릭 IP 주소로 확인됩니다. S3 주소를 프라이빗 IP 주소로 확인하려면 S3 리전 엔드포인트에 대해 Route 53에서 프라이빗 호스팅 영역을 추가해야 합니다.

Route 53 사용

이 섹션에서는 Route 53을 사용하여 S3 인터페이스 엔드포인트의 프라이빗 IP 주소를 활성화하는 단계를 설명합니다.

  1. Amazon S3 VPC 인터페이스 엔드포인트(예: s3.eu-west-1.amazonaws.com)를 위한 프라이빗 호스팅 영역을 생성하고 이를 Amazon VPC와 연결합니다.

  2. VPC 인터페이스 엔드포인트 DNS 이름으로 확인되는 Amazon S3 VPC 인터페이스 엔드포인트(예: s3.eu-west-1.amazonaws.com)에 대한 ALIAS A 레코드를 생성합니다.

  3. VPC 인터페이스 엔드포인트 DNS 이름으로 확인되는 Amazon S3 인터페이스 엔드포인트(예: *.s3.eu-west-1.amazonaws.com)에 대한 ALIAS A 와일드카드 레코드를 생성합니다.

사용자 지정 DNS를 사용하는 VPC

Amazon VPC가 사용자 지정 DNS 라우팅을 사용하는 경우 CNAME 레코드를 생성하여 DNS 확인자(Route 53 아님, 일반적으로 DNS 서버를 실행하는 EC2 인스턴스)를 변경해야 합니다. 예:

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com