기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
인터넷에 액세스할 수 없는 기존 Amazon VPC 네트워크에서는 Amazon Managed Workflows for Apache Airflow에서 Apache Airflow를 사용하려면 추가 VPC 서비스 엔드포인트(AWS PrivateLink)가 필요합니다. 이 페이지에서는 Amazon MWAA에서 사용하는 AWS 서비스에 필요한 VPC 엔드포인트, Apache Airflow에 필요한 VPC 엔드포인트, VPC 엔드포인트를 생성하여 프라이빗 라우팅을 사용하여 기존 Amazon VPC에 연결하는 방법을 설명합니다.
목차
요금
프라이빗 네트워크 및 프라이빗 라우팅
프라이빗 네트워크 액세스 모드를 사용하면 Amazon VPC 내에서 사용자 환경의 IAM 정책에 대한 액세스 권한을 부여 받은 사용자만 Apache Airflow UI에 액세스할 수 있도록 제한됩니다.
프라이빗 웹 서버 액세스가 가능한 환경을 만들 때는 모든 종속성을 Python 휠 아카이브(.whl
)에서 패키징한 다음 requirements.txt
에서 .whl
을 참조해야 합니다. 휠을 사용하여 종속성을 패키징하고 설치하는 방법에 대한 지침은 Python 휠을 이용한 종속성 관리를 참조하십시오.
다음 이미지는 Amazon MWAA 콘솔에서 프라이빗 네트워크 옵션을 찾을 수 있는 위치를 보여줍니다.
-
프라이빗 라우팅. 인터넷에 액세스할 수 없는 Amazon VPC는 VPC 내의 네트워크 트래픽을 제한합니다. 이 페이지에서는 Amazon VPC가 인터넷에 액세스할 수 없고 사용자 환경에서 사용하는 AWS 각 서비스에 대해 VPC 엔드포인트가 필요하고 Amazon MWAA 환경과 동일한 AWS 리전 및 Amazon VPC에 Apache Airflow용 VPC 엔드포인트가 필요하다고 가정합니다.
(필수) VPC 엔드포인트
다음 섹션에서는 인터넷에 액세스할 수 없는 Amazon VPC에 필요한 필수 VPC 엔드포인트를 보여줍니다. 여기에는 Apache Airflow에 필요한 VPC 엔드포인트를 포함하여 Amazon MWAA에서 사용하는 각 AWS 서비스의 VPC 엔드포인트가 나열되어 있습니다.
com.amazonaws.
YOUR_REGION
.s3 com.amazonaws.YOUR_REGION
.monitoring com.amazonaws.YOUR_REGION
.logs com.amazonaws.YOUR_REGION
.sqs com.amazonaws.YOUR_REGION
.kms
참고
Transit Gateway 또는 AWS API 엔드포인트로 직접 이동하지 않는 다른 라우팅을 사용하는 경우 다음 서비스에 대해 Amazon MWAA 프라이빗 서브넷에 AWS PrivateLink를 추가하는 것이 좋습니다.
-
Amazon S3
-
Amazon SQS
-
CloudWatch Logs
-
CloudWatch 지표
-
AWS KMS(해당하는 경우)
이렇게 하면 Amazon MWAA 환경이 퍼블릭 인터넷을 통해 트래픽을 라우팅하지 않고도 이러한 서비스와 안전하고 효율적으로 통신할 수 있으므로 보안 및 성능이 향상됩니다.
필수 VPC 엔드포인트 연결
이 섹션에서는 프라이빗 라우팅을 사용하여 Amazon VPC에 필요한 VPC 엔드포인트를 연결하는 단계를 설명합니다.
AWS 서비스에 필요한 VPC 엔드포인트
다음 섹션은 환경에서 사용하는 AWS 서비스의 VPC 엔드포인트를 기존 Amazon VPC에 연결하는 단계를 보여줍니다.
VPC 엔드포인트를 프라이빗 서브넷에 연결하려면
-
Amazon VPC 콘솔에서 엔드포인트 페이지
를 엽니다. -
AWS 리전 선택기를 사용해 리전을 선택합니다.
-
Amazon S3에 대한 엔드포인트 생성
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.s3
를 입력한 다음 키보드에서 Enter를 누릅니다. -
게이트웨이 유형에 나열된 서비스 엔드포인트를 선택하는 것이 좋습니다.
예제:
com.amazonaws.us-west-2.s3 amazon Gateway
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷을 선택하고, DNS 이름 활성화를 선택하여 프라이빗 DNS가 활성화되었는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
-
CloudWatch Log 엔드포인트 생성
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.logs
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
-
CloudWatch 모니터링을 위한 엔드포인트 생성:
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.monitoring
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
-
Amazon SQS에 대한 VPC 엔드포인트 생성:
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.sqs
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
-
AWS KMS에 대한 엔드포인트 생성:
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.kms
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
Apache Airflow에 필요한 VPC 엔드포인트
다음 섹션은 Apache Airflow의 VPC 엔드포인트를 기존 Amazon VPC에 연결하는 단계를 보여줍니다.
VPC 엔드포인트를 프라이빗 서브넷에 연결하려면
-
Amazon VPC 콘솔에서 엔드포인트 페이지
를 엽니다. -
AWS 리전 선택기를 사용해 리전을 선택합니다.
-
Apache Airflow API를 위한 엔드포인트 생성:
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.airflow.api
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
-
Apache Airflow 환경을 위한 첫 번째 엔드포인트 생성:
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.airflow.env
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
-
Apache Airflow 작업을 위한 두 번째 엔드포인트 생성:
-
엔드포인트 생성을 선택합니다.
-
속성별 필터링 또는 키워드별 검색 텍스트 필드에
.airflow.ops
를 입력한 다음 키보드에서 Enter를 누릅니다. -
서비스 엔드포인트를 선택합니다.
-
VPC에서 사용자 환경의 Amazon VPC를 선택합니다.
-
서로 다른 가용 영역에 있는 두 개의 프라이빗 서브넷이 선택되어 있고 DNS 이름 활성화가 활성화되어 있는지 확인합니다.
-
사용자 환경의 Amazon VPC 보안 그룹을 선택합니다.
-
정책에서 전체 액세스를 선택합니다.
-
Create endpoint(엔드포인트 생성)을 선택합니다.
-
(선택 사항) Amazon S3 VPC 인터페이스 엔드포인트의 프라이빗 IP 주소를 활성화합니다.
Amazon S3 인터페이스 엔드포인트는 프라이빗 DNS를 지원하지 않습니다. S3 엔드포인트 요청이 여전히 퍼블릭 IP 주소로 확인됩니다. S3 주소를 프라이빗 IP 주소로 확인하려면 S3 리전 엔드포인트에 대해 Route 53에서 프라이빗 호스팅 영역을 추가해야 합니다.
Route 53 사용
이 섹션에서는 Route 53을 사용하여 S3 인터페이스 엔드포인트의 프라이빗 IP 주소를 활성화하는 단계를 설명합니다.
-
Amazon S3 VPC 인터페이스 엔드포인트(예: s3.eu-west-1.amazonaws.com)를 위한 프라이빗 호스팅 영역을 생성하고 이를 Amazon VPC와 연결합니다.
-
VPC 인터페이스 엔드포인트 DNS 이름으로 확인되는 Amazon S3 VPC 인터페이스 엔드포인트(예: s3.eu-west-1.amazonaws.com)에 대한 ALIAS A 레코드를 생성합니다.
-
VPC 인터페이스 엔드포인트 DNS 이름으로 확인되는 Amazon S3 인터페이스 엔드포인트(예: *.s3.eu-west-1.amazonaws.com)에 대한 ALIAS A 와일드카드 레코드를 생성합니다.
사용자 지정 DNS를 사용하는 VPC
Amazon VPC가 사용자 지정 DNS 라우팅을 사용하는 경우 CNAME 레코드를 생성하여 DNS 확인자(Route 53 아님, 일반적으로 DNS 서버를 실행하는 EC2 인스턴스)를 변경해야 합니다. 예:
Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value: *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com