Athena for Spark에서 Python 라이브러리 사용 - Amazon Athena
정의수명 주기 관리

Athena for Spark에서 Python 라이브러리 사용

이 페이지에서는 Apache Spark용 Amazon Athena에서 사용되는 런타임, 라이브러리 및 패키지에 사용되는 용어와 그에 따른 수명 주기 관리에 대해 설명합니다.

정의

  • Amazon Athena for Apache Spark(Apache Spark용 Amazon Athena)는 오픈 소스 Apache Spark의 사용자 지정 버전입니다. 현재 버전을 보려면 노트북 셀에서 print(f'{spark.version}') 명령을 실행합니다.

  • Athena runtime(Athena 런타임)은 코드가 실행되는 환경입니다. 환경에는 Python 인터프리터와 PySpark 라이브러리가 포함됩니다.

  • external library or package(외부 라이브러리 또는 패키지)는 Athena 런타임에는 포함되지 않지만 Athena for Spark 작업에 포함될 수 있는 Java, Scala JAR 또는 Python 라이브러리입니다. 외부 패키지는 Amazon 또는 사용자가 만들 수 있습니다.

  • convenience package(편의 패키지)는 Athena에서 선택된 외부 패키지 모음으로, Spark 애플리케이션에 포함하도록 선택할 수 있습니다.

  • bundle(번들)은 Athena 런타임과 편의 패키지를 결합합니다.

  • user library(사용자 라이브러리)는 Athena for Spark 작업에 명시적으로 추가되는 외부 라이브러리 또는 패키지입니다.

    • 사용자 라이브러리는 편의 패키지에 포함되지 않는 외부 패키지입니다. 일부 .py 파일을 작성하고 압축한 다음 .zip 파일을 애플리케이션에 추가할 때처럼 사용자 라이브러리를 로드하고 설치해야 합니다.

  • Athena for Spark application(Athena for Spark 애플리케이션)은 Athena for Spark에 제출되는 작업 또는 쿼리입니다.

수명 주기 관리

다음 섹션에서는 Athena for Spark에서 사용되는 런타임 및 편의 패키지와 관련된 버전 관리 및 지원 중단 정책을 설명합니다.

런타임 버전 관리 및 지원 중단

Athena 런타임의 주요 구성 요소는 Python 인터프리터입니다. Python은 진화하는 언어이므로 새 버전이 정기적으로 릴리스되고 이전 버전에 대한 지원이 제거됩니다. 더 이상 사용되지 않는 Python 인터프리터 버전으로 프로그램을 실행하는 대신 가능하면 최신 Athena 런타임을 사용하는 것이 좋습니다.

Athena 런타임 지원 중단 일정은 다음과 같습니다.

  1. Athena는 새 런타임을 제공한 이후에 6개월 동안 이전 런타임을 계속 지원합니다. 이 기간 동안 이전 런타임에 대한 보안 패치 및 업데이트를 적용합니다.

  2. 6개월 후에는 이전 런타임에 대한 지원을 종료합니다. 이 경우 이전 런타임에 대한 보안 패치 및 기타 업데이트를 더 이상 적용하지 않습니다. 이전 런타임을 사용하는 Spark 애플리케이션은 더 이상 기술 지원을 받을 수 없습니다.

  3. 12개월 후에는 이전 런타임을 사용하는 작업 그룹에서 더 이상 Spark 애플리케이션을 업데이트하거나 편집할 수 없습니다. 이 기간이 끝나기 전에 Spark 애플리케이션을 업데이트하는 것이 좋습니다. 이 기간이 끝난 후에도 기존 노트북을 계속 실행할 수 있지만, 노트북에서 이전 런타임을 계속 사용할 경우 해당 효과에 대한 경고가 기록됩니다.

  4. 18개월 후에는 이전 런타임을 사용하여 작업 그룹에서 더 이상 작업을 실행할 수 없습니다.

편의 패키지 버전 관리 및 지원 중단

편의 패키지의 내용은 시간이 지남에 따라 변경됩니다. Athena 때때로 이러한 편의 패키지를 추가, 제거 또는 업그레이드합니다.

Athena는 편의 패키지에 대해 다음 지침을 사용합니다.

  • 편의 패키지에는 1, 2, 3과 같은 간단한 버전 관리 체계가 있습니다.

  • 각 편의 패키지 버전에는 특정 버전의 외부 패키지가 포함되어 있습니다. Athena에서 편의 패키지를 생성한 후에는 편의 패키지의 외부 패키지 세트와 해당 버전이 변경되지 않습니다.

  • Athena는 새 외부 패키지를 포함하거나, 외부 패키지를 제거하거나, 하나 이상의 외부 패키지 버전을 업그레이드할 때 새 편의 패키지 버전을 생성합니다.

Athena는 패키지에서 사용되는 Athena 런타임 지원을 중단할 때 편의 패키지 지원을 중단합니다. Athena는 지원하는 번들 수를 제한하기 위해 패키지 지원을 더 빨리 중단할 수 있습니다.

편의 패키지 지원 중단 일정은 Athena 런타임 지원 중단 일정을 따릅니다.