EMR Serverless에서 Python 라이브러리 사용

Python 가상 환경을 빌드하려면 다음 명령을 사용합니다. 표시된 예제에서는 scipy 및 matplotlib 패키지를 가상 환경 패키지에 설치하고 아카이브를 Amazon S3 위치에 복사합니다.

# initialize a python virtual environment
python3 -m venv pyspark_venvsource
source pyspark_venvsource/bin/activate

# optionally, ensure pip is up-to-date
pip3 install --upgrade pip

# install the python packages
pip3 install scipy
pip3 install matplotlib

# package the virtual environment into an archive
pip3 install venv-pack
venv-pack -f -o pyspark_venv.tar.gz

# copy the archive to an S3 location
aws s3 cp pyspark_venv.tar.gz s3://amzn-s3-demo-bucket/EXAMPLE-PREFIX/

# optionally, remove the virtual environment directory
rm -fr pyspark_venvsource

Python 가상 환경을 사용하도록 속성이 설정된 Spark 작업을 제출합니다.

--conf spark.archives=s3://amzn-s3-demo-bucket/EXAMPLE-PREFIX/pyspark_venv.tar.gz#environment 
--conf spark.emr-serverless.driverEnv.PYSPARK_DRIVER_PYTHON=./environment/bin/python
--conf spark.emr-serverless.driverEnv.PYSPARK_PYTHON=./environment/bin/python 
--conf spark.executorEnv.PYSPARK_PYTHON=./environment/bin/python

원래 Python 바이너리를 재정의하지 않으면 이전 설정 시퀀스의 두 번째 구성은 --conf spark.executorEnv.PYSPARK_PYTHON=python입니다.

PySpark 작업에 대해 Python 가상 환경을 사용하는 방법에 대한 자세한 내용은 Using Virtualenv를 참조하세요. Spark 작업을 제출하는 방법에 대한 자세한 예제는 EMR 서버리스 작업을 실행할 때 Spark 구성 사용 섹션을 참조하세요.