커널과 라이브러리 설치 및 사용

Python3 커널의 경우 노트북 셀 내에서 %pip 매직을 명령으로 실행하여 Python 라이브러리를 설치합니다.

%pip install pmdarima

업데이트된 패키지를 사용하려면 커널을 다시 시작해야 할 수 있습니다. %%sh Spark 매직을 사용하여 pip를 간접 호출할 수도 있습니다.

%%sh
/emr/notebook-env/bin/pip install -U matplotlib
/emr/notebook-env/bin/pip install -U pmdarima

PySpark 커널을 사용하는 경우 pip 명령을 사용하여 클러스터에 라이브러리를 설치하거나 노트북 내에서 노트북 범위의 라이브러리를 사용할 수 있습니다. PySpark

터미널에서 클러스터에서 pip 명령을 실행하려면 먼저 다음 명령에서 볼 수 있듯이 를 사용하여 SSH 기본 노드에 연결합니다.

sudo pip3 install -U matplotlib
sudo pip3 install -U pmdarima

또는 노트북 범위 라이브러리를 사용할 수 있습니다. 노트북 범위 라이브러리의 경우 라이브러리 설치는 세션 범위로 제한되며 모든 Spark 실행기에서 실행됩니다. 자세한 내용은 노트북 범위 라이브러리 사용을 참조하세요.

PySpark 커널 내에 여러 Python 라이브러리를 패키징하려는 경우 격리된 Python 가상 환경을 만들 수도 있습니다. 예제는 Using Virtualenv를 참조하세요.

세션에서 Python 가상 환경을 생성하려면 다음 예제와 같이 노트북의 첫 번째 셀에 있는 %%configure 매직 명령의 Spark 속성 spark.yarn.dist.archives를 사용합니다.

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://DOC-EXAMPLE-BUCKET/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

마찬가지로 Spark 실행기 환경을 생성할 수 있습니다.

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.executorEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://DOC-EXAMPLE-BUCKET/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

conda를 사용하여 Python 라이브러리를 설치할 수도 있습니다. sudo 액세스 권한이 없어도 conda를 사용할 수 있습니다. 를 사용하여 기본 노드에 연결한 다음 conda 터미널에서 실행해야 합니다. SSH 자세한 내용은 를 사용하여 기본 노드에 연결 SSH 단원을 참조하십시오.

다음 예제에서는 클러스터의 프라이머리 노드에 연결된 상태에서 터미널 명령을 사용하여 Kotlin 커널을 설치하는 방법을 보여줍니다.

sudo /emr/notebook-env/bin/conda install kotlin-jupyter-kernel -c jetbrains

다음 명령은 현재 Spark 노트북 세션에 사용 가능한 Python 패키지를 나열합니다. 클러스터 및 노트북 범위의 라이브러리에 설치된 라이브러리가 나열됩니다.

sc.list_packages()

다음 명령은 Celery 라이브러리를 노트북 범위의 라이브러리로 설치합니다.

sc.install_pypi_package("celery")

라이브러리를 설치한 후, 다음 명령은 라이브러리가 Spark 드라이버 및 실행기에서 사용 가능한지 확인합니다.

import celery
sc.range(1,10000,1,100).map(lambda x: celery.__version__).collect()

다음 명령은 라이브러리 버전 및 리포지토리의 사양에 따라 Arrow 라이브러리를 노트북 범위 라이브러리로 설치합니다. URL

sc.install_pypi_package("arrow==0.14.0", "https://pypi.org/simple")

다음 명령은 Arrow 라이브러리를 제거하여 현재 세션에서 노트북 범위의 라이브러리를 제거합니다.

sc.uninstall_package("arrow")