Personalize seu ambiente usando um gerenciador de pacotes - Amazon SageMaker

Personalize seu ambiente usando um gerenciador de pacotes

Use pip ou conda para personalizar seu ambiente. Recomendamos usar gerenciadores de pacotes em vez de scripts de configuração do ciclo de vida.

Crie e ative seu ambiente personalizado

Esta seção fornece exemplos de maneiras diferentes de configurar um ambiente no JupyterLab.

Um ambiente conda básico tem o número mínimo de pacotes necessários para seus fluxos de trabalho no SageMaker. Use o seguinte modelo para criar um ambiente conda básico:

# initialize conda for shell interaction conda init # create a new fresh environment conda create --name test-env # check if your new environment is created successfully conda info --envs # activate the new environment conda activate test-env # install packages in your new conda environment conda install pip boto3 pandas ipykernel # list all packages install in your new environment conda list # parse env name information from your new environment export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ') # register your new environment as Jupyter Kernel for execution python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)" # to exit your new environment conda deactivate

A imagem a seguir mostra a localização do ambiente que você criou.

O ambiente test-env é exibido no canto superior direito da tela.

Para alterar seu ambiente, escolha-o e selecione uma opção no menu suspenso.

A marca de seleção e o texto correspondente mostram um exemplo de ambiente que você criou anteriormente.

Escolha Selecionar para selecionar um kernel para o ambiente.

Crie um ambiente conda com uma versão específica do Python

Limpar ambientes conda que você não está usando pode ajudar a liberar espaço em disco e melhorar o desempenho. Use o seguinte modelo para limpar um ambiente conda:

# create a conda environment with a specific python version conda create --name py38-test-env python=3.8.10 # activate and test your new python version conda activate py38-test-env & python3 --version # Install ipykernel to facilicate env registration conda install ipykernel # parse env name information from your new environment export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ') # register your new environment as Jupyter Kernel for execution python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)" # deactivate your py38 test environment conda deactivate

Crie um ambiente conda com um conjunto específico de pacotes

Use o seguinte modelo para criar um ambiente conda com uma versão específica do Python e um conjunto de pacotes:

# prefill your conda environment with a set of packages, conda create --name py38-test-env python=3.8.10 pandas matplotlib=3.7 scipy ipykernel # activate your conda environment and ensure these packages exist conda activate py38-test-env # check if these packages exist conda list | grep -E 'pandas|matplotlib|scipy' # parse env name information from your new environment export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ') # register your new environment as Jupyter Kernel for execution python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)" # deactivate your conda environment conda deactivate

Clone conda de um ambiente existente

Clone seu ambiente conda para preservar seu estado de funcionamento. Você testa no ambiente clonado sem precisar se preocupar em introduzir alterações significativas em seu ambiente de teste.

Use o seguinte comando para clonar um ambiente:

# create a fresh env from a base environment conda create --name py310-base-ext --clone base # replace 'base' with another env # activate your conda environment and ensure these packages exist conda activate py310-base-ext # install ipykernel to register your env conda install ipykernel # parse env name information from your new environment export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ') # register your new environment as Jupyter Kernel for execution python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)" # deactivate your conda environment conda deactivate

Clone conda de um arquivo YAML de referência

Crie um ambiente conda a partir de um arquivo YAML de referência. A seguir, um exemplo de um arquivo YAML que você pode usar.

# anatomy of a reference environment.yml name: py311-new-env channels: - conda-forge dependencies: - python=3.11 - numpy - pandas - scipy - matplotlib - pip - ipykernel - pip: - git+https://github.com/huggingface/transformers

Em pip, recomendamos especificar apenas as dependências que não estão disponíveis com o conda.

Use os comandos a seguir para criar um ambiente conda a partir de um arquivo YAML.

# create your conda environment conda env create -f environment.yml # activate your env conda activate py311-new-env