Fichier de configuration

Amazon SageMaker Python SDK prend en charge la définition de valeurs par défaut pour les types primitifs d' AWS infrastructure. Une fois que les administrateurs ont configuré ces valeurs par défaut, elles sont automatiquement transmises lorsque les SDK appels SageMaker Python sont pris en chargeAPIs. Les arguments de la fonction décorateur peuvent être placés dans les fichiers de configuration. Cela vous permet de séparer les paramètres liés à l'infrastructure de la base de code. Pour plus d'informations sur des paramètres ou des arguments de la fonction distante et des méthodes, consultez Spécification des classes et méthodes de fonctions distantes (langue française non garantie).

Vous pouvez définir les paramètres d'infrastructure pour la configuration réseau, IAM les rôles, le dossier Amazon S3 pour les données d'entrée, de sortie et les balises dans le fichier de configuration. Le fichier de configuration peut être utilisé lors de l'appel d'une fonction à l'aide du décorateur @remote ou du. RemoteExecutor API

Voici un exemple de fichier de configuration qui définit les dépendances, les ressources et les autres arguments. Cet exemple de fichier de configuration est utilisé pour invoquer une fonction initiée soit à l'aide du décorateur @remote, soit du RemoteExecutor API.

SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        Dependencies: 'path/to/requirements.txt'
        EnableInterContainerTrafficEncryption: true
        EnvironmentVariables: {'EnvVarKey': 'EnvVarValue'}
        ImageUri: '366666666666.dkr.ecr.us-west-2.amazonaws.com/my-image:latest'
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns:
          - "*.ipynb"
          - "data"
        InstanceType: 'ml.m5.large'
        JobCondaEnvironment: 'your_conda_env'
        PreExecutionCommands:
            - 'command_1'
            - 'command_2'
        PreExecutionScript: 'path/to/script.sh'
        RoleArn: 'arn:aws:iam::366666666666:role/MyRole'
        S3KmsKeyId: 'yourkmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project'
        VpcConfig:
            SecurityGroupIds: 
            - 'sg123'
            Subnets: 
            - 'subnet-1234'
        Tags: [{'Key': 'yourTagKey', 'Value':'yourTagValue'}]
        VolumeKmsKeyId: 'yourkmskeyid'

Le décorateur @remote et RemoteExecutor chercheront Dependencies dans les fichiers de configuration suivants :

Les emplacements par défaut de ces fichiers de configuration dépendent de votre environnement et y sont relatifs. L'exemple de code suivant renvoie l'emplacement par défaut de vos fichiers de configuration administrateur et utilisateur. Ces commandes doivent être exécutées dans le même environnement que celui dans lequel vous utilisez le SageMaker PythonSDK.

import os
from platformdirs import site_config_dir, user_config_dir

#Prints the location of the admin config file
print(os.path.join(site_config_dir("sagemaker"), "config.yaml"))

#Prints the location of the user config file
print(os.path.join(user_config_dir("sagemaker"), "config.yaml"))

Vous pouvez remplacer les emplacements par défaut de ces fichiers en définissant les variables d'environnement SAGEMAKER_ADMIN_CONFIG_OVERRIDE et SAGEMAKER_USER_CONFIG_OVERRIDE pour les chemins des fichiers de configuration définis par l'administrateur et définis par l'utilisateur, respectivement.

Si une clé existe à la fois dans les fichiers de configuration définis par l'administrateur et dans les fichiers de configuration définis par l'utilisateur, la valeur du fichier défini par l'utilisateur sera utilisée.