Configure o Debugger para o término automatizado do trabalho de treinamento usando o Lambda CloudWatch

Abra o AWS Lambda console em https://console.aws.amazon.com/lambda/.

No painel de navegação, escolha Funções e escolha Criar função.

Na página Criar função, escolha a opção Criar do zero.

Na seção Informações básicas, insira um nome de função (por exemplo, debugger-rule-stop-training-job).

Em Runtime (Tempo de execução), selecione Python 3.7.

Em Permissões, expanda a opção suspensa e escolha Alterar função de execução padrão.

Em Função de execução, escolha Usar uma função existente e escolha a IAM função que você usa para treinar trabalhos SageMaker.

import sagemaker
sagemaker.get_execution_role()

Na parte inferior da página, selecione Create function.

Na seção Código da função da página de configuração, cole o seguinte script Python no painel do editor de código Lambda. A lambda_handler função monitora o status de avaliação da regra do Debugger coletado CloudWatch e aciona a operação. StopTrainingJob API O AWS SDK for Python (Boto3) client for SageMaker fornece um método de alto nível,stop_training_job, que aciona a operação. StopTrainingJob API

import json
import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    training_job_name = event.get("detail").get("TrainingJobName")
    logging.info(f'Evaluating Debugger rules for training job: {training_job_name}')
    eval_statuses = event.get("detail").get("DebugRuleEvaluationStatuses", None)

    if eval_statuses is None or len(eval_statuses) == 0:
        logging.info("Couldn't find any debug rule statuses, skipping...")
        return {
            'statusCode': 200,
            'body': json.dumps('Nothing to do')
        }

    # should only attempt stopping jobs with InProgress status
    training_job_status = event.get("detail").get("TrainingJobStatus", None)
    if training_job_status != 'InProgress':
        logging.debug(f"Current Training job status({training_job_status}) is not 'InProgress'. Exiting")
        return {
            'statusCode': 200,
            'body': json.dumps('Nothing to do')
        }

    client = boto3.client('sagemaker')

    for status in eval_statuses:
        logging.info(status.get("RuleEvaluationStatus") + ', RuleEvaluationStatus=' + str(status))
        if status.get("RuleEvaluationStatus") == "IssuesFound":
            secondary_status = event.get("detail").get("SecondaryStatus", None)
            logging.info(
                f'About to stop training job, since evaluation of rule configuration {status.get("RuleConfigurationName")} resulted in "IssuesFound". ' +
                f'\ntraining job "{training_job_name}" status is "{training_job_status}", secondary status is "{secondary_status}"' +
                f'\nAttempting to stop training job "{training_job_name}"'
            )
            try:
                client.stop_training_job(
                    TrainingJobName=training_job_name
                )
            except Exception as e:
                logging.error(
                    "Encountered error while trying to "
                    "stop training job {}: {}".format(
                        training_job_name, str(e)
                    )
                )
                raise e
    return None

Para obter mais informações sobre a interface do editor de código Lambda, consulte Criação de funções usando o editor do console AWS Lambda.

Ignore todas as outras configurações e escolha Salvar na parte superior da página de configuração.

Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

No painel de navegação esquerdo, escolha Regras no nó Eventos.

Escolha Criar Regra.

Na seção Origem do evento da página Etapa 1: Criar regra, escolha SageMakerNome do serviço e escolha SageMakerTraining Job State Change para Tipo de evento. A visualização do padrão de eventos deve ter a aparência das seguintes JSON sequências de caracteres de exemplo:

{
    "source": [
        "aws.sagemaker"
    ],
    "detail-type": [
        "SageMaker Training Job State Change"
    ]
}

Na seção Targets, escolha Add target* e escolha a função debugger-rule-stop-training-job Lambda que você criou. Essa etapa vincula a regra de CloudWatch Eventos à função Lambda.

Escolha Configurar detalhes e vá para a página Etapa 2: configurar detalhes da regra.

Especifique o nome da definição da CloudWatch regra. Por exemplo, debugger-cw-event-rule.

Escolha Criar regra para concluir.

Volte para a página de configuração da função do Lambda e atualize a página. Confirme se está configurado corretamente no painel Designer. A regra de CloudWatch eventos deve ser registrada como um gatilho para a função Lambda. O design da configuração deve ser semelhante ao exemplo a seguir: