Desativar o cache de etapas

Uma etapa do pipeline não será executada novamente se você alterar algum atributo que não esteja listado em Atributos de chave de cache padrão por tipo de etapa do pipeline como seu tipo de etapa. No entanto, você pode decidir que deseja que a etapa do pipeline seja executada novamente de qualquer maneira. Nesse caso, você precisa desativar o cache de etapas.

Para desativar o armazenamento em cache de etapas, defina o Enabled atributo na propriedade CacheConfig da definição da etapa como false, conforme mostrado no seguinte trecho de código:

{
    "CacheConfig": {
        "Enabled": false,
        "ExpireAfter": "<time>"
    }
}

Observe que o atributo ExpireAfter é ignorado quando Enabled é false.

Para desativar o armazenamento em cache de uma etapa do pipeline usando o SDK do Amazon SageMaker Python, defina o pipeline da etapa do pipeline, desative enable_caching a propriedade e atualize o pipeline.

Depois de executá-lo novamente, o seguinte exemplo de código desativa o armazenamento em cache para uma etapa de treinamento:

from sagemaker.workflow.pipeline_context import PipelineSession
from sagemaker.workflow.steps import CacheConfig
from sagemaker.workflow.pipeline import Pipeline

cache_config = CacheConfig(enable_caching=False, expire_after="PT1H")
estimator = Estimator(..., sagemaker_session=PipelineSession())

step_train = TrainingStep(
    name="TrainAbaloneModel",
    step_args=estimator.fit(inputs=inputs),
    cache_config=cache_config
)

# define pipeline
pipeline = Pipeline(
    steps=[step_train]
)

# update the pipeline
pipeline.update()
# or, call upsert() to update the pipeline
# pipeline.upsert()

Como alternativa, desative a propriedade enable_caching depois de já ter definido o pipeline, permitindo a execução contínua de um código. O seguinte exemplo de código demonstra essa solução:

# turn off caching for the training step
pipeline.steps[0].cache_config.enable_caching = False

# update the pipeline
pipeline.update()
# or, call upsert() to update the pipeline
# pipeline.upsert()

Para exemplos de código mais detalhados e uma discussão sobre como os parâmetros do SDK do Python afetam o armazenamento em cache, consulte Configuração de cache na documentação do SDK do Amazon Python. SageMaker