Como usar o TensorFlow algoritmo SageMaker de Classificação de Imagens - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como usar o TensorFlow algoritmo SageMaker de Classificação de Imagens

Você pode usar o Image Classification - TensorFlow como um algoritmo SageMaker integrado da Amazon. A seção a seguir descreve como usar a Classificação de Imagens - TensorFlow com o SageMaker PythonSDK. Para obter informações sobre como usar a classificação de imagens — TensorFlow da interface do usuário do Amazon SageMaker Studio Classic, consulteSageMaker JumpStart modelos pré-treinados.

O TensorFlow algoritmo de classificação de imagens oferece suporte ao aprendizado por transferência usando qualquer um dos modelos de TensorFlow Hub pré-treinados compatíveis. Para obter uma lista de todos os modelos pré-treinados disponíveis, consulte TensorFlow Modelos de hub. Cada modelo pré-treinado tem um model_id exclusivo. O exemplo a seguir usa MobileNet V2 1.00 224 (model_id:tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4) para ajustar um conjunto de dados personalizado. Os modelos pré-treinados são todos pré-baixados do TensorFlow Hub e armazenados em buckets do Amazon S3 para que os trabalhos de treinamento possam ser executados isoladamente na rede. Use esses artefatos de treinamento de modelo pré-gerados para construir um SageMaker Estimador.

Primeiro, recupere a imagem do DockerURI, o script URI de treinamento e o modelo pré-treinado. URI Em seguida, altere os hiperparâmetros conforme desejar. Você pode ver um dicionário Python de todos os hiperparâmetros disponíveis e seus valores padrão com hyperparameters.retrieve_default. Para obter mais informações, consulte Classificação de imagens - TensorFlow Hiperparâmetros. Use esses valores para construir um SageMaker estimador.

nota

Os valores padrão dos hiperparâmetros são diferentes para modelos diferentes. Para modelos maiores, o tamanho padrão do lote é menor e o hiperparâmetro train_only_top_layer está definido como "True".

Este exemplo usa o conjunto de dados tf_flowers, que contém cinco classes de imagens de flores. Nós pré-baixamos o conjunto de dados TensorFlow sob a licença Apache 2.0 e o disponibilizamos com o Amazon S3. Para ajustar seu modelo, chame .fit usando a localização do Amazon S3 do seu conjunto de dados de treinamento.

from sagemaker import image_uris, model_uris, script_uris, hyperparameters from sagemaker.estimator import Estimator model_id, model_version = "tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4", "*" training_instance_type = "ml.p3.2xlarge" # Retrieve the Docker image train_image_uri = image_uris.retrieve(model_id=model_id,model_version=model_version,image_scope="training",instance_type=training_instance_type,region=None,framework=None) # Retrieve the training script train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training") # Retrieve the pretrained model tarball for transfer learning train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training") # Retrieve the default hyper-parameters for fine-tuning the model hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # [Optional] Override default hyperparameters with custom values hyperparameters["epochs"] = "5" # The sample training data is available in the following S3 bucket training_data_bucket = f"jumpstart-cache-prod-{aws_region}" training_data_prefix = "training-datasets/tf_flowers/" training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}" output_bucket = sess.default_bucket() output_prefix = "jumpstart-example-ic-training" s3_output_location = f"s3://{output_bucket}/{output_prefix}/output" # Create SageMaker Estimator instance tf_ic_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location, ) # Use S3 path of the training data to launch SageMaker TrainingJob tf_ic_estimator.fit({"training": training_dataset_s3_path}, logs=True)