Wie benutzt man den SageMaker AI-Textklassifizierungsalgorithmus TensorFlow

Sie können die Textklassifizierung TensorFlow als integrierten Amazon SageMaker AI-Algorithmus verwenden. Im folgenden Abschnitt wird beschrieben, wie Sie die Textklassifizierung verwenden — TensorFlow mit dem SageMaker AI Python SDK. Informationen zur Verwendung der Textklassifizierung — TensorFlow von der Amazon SageMaker Studio Classic-Benutzeroberfläche aus — finden Sie unterSageMaker JumpStart vortrainierte Modelle.

Der TensorFlow Textklassifizierungsalgorithmus unterstützt Transferlernen unter Verwendung eines der kompatiblen, vortrainierten TensorFlow Modelle. Eine Liste aller verfügbaren vortrainierten Modelle finden Sie unter TensorFlow Hub-Modelle. Jedes vortrainierte Modell hat ein Unikat model_id. Im folgenden Beispiel wird BERT Base Uncased (model_id:tensorflow-tc-bert-en-uncased-L-12-H-768-A-12-2) zur Feinabstimmung eines benutzerdefinierten Datensatzes verwendet. Die vortrainierten Modelle werden alle vorab vom TensorFlow Hub heruntergeladen und in Amazon S3-Buckets gespeichert, sodass Trainingsjobs netzwerkisoliert ausgeführt werden können. Verwenden Sie diese vorgenerierten Modelltraining-Artefakte, um eine KI zu konstruieren. SageMaker ModelTrainer

Rufen Sie zunächst den Docker-Image-URI, den Trainingsskript-URI und den vortrainierten Modell-URI ab. Ändern Sie dann die Hyperparameter nach Bedarf. Sie können ein Python-Wörterbuch mit allen verfügbaren Hyperparametern und ihren Standardwerten mit hyperparameters.retrieve_default sehen. Weitere Informationen finden Sie unter Textklassifizierung — TensorFlow Hyperparameter. Verwenden Sie diese Werte, um eine SageMaker KI ModelTrainer zu konstruieren.

In diesem Beispiel wird der SST2Datensatz verwendet, der positive und negative Filmkritiken enthält. Wir haben den Datensatz vorab heruntergeladen und mit Amazon S3 verfügbar gemacht. Rufen Sie zur Feinabstimmung Ihres Modells an, .fit indem Sie den Amazon S3-Speicherort Ihres Trainingsdatensatzes verwenden. Jeder S3-Bucket, der in einem Notebook verwendet wird, muss sich in derselben AWS Region befinden wie die Notebook-Instance, die darauf zugreift.

from sagemaker.core import image_uris
from sagemaker.core import model_uris, script_uris, hyperparameters
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import InputData
from sagemaker.train.configs import SourceCode, Compute, StoppingCondition, OutputDataConfig

model_id, model_version = "tensorflow-tc-bert-en-uncased-L-12-H-768-A-12-2", "*"
training_instance_type = "ml.p3.2xlarge"

# Retrieve the Docker image
train_image_uri = image_uris.retrieve(model_id=model_id,model_version=model_version,image_scope="training",instance_type=training_instance_type,region=None,framework=None)

# Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training")

# Retrieve the pretrained model tarball for transfer learning
train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

# Retrieve the default hyperparameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)

# [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "5"

# Sample training data is available in this bucket
training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
training_data_prefix = "training-datasets/SST2/"

training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}"

output_bucket = sess.default_bucket()
output_prefix = "jumpstart-example-tc-training"
s3_output_location = f"s3://{output_bucket}/{output_prefix}/output"

# Create a ModelTrainer instance
tf_tc_model_trainer = ModelTrainer(
    role=aws_role,
    training_image=train_image_uri,
    source_code=SourceCode(source_dir=train_source_uri, entry_script="transfer_learning.py"),
    # In V3, pre-trained model artifacts are passed via input_data_config
    compute=Compute(instance_type=training_instance_type, instance_count=1),
    stopping_condition=StoppingCondition(max_runtime_in_seconds=360000),
    hyperparameters=hyperparameters,
    output_data_config=OutputDataConfig(s3_output_path=s3_output_location),
)

# Launch a training job
tf_tc_model_trainer.train(
    input_data_config=[
        InputData(channel_name="training", data_source=training_dataset_s3_path),
        InputData(channel_name="model", data_source=train_model_uri),
    ]
)

Weitere Informationen zur Verwendung des SageMaker TensorFlow Textklassifizierungsalgorithmus für Transfer Learning an einem benutzerdefinierten Datensatz finden Sie im Notizbuch Einführung in JumpStart — Textklassifizierung.