SageMaker AI 텍스트 분류 - TensorFlow 알고리즘을 사용하는 방법

텍스트 분류 - TensorFlow를 Amazon SageMaker AI 기본 제공 알고리즘으로 사용할 수 있습니다. 다음 섹션에서는 SageMaker AI Python SDK와 함께 텍스트 분류 - TensorFlow를 사용하는 방법을 설명합니다. Amazon SageMaker Studio Classic UI로 텍스트 분류 - TensorFlow를 사용하는 방법에 대한 자세한 내용은 SageMaker JumpStart 사전 훈련된 모델 섹션을 참조하세요.

텍스트 분류 - TensorFlow 알고리즘은 호환 가능한 사전 훈련 TensorFlow 모델을 사용하여 전이 학습을 지원합니다. 사용 가능한 모든 사전 훈련 모델의 목록은 TensorFlow Hub Models를 참조하세요. 모든 사전 훈련 모델에는 고유한 model_id가 있습니다. 다음 예제에서는 BERT Base Uncased(model_id: tensorflow-tc-bert-en-uncased-L-12-H-768-A-12-2)를 사용하여 사용자 지정 데이터세트에 대해 미세 조정을 수행합니다. 사전 훈련 모델 모두 TensorFlow Hub에서 사전 다운로드되고 Amazon S3 버킷에 저장되므로, 네트워크 격리 상태에서 훈련 작업을 실행할 수 있습니다. 이러한 사전 생성된 모델 훈련 아티팩트를 사용하여 SageMaker AI 예측기를 구성합니다.

먼저 도커 이미지 URI, 훈련 스크립트 URI, 사전 훈련 모델 URI를 검색하세요. 그런 다음 상황에 맞게 하이퍼파라미터를 변경하세요. hyperparameters.retrieve_default를 사용하면 모든 가용 하이퍼파라미터와 해당 하이퍼파라미터의 기본값으로 구성된 Python 사전을 볼 수 있습니다. 자세한 내용은 텍스트 분류 - TensorFlow 하이퍼파라미터 단원을 참조하십시오. 이 값을 사용하여 SageMaker AI 예측기를 구성합니다.

이 예제에서는 긍정적인 영화 리뷰와 부정적인 영화 리뷰가 포함된 SST2 데이터세트를 사용합니다. 데이터세트를 사전 다운로드하여 Amazon S3로 사용할 수 있도록 했습니다. 모델을 미세 조정하려면 훈련 데이터세트의 Amazon S3 위치를 이용하여 .fit를 호출하세요. 노트북에 사용되는 모든 S3 버킷은 노트북 인스턴스에 액세스하는 노트북 인스턴스와 동일한 AWS 리전에 있어야 합니다.

from sagemaker import image_uris, model_uris, script_uris, hyperparameters
from sagemaker.estimator import Estimator

model_id, model_version = "tensorflow-tc-bert-en-uncased-L-12-H-768-A-12-2", "*"
training_instance_type = "ml.p3.2xlarge"

# Retrieve the Docker image
train_image_uri = image_uris.retrieve(model_id=model_id,model_version=model_version,image_scope="training",instance_type=training_instance_type,region=None,framework=None)

# Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training")

# Retrieve the pretrained model tarball for transfer learning
train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

# Retrieve the default hyperparameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)

# [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "5"

# Sample training data is available in this bucket
training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
training_data_prefix = "training-datasets/SST2/"

training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}"

output_bucket = sess.default_bucket()
output_prefix = "jumpstart-example-tc-training"
s3_output_location = f"s3://{output_bucket}/{output_prefix}/output"

# Create an Estimator instance
tf_tc_estimator = Estimator(
    role=aws_role,
    image_uri=train_image_uri,
    source_dir=train_source_uri,
    model_uri=train_model_uri,
    entry_point="transfer_learning.py",
    instance_count=1,
    instance_type=training_instance_type,
    max_run=360000,
    hyperparameters=hyperparameters,
    output_path=s3_output_location,
)

# Launch a training job
tf_tc_estimator.fit({"training": training_dataset_s3_path}, logs=True)

사용자 지정 데이터세트로 SageMaker 텍스트 분류 - TensorFlow 알고리즘을 전이 학습에 사용하는 방법에 대한 자세한 내용은 JumpStart 소개 - 텍스트 분류 노트북을 참조하세요.