SageMaker Python を使用してデータ入力モードを設定する SDK - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker Python を使用してデータ入力モードを設定する SDK

SageMaker Python SDKは、トレーニングジョブを起動するための ML フレームワークの汎用 Estimator クラスとそのバリエーションを提供します。 https://sagemaker.readthedocs.io/en/stable/frameworks/index.htmlクラスまたは Estimator.fit メソッドの設定 SageMaker Estimator中に、いずれかのデータ入力モードを指定できます。以下のコードテンプレートは、入力モードを指定する 2 つの方法を示しています。

Estimator クラスを使用して入力モードを指定するには

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

詳細については、SageMaker Python SDKドキュメントの「sagemaker.estimator.Estimator クラス」を参照してください。

estimator.fit()メソッドを使用して入力モードを指定するには

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

詳細については、SageMaker Python SDKドキュメントの「sagemaker.estimator.Estimator.fit クラスメソッド」と「sagemaker.inputs.TrainingInput クラス」を参照してください。

ヒント

SageMaker Python SDK推定器を使用して Amazon FSx for Lustre または Amazon VPCを構成EFSで設定する方法の詳細については、SageMaker Python SDKドキュメントの「トレーニング入力としてファイルシステムを使用する」を参照してください。

ヒント

Amazon S3、Amazon 、および FSx for Lustre とのデータ入力モード統合はEFS、ベストプラクティスに合わせてデータソースを最適に設定する推奨方法です。 SageMaker マネージドストレージオプションと入力モードを使用して、データのロードパフォーマンスを戦略的に向上させることができますが、厳密に制限はありません。独自のデータ読み取りロジックをトレーニングコンテナに直接記述できます。例えば、別のデータソースから読み込むように設定したり、独自の S3 データローダークラスを作成したり、トレーニングスクリプト内でサードパーティフレームワークのデータロード機能を使用したりできます。ただし、認識できる SageMaker適切なパスを指定する必要があります。

ヒント

カスタムトレーニングコンテナを使用する場合は、トレーニングジョブの環境のセットアップに役立つ SageMaker トレーニングSageMaker ツールキットをインストールしてください。それ以外の場合は、Dockerfile の環境変数を明示的に指定する必要があります。詳細については、「Create a container with your own algorithms and models」を参照してください。

低レベル を使用してデータ入力モードを設定する方法の詳細については SageMaker APIs、「」のAmazon SageMaker がトレーニング情報を提供する方法「」、API「」、TrainingInputModeCreateTrainingJob「」を参照してくださいAlgorithmSpecification。