SageMaker スマートふるい分け Python SDKリファレンス - Amazon SageMaker
SageMaker スマートふるい分け設定モジュールSageMaker スマートふるい分けデータバッチ変換モジュールSageMaker スマートふるい分け損失実装モジュールSageMaker スマートふるい分けデータローダーラッパーモジュール

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker スマートふるい分け Python SDKリファレンス

このページでは、トレーニングスクリプトに SageMaker スマートふるい分けを適用するために必要な Python モジュールのリファレンスを提供します。

SageMaker スマートふるい分け設定モジュール

class smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()

SageMaker スマートふるい分け設定クラス。

パラメータ

  • beta_value (浮動小数点) – ベータ (定数) 値。これは、損失値履歴の損失のパーセンタイルに基づいて、トレーニング用のサンプルを選択する確率を計算するために使用されます。ベータ値を下げると、篩過されるデータの割合が低くなり、それを上げると篩過されるデータの割合が高くなります。ベータ値には、正の値以外は最小値または最大値はありません。次のリファレンステーブルは、 に関するレートをふるい分けるための情報を示していますbeta_value。

    beta_value 保持されるデータの割合 (%) 除外されたデータの割合 (%)
    0.1 90.91 9.01
    0.25 80 20
    0.5 66.67 33.33
    1 50 50
    2 33.33 66.67
    3 25 75
    10 9.09 90.92
    100 0.99 99.01

  • loss_history_length (int) – 相対しきい値損失ベースのサンプリング用に保存する以前のトレーニング損失の数。

  • loss_based_sift_config (dict または LossConfig オブジェクト) — SageMaker スマートふるい分け損失インターフェイス設定を返すLossConfigオブジェクトを指定します。

class smart_sifting.sift_config.sift_configs.LossConfig()

クラス の loss_based_sift_configパラメータの設定RelativeProbabilisticSiftConfigクラス。

パラメータ

  • sift_config (dict または SiftingBaseConfig オブジェクト) — ふるい分けベース設定ディクショナリを返すSiftingBaseConfigオブジェクトを指定します。

class smart_sifting.sift_config.sift_configs.SiftingBaseConfig()

の sift_configパラメータの設定クラスLossConfig。

パラメータ

  • sift_delay (int) – ふるい分けを開始する前に待機するトレーニングステップの数。モデル内のすべてのレイヤーがトレーニングデータを十分に把握した後、ふるい分けを開始することをお勧めします。デフォルト値は 1000 です。

  • repeat_delay_per_epoch (bool) – エポックごとにふるい分けを遅らせるかどうかを指定します。デフォルト値は False です。

SageMaker スマートふるい分けデータバッチ変換モジュール

class smart_sifting.data_model.data_model_interface.SiftingBatchTransform

バッチ変換の実行方法を定義するための SageMaker スマートふるい分け Python モジュール。これを使用して、トレーニングデータのデータ形式を SiftingBatch 形式に変換するバッチ変換クラスを設定できます。 SageMaker スマートふるい分けは、この形式のデータをふるい分けバッチにサイフトして蓄積できます。

class smart_sifting.data_model.data_model_interface.SiftingBatch

ふるい分けと蓄積が可能なバッチデータ型を定義するインターフェイス。

class smart_sifting.data_model.list_batch.ListBatch

ふるい分け用のリストバッチを追跡するためのモジュール。

class smart_sifting.data_model.tensor_batch.TensorBatch

ふるい分け用のテンソルバッチを追跡するためのモジュール。

SageMaker スマートふるい分け損失実装モジュール

class smart_sifting.loss.abstract_sift_loss_module.Loss

SageMaker スマートふるい分けインターフェイスを PyTorchベースのモデルの損失関数に登録するためのラッパーモジュール。

SageMaker スマートふるい分けデータローダーラッパーモジュール

class smart_sifting.dataloader.sift_dataloader.SiftingDataloader

スマート SageMaker ふるい分けインターフェイスを PyTorchベースのモデルのデータローダーに登録するためのラッパーモジュール。

Main Sifting Dataloader イテレータは、sift 設定に基づいて、データローダーからトレーニングサンプルをふるい分けます。

パラメータ

  • sift_config (dict または RelativeProbabilisticSiftConfig オブジェクト) – RelativeProbabilisticSiftConfig オブジェクト。

  • orig_dataloader ( PyTorch DataLoader オブジェクト) — ラップする PyTorch Dataloader オブジェクトを指定します。

  • batch_transforms (SiftingBatchTransformオブジェクト) – (オプション) データ形式が SageMaker スマートふるい分けライブラリのデフォルト変換でサポートされていない場合は、 SiftingBatchTransform モジュールを使用してバッチ変換クラスを作成する必要があります。このパラメータは、バッチ変換クラスを渡すために使用されます。このクラスはSiftingDataloader、 SageMaker スマートふるい分けアルゴリズムが受け入れることができる形式にデータを変換するために使用されます。

  • model ( PyTorch モデルオブジェクト) – 元の PyTorchモデル

  • loss_impl ( のふるい分け損失関数smart_sifting.loss.abstract_sift_loss_module.Loss) – Lossモジュールで設定され、損失関数をラップするふるい分け PyTorch 損失関数。

  • log_batch_data (bool) – バッチデータをログに記録するかどうかを指定します。に設定するとTrue、 SageMaker スマートふるい分けは、保持またはふるい分けされたバッチの詳細を記録します。パイロットトレーニングジョブでのみオンにすることをお勧めします。ログ記録がオンになると、サンプルは にロードGPUされCPU、 に転送されます。これによりオーバーヘッドが発生します。デフォルト値は False です。