本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

存取訓練資料

建立訓練工作時，您可以指定訓練資料集的位置，以及存取資料集的輸入模式。對於數據位置，Amazon SageMaker 支持 Amazon 簡單存儲服務（Amazon S3），Amazon Elastic File System（亞馬遜 EFS）和 Amazon FSx for Lustre。輸入模式決定是否要即時串流資料集的資料檔案，或是在訓練工作開始時下載整個資料集。

SageMaker 輸入模式和 AWS 雲存儲

本節概述了 Amazon S3 的 SageMaker 輸入模式以及 Amazon EFS 和亞馬遜 FSx 中的文件系統的輸入模式。

使用開發套件選擇資料輸入模式 SageMaker

SageMaker Python SDK 提供了通用的估算器類和它的 ML 框架，用於啟動培訓工作的變化。您可以在配置 SageMaker Estimator類或方法時指定其中一種數據輸入模Estimator.fit式。下列程式碼範本顯示兩種指定輸入模式的方法。

使用估算器類別指定輸入模式

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://my-bucket/checkpoint-destination/',
    output_path='s3://my-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://my-bucket/my-data/train")
)

如需詳細資訊，請參閱 Python SDK 文件中的 SAGEMATOR 估算器類別。 SageMaker

透過估算器擬合方法指定輸入模式

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://my-bucket/checkpoint-destination/',
    output_path='s3://my-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://my-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

如需詳細資訊，請參閱 SAGEMATER 估算器. 預估器 .Fit 類別方法和下垂器. input。 TrainingInput開發套件文件中的SageMaker 類別。

有關如何使用低級 SageMaker API 設置數據輸入模式的更多信息Amazon 如何 SageMaker 提供培訓信息，請參閱，CreateTrainingJobAPI 和TrainingInputMode中AlgorithmSpecification的。

設定資料輸入通道以使用 Amazon FSx for Lustre

了解如何使用 Amazon FSx for Lustre 做為您的資料來源，藉由縮短資料載入的時間，提高輸送量並加快訓練。

同步 Amazon S3 和 Amazon FSx for Lustre

若要將您的 Amazon S3 連結至 Amazon FSx for Lustre 並上傳您的訓練資料集，請執行下列動作。

將 Amazon FSx 檔案系統路徑設定為用 SageMaker 於訓練的資料輸入通道

下列程序會引導您完成將 Amazon FSx 檔案系統設定為 SageMaker 訓練任務資料來源的程序。

Using the SageMaker Python SDK

若要將 Amazon FSx 檔案系統正確設定為資料來源，請設定 SageMaker估算器類別並FileSystemInput使用下列指示。

1. 配置一個 FileSystemInput 類對象。

   from sagemaker.inputs import FileSystemInput
   
   train_fs = FileSystemInput(
       file_system_id="fs-0123456789abcdef0",
       file_system_type="FSxLustre",
       directory_path="/1234abcd/ns1/",
       file_system_access_mode="ro",
   )

   提示

   當您指定 directory_path 時，請務必提供 Amazon FSx 檔案系統路徑，開頭為 MountName。

2. 使用用於 Amazon FSx 檔案系統的 VPC 人雲端組態來設定 SageMaker 估算器。

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       role="your-iam-role-with-access-to-your-fsx",
       subnets=["subnet-id"],  # Should be the same as the subnet used for Amazon FSx
       security_group_ids="security-group-id"
   )

3. 透過使用 Amazon FSx 檔案系統執行 estimator.fit 方法，啟動訓練任務。

   estimator.fit(train_fs)

若要尋找更多程式碼範例，請參閱 SageMaker Python SDK 文件中的使用檔案系統做為訓練輸入。

Using the SageMaker CreateTrainingJob API

作為CreateTrainingJob請求 JSON 的一部分，配置InputDataConfig如下。

"InputDataConfig": [ 
    { 
        "ChannelName": "string",
        "DataSource": { 
            "FileSystemDataSource": { 
                "DirectoryPath": "/1234abcd/ns1/",
                "FileSystemAccessMode": "ro",
                "FileSystemId": "fs-0123456789abcdef0",
                "FileSystemType": "FSxLustre"
            }
        }
    }
],

提示

當您指定 DirectoryPath 時，請務必提供 Amazon FSx 檔案系統路徑，開頭為 MountName。

設定 FSx for Lustre 的提示與考量事項

選擇資料來源和輸入模式的最佳實務

訓練工作的最佳資料來源取決於工作負載特性，例如資料集的大小、檔案格式、檔案平均大小、訓練持續時間、資料載入器讀取模式為循序或隨機，以及模型可以取用訓練資料的速度。下列最佳實務提供指南，讓您開始使用最適合您的使用案例的輸入模式和資料儲存。

何時使用 Amazon EFS

如果您的資料集儲存在 Amazon Elastic File System 中，您可能有使用 Amazon EFS 儲存的預處理或註釋應用程式。您可以執行訓練任務，設定指向 Amazon EFS 檔案系統的資料通道。如需詳細資訊，請參閱 SageMaker 使用 Amazon FSx 進行 Lustre 和 Amazon EFS 檔案系統的訓練速度。如果無法達成較佳效能，請按照 Amazon Elastic File System 效能指南查看最佳化選項，或考慮使用不同的輸入模式或資料儲存。

針對小型資料集使用檔案模式

如果資料集儲存在 Amazon Simple Storage Service 內，且資料集的總體磁碟區相對較小 (例如小於 50-100 GB)，請嘗試使用檔案模式。下載 50 GB 資料集的額外負荷，會因檔案的數量而有所不同。例如，如果將資料集分成 100 MB 的碎片，則大約需要 5 分鐘。這樣的啟動額外負荷是否可接受，主要取決於訓練工作的整體持續時間，因為較長的訓練階段意味著下載階段的佔比較低。

序列化許多小型檔案

如果您的資料集很小 (小於 50-100 GB)，但由許多小型檔案 (每個檔案少於 50 MB) 組成，則檔案模式下載額外負荷會增加，因為每個檔案都需要從 Amazon Simple Storage Service 分別下載到訓練執行個體磁碟區。若要減少這種額外負荷和資料遍歷時間，請考慮使用檔案格式 (例如，for 的 TFRecord for 和 RecordIO for MXNet)，將這類小型檔案的群組序列化為較少的較大檔案容器 (例如每個檔案 150 MB)。 TensorFlow WebDataset PyTorch

何時使用快速檔案模式

對於檔案較大 (每個檔案大於 50 MB) 的大型資料集，第一個選項是試用快速檔案模式，這比 FSx for Lustre 更容易使用，因為它不需要建立檔案系統或連線至 VPC。快速檔案模式非常適合大型檔案容器 (大於 150 MB)，並且對於大於 50 MB 的檔案也很適合。由於快速檔案模式提供 POSIX 介面，因此它支援隨機讀取 (讀取非循序位元範圍)。但是，這不是理想的使用案例，您的輸送量可能會低於循序讀取。不過，如果您有相對較大且運算強度高的機器學習 (ML) 模型，則快速檔案模式仍然可以使訓練管道的有效頻寬飽和，而不會造成 IO 瓶頸。您需要實驗看看。要從文件模式切換到快速文件模式（然後返回），只需在使用 SageMaker Python SDK 定義輸入通道時添加（或刪除）input_mode='FastFile'參數即可：

sagemaker.inputs.TrainingInput(S3_INPUT_FOLDER,  input_mode = 'FastFile')

何時使用 Amazon FSx for Lustre

如果您的資料集對於檔案模式而言太大、有許多您無法輕易序列化的小型檔案，或者使用隨機讀取存取權模式，FSx for Lustre 是一個不錯的選項。它的檔案系統可擴展至每秒數百 GB (GB/s) 的輸送量和數百萬 IOPS，這在您有許多小型檔案時非常理想。但是請注意，由於延遲載入以及設定、初始化 FSx for Lustre 檔案系統的額外負荷，可能會有冷啟動問題。

以屬性為基礎的存取控制 (ABAC)，適用於多租戶訓練

在多租戶環境中，確保每個租用戶的數據被隔離並且只有授權實體可以訪問至關重要。 SageMaker 支援使用以屬性為基礎的存取控制 (ABAC) 來實現訓練工作的隔離。您可以為所有租用戶使用相同的 IAM 角色，而不是為每個租用戶建立多個 IAM 角色，方法是設定工作階段鏈結組態，該設定使用 AWS Security Token Service (AWS STS) 工作階段標籤來請求臨時、有限權限的登入資料供訓練工作存取特定租用戶。如需工作階段標籤的詳細資訊，請參閱在中 AWS STS傳遞工作階段標籤

建立訓練工作時，您的工作階段鏈結組態會用 AWS STS 來要求暫時的安全性登入資料。此請求生成一個會話，該會話被標記。每個 SageMaker 訓練工作只能使用所有訓練工作共用的單一角色來存取特定承租人。透過使用工作階段鏈結實作 ABAC，您可以確保每個訓練工作只能存取工作階段標籤所指定的租用戶，進而有效地隔離並保護每個租用戶。以下部分將引導您完成使用 SageMaker Python SDK 設置和使用 ABAC 進行多租戶培訓工作隔離的步驟。

必要條件

若要開始使用 ABAC 進行多租戶訓練工作隔離，您必須具備下列項目：

建立啟用階段作業標籤鏈結的訓練工作

下列程序說明如何使用 SageMaker Python SDK 建立具有工作階段標籤鏈結的訓練工作，以進行具有 ABAC 功能的多租戶訓練。

SageMaker 只能讀取訓練工作要求中提供的標籤，且不會代表您將任何標籤新增至資源。

ABAC 用於 SageMaker 培訓與 SageMaker 託管溫池兼容。若要將 ABAC 與暖池搭配使用，相符的訓練工作必須具有相同的工作階段標記。如需更多詳細資訊，請參閱 符合的訓練任務。