TensorFlow 架構處理器 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

TensorFlow 架構處理器

TensorFlow 是開放原始碼機器學習和人工智慧程式庫。Amazon SageMaker Python TensorFlowProcessor中的 SDK可讓您使用 TensorFlow 指令碼執行處理任務。使用 時TensorFlowProcessor,您可以利用具有受管 TensorFlow 環境的 Amazon 建置 Docker 容器,這樣就不需要自帶容器。

下列程式碼範例說明如何使用 提供的 Docker 映像TensorFlowProcessor來執行處理任務,並由 維護 SageMaker。請注意,執行任務時,您可以在source_dir引數中指定包含指令碼和相依性的目錄,而且您可以在source_dir目錄中擁有一個requirements.txt檔案,用於指定處理指令碼的相依性 (這些)。 SageMaker 處理會在requirements.txt容器中為您安裝相依性。

from sagemaker.tensorflow import TensorFlowProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the TensorFlowProcessor tp = TensorFlowProcessor( framework_version='2.3', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-TF', py_version='py37' ) #Run the processing job tp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data' ), ProcessingInput( input_name='model', source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}', destination='/opt/ml/processing/input/model' ) ], outputs=[ ProcessingOutput( output_name='predictions', source='/opt/ml/processing/output', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] )

如果您有一個 requirements.txt 檔案,該檔案應該會是您要在容器中安裝的程式庫清單。的路徑source_dir可以是相對、絕對或 Amazon S3 URI 路徑。不過,如果您使用 Amazon S3 URI,則必須指向 tar.gz 檔案。您可以在為 source_dir 指定的目錄中擁有多個指令碼。若要進一步了解 TensorFlowProcessor類別,請參閱 Amazon SageMaker Python SDK中的TensorFlow 估算器