Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen von Datensatz-Metadaten für Trainingsaufträge mit einer erweiterten Manifestdatei

Um Metadaten zu Ihrem Datensatz in einem Trainingsauftrag hinzuzufügen, verwenden Sie eine erweiterte Manifestdatei. Wenn Sie eine erweiterte Manifestdatei verwenden, muss Ihr Datensatz im Amazon Simple Storage Service (Amazon S3) gespeichert sein, und Sie müssen Ihren Trainingsauftrag so konfigurieren, dass er den dort gespeicherten Datensatz verwendet. Sie geben den Speicherort und das Format dieses Datensatzes für einen oder mehrere Channel an. Erweiterte Manifeste können nur den Pipe-Eingabemodus unterstützen. Weitere Informationen Channelzum Pipe-Eingabemodus finden Sie InputModeim Abschnitt unter.

Bei der Angabe der Parameter eines Kanals geben Sie einen Pfad zu der Datei an, die als S3Uri bezeichnet wird. Amazon SageMaker interpretiert diese URI auf der Grundlage der S3DataType in S3DataSourceangegebenen. Die Option AugmentedManifestFile definiert ein Manifestformat, das Metadaten mit den Eingabedaten enthält. Die Verwendung einer erweiterten Manifestdatei ist eine Alternative zur Vorverarbeitung bei bezeichneten Daten. Bei Trainingsaufträgen, die bezeichnete Daten verwenden, müssen Sie den Datensatz vorbereiten, um Eingabedaten vor dem Training mit Metadaten zu kombinieren. Wenn Ihr Trainingsdatensatz sehr groß ist, kann eine Vorverarbeitung zeitaufwendig und kostspielig sein.

Format der erweiterten Manifestdatei

Eine erweiterte Manifestdatei muss im JSON Lines-Format vorliegen. Im JSON Lines-Format stellt jede Zeile in der Datei ein vollständiges JSON-Objekt dar, gefolgt von einem Zeilenumbruch.

SageMaker Analysiert während des Trainings jede JSON-Zeile und sendet einige oder alle ihrer Attribute an den Trainingsalgorhythmus. Mithilfe des Parameters AttributeNames der CreateTrainingJob-API legen Sie fest, welche Attributinhalte übergeben werden sollen und in welcher Reihenfolge. Der AttributeNames Parameter ist eine geordnete Liste von Attributnamen, nach denen SageMaker im JSON-Objekt gesucht wird, um sie als Trainingseingabe zu verwenden.

Wenn Sie zum Beispiel ["line", "book"] als AttributeNames aufführen, müssen die Eingabedaten die Attributnamen line und book in der angegebenen Reihenfolge enthalten. In diesem Beispiel gilt der folgende Inhalt der erweiterten Manifestdatei:

{"author": "Herman Melville", "line": "Call me Ishmael", "book": "Moby Dick"}
{"line": "It was love at first sight.", "author": "Joseph Heller", "book": "Catch-22"}

SageMaker ignoriert nicht aufgelistete Attributnamen, auch wenn sie den aufgelisteten Attributen vorangehen, ihnen folgen oder dazwischen liegen.

Bei der Verwendung von erweiterten Manifestdateien gelten die folgenden Richtlinien:

Wenn ein Attributname das Suffix -ref enthält, muss der Wert des Attributs eine S3-URI für die Datendatei sein, die dem Trainingsauftrag zur Verfügung steht. Wenn beispielsweise AttributeNames enthält["image-ref", "is-a-cat"], zeigt das folgende Beispiel eine gültige erweiterte Manifestdatei:

{"image-ref": "s3://mybucket/sample01/image1.jpg", "is-a-cat": 1}
{"image-ref": "s3://mybucket/sample02/image2.jpg", "is-a-cat": 0}

SageMaker Ruft im Fall der ersten JSON-Zeile dieser Manifestdatei die image1.jpg Datei von s3://mybucket/sample01/ und die Zeichenkettendarstellung des is-a-cat Attributs "1" für die Bildklassifizierung ab.

Streamen der Daten einer erweiterten Manifestdatei

Das erweiterte Manifestformat ermöglicht es Ihnen, Trainings im Pipe-Modus mit Dateien durchzuführen, ohne RecordIO-Dateien erstellen zu müssen. Sie müssen sowohl den train- als auch den und validation-Kanal als Werte für den InputDataConfig-Parameter der CreateTrainingJob-Anforderung angeben. Erweiterte Manifestdateien werden nur für Kanäle unterstützt, die den Pipe-Eingabemodus nutzen. Für jeden Kanal werden die Daten aus der erweiterten Manifestdatei extrahiert und (in derselben Reihenfolge) über die Named Pipe des Kanals an den Algorithmus gestreamt. Im Pipe-Modus wird die FIFO-Methode (first in first out) angewandt. Datensätze werden also in der Reihenfolge verarbeitet, in der sie die Warteschlange erreichen. Informationen zum Pipe-Eingabemodus finden Sie unter Input Mode.

Attributnamen mit dem Suffix "-ref" verweisen auf vorformatierte binäre Daten. In einigen Fällen weiß der Algorithmus, wie die Daten geparst werden müssen. In anderen Fällen müssen Sie die Daten möglicherweise umschließen, sodass Datensätze für den Algorithmus voneinander getrennt werden. Wenn der Algorithmus mit RecordIO-formatierten Daten kompatibel ist, löst die Angabe von RecordIO für RecordWrapperType dieses Problem. Wenn der Algorithmus nicht mit dem RecordIO-Format kompatibel ist, geben Sie None für RecordWrapperType an und stellen Sie sicher, dass Ihre Daten für Ihren Algorithmus korrekt geparst werden.

Wenn Sie im Beispiel ["image-ref", "is-a-cat"] einen RecordIO-Wrapper verwenden, wird der folgende Datenstream an die Warteschlange gesendet:

recordio_formatted(s3://mybucket/foo/image1.jpg)recordio_formatted("1")recordio_formatted(s3://mybucket/bar/image2.jpg)recordio_formatted("0")

Bilder, die nicht im RecordIO-Format verpackt sind, werden mit dem entsprechenden is-a-cat-Attributwert als ein Datensatz gestreamt. Dies kann Probleme verursachen, da der Algorithmus die Bilder und Attribute möglicherweise nicht korrekt voneinander trennt. Weitere Informationen zur Verwendung von Augmented Manifest-Dateien für die Bildklassifizierung finden Sie unter Train with Augmented Manifest Image Format.

Die Größenbeschränkungen von EBS-Volumes gelten generell nicht für erweiterte Manifestdateien und den Pipe-Modus. Dazu gehören auch Einstellungen, die ansonsten innerhalb der EBS-Volumengröße liegen müssen, wie z. B. S3DataDistributionType . Weitere Informationen zum Pipe-Modus und dessen Verwendung finden Sie unter Verwenden Ihres eigenen Trainingsalgorithmus – Eingabedatenkonfiguration.

Verwenden einer erweiterten Manifestdatei (Konsole)

Für diesen Vorgang ist Folgendes erforderlich:

SageMaker Speichert nach Abschluss des Trainingsjobs die Modellartefakte in dem Bucket, dessen Pfad Sie für den S3-Ausgabepfad im Feld Konfiguration der Ausgabedaten angegeben haben. Informationen zum Bereitstellen des Modells für Prognosen finden Sie unter Schritt 5: Stellen Sie das Modell auf Amazon bereit EC2.

Verwenden einer erweiterten Manifestdatei (API)

Im Folgenden wird gezeigt, wie ein Modell mit einer erweiterten Manifestdatei mithilfe der Python-Bibliothek SageMaker auf hoher Ebene trainiert wird:

import sagemaker

# Create a model object set to using "Pipe" mode.
model = sagemaker.estimator.Estimator(
    training_image,
    role,
    instance_count=1,
    instance_type='ml.p3.2xlarge',
    volume_size = 50,
    max_run = 360000,
    input_mode = 'Pipe',
    output_path=s3_output_location,
    sagemaker_session=session
)

# Create a train data channel with S3_data_type as 'AugmentedManifestFile' and attribute names.
train_data = sagemaker.inputs.TrainingInput(
    your_augmented_manifest_file,
    distribution='FullyReplicated',
    content_type='application/x-recordio',
    s3_data_type='AugmentedManifestFile',
    attribute_names=['source-ref', 'annotations'],
    input_mode='Pipe',
    record_wrapping='RecordIO'
)

data_channels = {'train': train_data}

# Train a model.
model.fit(inputs=data_channels, logs=True)

SageMaker Speichert nach Abschluss des Trainingsjobs die Modellartefakte in dem Bucket, dessen Pfad Sie für den S3-Ausgabepfad im Feld Ausgabedatenkonfiguration angegeben haben. Informationen zum Bereitstellen des Modells für Prognosen finden Sie unter Schritt 5: Stellen Sie das Modell auf Amazon bereit EC2.