Verarbeiten Sie mehrere Eingabeaufforderungen mit Batch-Inferenz - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verarbeiten Sie mehrere Eingabeaufforderungen mit Batch-Inferenz

Mit Batch-Inferenz können Sie mehrere Eingabeaufforderungen einreichen und Antworten asynchron generieren. Batch-Inferenz hilft Ihnen dabei, eine große Anzahl von Anfragen effizient zu verarbeiten, indem Sie eine einzige Anfrage senden und die Antworten in einem Amazon S3 S3-Bucket generieren. Nachdem Sie Modelleingaben in den von Ihnen erstellten Dateien definiert haben, laden Sie die Dateien in einen S3-Bucket hoch. Anschließend reichen Sie eine Batch-Inferenzanforderung ein und geben den S3-Bucket an. Nachdem der Job abgeschlossen ist, können Sie die Ausgabedateien von S3 abrufen. Sie können Batch-Inferenz verwenden, um die Leistung der Modellinferenz bei großen Datensätzen zu verbessern.

Anmerkung

Batch-Inferenz wird für bereitgestellte Modelle nicht unterstützt.

Allgemeine Informationen zur Batch-Inferenz finden Sie in den folgenden Ressourcen:

Themen