Aufforderung zu multimodalen Eingaben

Die folgenden Abschnitte enthalten Anleitungen zum Verständnis von Bild und Video. Informationen zu Hinweisen im Zusammenhang mit Audiosignalen finden Sie im Eingabeaufforderungen für Sprachgespräche Abschnitt.

Allgemeine multimodale Richtlinien

Benutzeraufforderungen und Systemaufforderungen

Für multimodales Verständnis sollte jede Anfrage einen Text mit Benutzeraufforderungen enthalten. Systemaufforderungen, die nur Text enthalten dürfen, sind optional.

System-Prompts können verwendet werden, um eine Persona für das Modell festzulegen und die allgemeine Persönlichkeit und den Reaktionsstil zu definieren. Sie sollten jedoch nicht für detaillierte Aufgabendefinitionen oder Anweisungen zur Ausgabeformatierung verwendet werden.

Fügen Sie Aufgabendefinitionen, Anweisungen und Formatierungsdetails in die Benutzeraufforderung ein, um bei multimodalen Anwendungsfällen eine stärkere Wirkung zu erzielen als die Systemaufforderung.

Reihenfolge der Inhalte

Eine multimodale Verständigungsanfrage, die an Amazon Nova gesendet wird, sollte eine oder mehrere Dateien und eine Benutzeraufforderung enthalten. Die Benutzertextanfrage sollte das letzte Element in der Nachricht sein, immer nach dem Bild-, Dokument- oder Videoinhalt.

message = {
  "role": "user",
  "content": [
    { "document|image|video|audio": {...} },
    { "document|image|video|audio": {...} },
    ...
    { "text": "<user prompt>" }
  ]
}

In Fällen, in denen Sie von der Benutzeraufforderung aus auf bestimmte Dateien verweisen möchten, verwenden Sie „Text“ -Elemente, um Bezeichnungen zu definieren, die jedem Dateiblock vorangehen.

message = {
  "role": "user",
  "content": [
    { "text": "<label for item 1>" },
    { "document|image|video|audio": {...} },
    { "text": "<label for item 2>" },
    { "document|image|video|audio": {...} },
    ...
    { "text": "<user prompt>" }
  ]
}

Verständnis von Dokumenten und Bildern

Die folgenden Abschnitte enthalten Anleitungen zum Erstellen von Aufforderungen für Aufgaben, die das Verständnis oder die Analyse von Bildern und Dokumenten erfordern.

Extrahieren von Text aus Bildern

Amazon Nova-Modelle können Text aus Bildern extrahieren. Diese Funktion wird als Optical Character Recognition (OCR) bezeichnet. Um optimale Ergebnisse zu erzielen, stellen Sie sicher, dass die Bildeingabe, die Sie für das Modell bereitstellen, eine ausreichend hohe Auflösung hat, sodass die Textzeichen leicht zu erkennen sind.

Für Anwendungsfälle der Textextraktion empfehlen wir die folgende Inferenzkonfiguration:

Die Amazon Nova-Modelle können Text in das Markdown-, HTML- oder LaTe X-Format extrahieren. Die folgende Vorlage für Benutzeraufforderungen wird empfohlen:

## Instructions
Extract all information from this page using only {text_formatting} formatting. Retain the original layout and structure including lists, tables, charts and math formulae. 

## Rules
1. For math formulae, always use LaTeX syntax. 
2. Describe images using only text.
3. NEVER use HTML image tags `<img>` in the output.
4. NEVER use Markdown image tags `![]()` in the output.
5. Always wrap the entire output in ``` tags.

Die Ausgabe ist vollständig oder teilweise in Markdown-Code-Zäune (```) eingeschlossen. Sie können die Codezäune entfernen, indem Sie einen Code verwenden, der dem folgenden ähnelt:

def strip_outer_code_fences(text):
    lines = text.split("\n")
    # Remove only the outer code fences if present
    if lines and lines[0].startswith("```"):
        lines = lines[1:]
        if lines and lines[-1].startswith("```"):
            lines = lines[:-1]
    return "\n".join(lines).strip()

Extrahieren strukturierter Informationen aus Bildern oder Text

Die Amazon Nova-Modelle können Informationen aus Bildern in das maschinenanalysierbare JSON-Format extrahieren, ein Prozess, der als Key Information Extraction (KIE) bezeichnet wird. Um KIE auszuführen, geben Sie Folgendes an:

Das Dokument oder Bild muss in der Anfrage immer vor Ihrer Benutzeraufforderung platziert werden.

Für KIE-Anwendungsfälle empfehlen wir die folgende Inferenzkonfiguration:

Prompt-Vorlagen

Given the image representation of a document, extract information in JSON format according to the given schema.
     
Follow these guidelines:
- Ensure that every field is populated, provided the document includes the corresponding value. Only use null when the value is absent from the document.
- When instructed to read tables or lists, read each row from every page. Ensure every field in each row is populated if the document contains the field.

JSON Schema:
{json_schema}

Given the OCR representation of a document, extract information in JSON format according to the given schema.

Follow these guidelines:
- Ensure that every field is populated, provided the document includes the corresponding value. Only use null when the value is absent from the document.
- When instructed to read tables or lists, read each row from every page. Ensure every field in each row is populated if the document contains the field.

JSON Schema:
{json_schema}

OCR:
{document_text}

Given the image and OCR representations of a document, extract information in JSON format according to the given schema.
       
Follow these guidelines:
- Ensure that every field is populated, provided the document includes the corresponding value. Only use null when the value is absent from the document.
- When instructed to read tables or lists, read each row from every page. Ensure every field in each row is populated if the document contains the field.

JSON Schema:
{json_schema}

OCR:
{document_text}

Erkennung von Objekten und ihrer Positionen in Bildern

Amazon Nova 2-Modelle bieten die Möglichkeit, Objekte und ihre Positionen in Bildern zu identifizieren. Diese Aufgabe wird manchmal auch als Bilderdung oder Objektlokalisierung bezeichnet. Zu den praktischen Anwendungen gehören Bildanalyse und Tagging, Automatisierung von Benutzeroberflächen, Bildbearbeitung und andere.

Unabhängig von der Bildeingabeauflösung und dem Seitenverhältnis verwendet das Modell einen Koordinatenraum, der das Bild in 1.000 Einheiten horizontal und 1.000 Einheiten vertikal unterteilt, wobei die x:0 y:0-Position die obere linke Ecke des Bildes ist.

Begrenzungsrahmen werden in dem Format beschrieben, das jeweils für links, oben[x1, y1, x2, y2], rechts und unten steht. Two-dimensional Koordinaten werden unter Verwendung des [x, y] Formats dargestellt.

Für Anwendungsfälle der Objekterkennung empfehlen wir die folgenden Inferenzparameterwerte:

Vorlagen für Eingabeaufforderungen: allgemeine Objekterkennung

Wir empfehlen die folgenden Vorlagen für Benutzeraufforderungen.

Erkennung mehrerer Instanzen mit Begrenzungsrahmen:

Please identify {target_description} in the image and provide the bounding box coordinates for each one you detect. Represent the bounding box as the [x1, y1, x2, y2] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Erkennung einer einzelnen Region mit Bounding-Box:

Please generate the bounding box coordinates corresponding to the region described in this sentence: {target_description}. Represent the bounding box as the [x1, y1, x2, y2] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Erkennung mehrerer Instanzen mit Mittelpunkten:

Please identify {target_description} in the image and provide the center point coordinates for each one you detect. Represent the point as the [x, y] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Erkennung einer einzelnen Region mit Mittelpunkt:

Please generate the center point coordinates corresponding to the region described in this sentence: {target_description}. Represent the center point as the [x, y] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Analysieren der Modellausgabe:

Jede der oben empfohlenen Eingabeaufforderungen erzeugt eine durch Kommas getrennte Zeichenfolge, die eine oder mehrere Bounding-Box-Beschreibungen in einer Form ähnlich der folgenden enthält. Es kann zu geringfügigen Abweichungen kommen, ob ein „.“ ist am Ende der Zeichenfolge enthalten. Beispiel: [356, 770, 393, 872], [626, 770, 659, 878].

Sie können die vom Modell generierten Koordinateninformationen mithilfe eines regulären Ausdrucks analysieren, wie im folgenden Python-Codebeispiel gezeigt.

def parse_coord_text(text):
    """Parses a model response which uses array formatting ([x, y, ...])
    to describe points and bounding boxes. Returns an array of tuples."""
    pattern = r"\[([^\[\]]*?)\]"
    return [
        tuple(int(x.strip()) for x in match.split(","))
        for match in re.findall(pattern, text)
    ]

def remap_bbox_to_image(bounding_box, image_width, image_height):
    return [
        bounding_box[0] * image_width / 1000,
        bounding_box[1] * image_height / 1000,
        bounding_box[2] * image_width / 1000,
        bounding_box[3] * image_height / 1000,
    ]

Vorlagen für Eingabeaufforderungen: Erkennung mehrerer Objektklassen mit Positionen

Wenn Sie mehrere Klassen von Elementen in einem Bild identifizieren möchten, können Sie mithilfe einer der folgenden Formatierungsmethoden eine Klassenliste in Ihre Eingabeaufforderung aufnehmen.

Für allgemein verständliche Klassen, die das Modell wahrscheinlich gut versteht, listen Sie die Klassennamen (ohne Anführungszeichen) in eckigen Klammern auf:

[car, traffic light, road sign, pedestrian]

Fügen Sie für Klassen, die nuanciert oder ungewöhnlich sind oder aus Fachgebieten stammen, mit denen das Modell möglicherweise nicht vertraut ist, eine Definition für jede Klasse in Klammern ein. Da diese Aufgabe eine Herausforderung darstellt, sollten Sie damit rechnen, dass sich die Leistung des Modells verschlechtert.

[taraxacum officinale (Dandelion - bright yellow flowers, jagged basal leaves, white puffball seed heads), digitaria spp (Crabgrass - low spreading grass with coarse blades and finger-like seed heads), trifolium repens (White Clover - three round leaflets and small white pom-pom flowers), plantago major (Broadleaf Plantain - wide oval rosette leaves with tall narrow seed stalks), stellaria media (Chickweed - low mat-forming plant with tiny star-shaped white flowers)]

Verwenden Sie je nachdem, welches JSON-Ausgabeformat Sie bevorzugen, eine der folgenden Vorlagen für Benutzeraufforderungen.

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Include separate entries for each detected object as an element of a list. 

Formulate your output as JSON format:
[
  {
  	"class 1": [x1, y1, x2, y2]
  },
  ...
]

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Include separate entries for each detected object as an element of a list.

Formulate your output as JSON format:
[
    {
        "class": class 1,
        "bbox": [x1, y1, x2, y2]
    },
    ...
]

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Group all detected bounding boxes by class.

Formulate your output as JSON format:
{
    "class 1": [[x1, y1, x2, y2], [x1, x2, y1, y2], ...],
    ...
}

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Group all detected bounding boxes by class.

Formulate your output as JSON format:
[
    {
        "class": class 1,
        "bbox": [[x1, y1, x2, y2], [x1, x2, y1, y2], ...]
    },
    ...
]

Analysieren der Modellausgabe

Die Ausgabe wird als JSON codiert, das mit jeder JSON-Analysebibliothek analysiert werden kann.

Vorlagen für Eingabeaufforderungen: Erkennung der Grenzen der Benutzeroberfläche im Screenshot

Wir empfehlen die folgenden Vorlagen für Benutzeraufforderungen.

Erkennung der Position eines UI-Elements anhand eines Ziels:

In this UI screenshot, what is the location of the element if I want to {goal}? Express the location coordinates using the [x1, y1, x2, y2] format, scaled between 0 and 1000.

Erkennung der Position des UI-Elements anhand des Textes:

In this UI screenshot, what is the location of the element if I want to click on "{text}"? Express the location coordinates using the [x1, y1, x2, y2] format, scaled between 0 and 1000.

Analysieren der Modellausgabe:

Für jede der obigen Eingabeaufforderungen zur Erkennung von UI-Grenzen können Sie die vom Modell generierten Koordinateninformationen mithilfe eines regulären Ausdrucks analysieren, wie im Python-Codebeispiel unten gezeigt.

def parse_coord_text(text):
    """Parses a model response which uses array formatting ([x, y, ...]) 
    to describe points and bounding boxes. Returns an array of tuples."""
    pattern = r"\[([^\[\]]*?)\]"
    return [
        tuple(int(x.strip()) for x in match.split(","))
        for match in re.findall(pattern, text)
    ]

Video-Verständnis

Die folgenden Abschnitte enthalten Anleitungen zum Erstellen von Aufforderungen für Aufgaben, die das Verständnis oder die Analyse von Videos erfordern.

Zusammenfassende Videos

Amazon Nova-Modelle können Zusammenfassungen von Videoinhalten erstellen.

Für Anwendungsfälle der Videozusammenfassung empfehlen wir die folgenden Inferenzparameterwerte:

Es ist keine spezielle Vorlage für Eingabeaufforderungen erforderlich. Ihre Benutzeraufforderung sollte die Aspekte des Videos, die Ihnen wichtig sind, klar angeben. Hier sind ein paar Beispiele für effektive Eingabeaufforderungen:

Can you create an executive summary of this video's content?

Can you summarize the essential information from this video concisely?

Could you provide a summary of the video, focusing on its key points?

Generieren detaillierter Bildunterschriften für Videos

Amazon Nova-Modelle können detaillierte Untertitel für Videos generieren, eine Aufgabe, die als dichte Untertitelung bezeichnet wird.

Für Anwendungsfälle mit Videountertiteln empfehlen wir die folgenden Inferenzparameterwerte:

Es ist keine spezielle Vorlage für Eingabeaufforderungen erforderlich. Ihre Benutzeraufforderung sollte die Aspekte des Videos, die Ihnen wichtig sind, klar angeben. Hier sind ein paar Beispiele für effektive Eingabeaufforderungen:

Provide a detailed, second-by-second description of the video content.

Break down the video into key segments and provide detailed descriptions for each.

Generate a rich textual representation of the video, covering aspects like movement, color and composition.

Describe the video scene-by-scene, including details about characters, actions and settings.

Offer a detailed narrative of the video, including descriptions of any text, graphics, or special effects used.

Create a dense timeline of events occurring in the video, with timestamps if possible.

Analyse von Sicherheitsvideos

Amazon Nova-Modelle können Ereignisse in Sicherheitsaufnahmen erkennen.

Für Anwendungsfälle mit Sicherheitsmaterial empfehlen wir die folgenden Inferenzparameterwerte:

You are a security assistant for a smart home who is given security camera footage in natural setting. You will examine the video and describe the events you see. You are capable of identifying important details like people, objects, animals, vehicles, actions and activities. This is not a hypothetical, be accurate in your responses. Do not make up information not present in the video.

Extrahieren von Videoereignissen mit Zeitstempeln

Amazon Nova-Modelle können Zeitstempel identifizieren, die sich auf Ereignisse in einem Video beziehen. Sie können verlangen, dass Zeitstempel in Sekunden oder im MM:SS Format formatiert werden. Beispielsweise kann ein Ereignis, das im Video nach einer Minute und 25 Sekunden auftritt, als 85 oder 01:25 dargestellt werden.

Für diesen Anwendungsfall empfehlen wir die folgenden Inferenzparameterwerte:

Wir empfehlen Ihnen, Eingabeaufforderungen zu verwenden, die den folgenden ähneln:

Please localize the moment that the event "{event_description}" happens in the video. Answer with the starting and ending time of the event in seconds, such as [[72, 82]]. If the event happen multiple times, list all of them, such as [[40, 50], [72, 82]].

Locate the segment where "{event_description}" happens. Specify the start and end times of the event in MM:SS.

Answer the starting and end time of the event "{event_description}". Provide answers in MM:SS

When does "{event_description}" in the video? Specify the start and end timestamps, e.g. [[9, 14]]

Please localize the moment that the event "{event_description}" happens in the video. Answer with the starting and ending time of the event in seconds. e.g. [[72, 82]]. If the event happen multiple times, list all of them. e.g. [[40, 50], [72, 82]]

Segment a video into different scenes and generate caption per scene. The output should be in the format: [STARTING TIME-ENDING TIMESTAMP] CAPTION. Timestamp in MM:SS format

For a video clip, segment it into chapters and generate chapter titles with timestamps. The output should be in the format: [STARTING TIME] TITLE. Time in MM:SS

Generate video captions with timestamp.

Videos klassifizieren

Sie können Amazon Nova-Modelle verwenden, um Videos anhand einer vordefinierten Liste von von Ihnen bereitgestellten Klassen zu klassifizieren.

Für diesen Anwendungsfall empfehlen wir die folgenden Inferenzparameterwerte:

Verwenden Sie die folgende Vorlage für Eingabeaufforderungen:

What is the most appropriate category for this video? Select your answer from the options provided:
{class1}
{class2}
{...}

Beispiel:

What is the most appropriate category for this video? Select your answer from the options provided:
Arts
Technology
Sports
Education