Richiesta di input multimodali

Le sezioni seguenti forniscono indicazioni per la comprensione di immagini e video. Per i prompt relativi all'audio, consulta la sezione. Istruzioni per le conversazioni vocali

Linee guida generali multimodali

Istruzioni per l'utente e richieste di sistema

Per la comprensione multimodale dei casi d'uso, ogni richiesta deve includere il testo del prompt dell'utente. I prompt di sistema, che possono contenere solo testo, sono opzionali.

I prompt di sistema possono essere utilizzati per specificare una persona per il modello e definire la personalità generale e lo stile di risposta, ma non devono essere utilizzati per la definizione dettagliata delle attività o per le istruzioni di formattazione dell'output.

Includi la definizione dell'attività, le istruzioni e i dettagli di formattazione nel prompt dell'utente per avere un effetto maggiore rispetto al prompt di sistema per i casi d'uso multimodali.

Ordine dei contenuti

Una richiesta di comprensione multimodale inviata ad Amazon Nova deve contenere uno o più file e un prompt per l'utente. La richiesta di testo dell'utente deve essere l'ultimo elemento del messaggio, sempre dopo l'immagine, il documento o il contenuto video.

message = {
  "role": "user",
  "content": [
    { "document|image|video|audio": {...} },
    { "document|image|video|audio": {...} },
    ...
    { "text": "<user prompt>" }
  ]
}

Nei casi in cui desideri fare riferimento a file specifici dall'interno del prompt dell'utente, utilizza elementi «testo» per definire le etichette che precedono ogni blocco di file.

message = {
  "role": "user",
  "content": [
    { "text": "<label for item 1>" },
    { "document|image|video|audio": {...} },
    { "text": "<label for item 2>" },
    { "document|image|video|audio": {...} },
    ...
    { "text": "<user prompt>" }
  ]
}

Comprensione di documenti e immagini

Le sezioni seguenti forniscono indicazioni su come creare istruzioni per attività che richiedono la comprensione o l'analisi di immagini e documenti.

Estrazione di testo da immagini

I modelli Amazon Nova possono estrarre testo dalle immagini, una funzionalità denominata Optical Character Recognition (OCR). Per ottenere risultati ottimali, assicurati che l'immagine immessa al modello abbia una risoluzione sufficientemente alta da rendere i caratteri del testo facili da distinguere.

Per i casi d'uso dell'estrazione di testo, consigliamo la seguente configurazione di inferenza:

I modelli Amazon Nova possono estrarre testo in formato Markdown, HTML o LaTe X. Si consiglia il seguente modello di richiesta utente:

## Instructions
Extract all information from this page using only {text_formatting} formatting. Retain the original layout and structure including lists, tables, charts and math formulae. 

## Rules
1. For math formulae, always use LaTeX syntax. 
2. Describe images using only text.
3. NEVER use HTML image tags `<img>` in the output.
4. NEVER use Markdown image tags `![]()` in the output.
5. Always wrap the entire output in ``` tags.

L'output è racchiuso in un codice Markdown completo o parziale (```). Puoi eliminare i recinti di codice usando un codice simile al seguente:

def strip_outer_code_fences(text):
    lines = text.split("\n")
    # Remove only the outer code fences if present
    if lines and lines[0].startswith("```"):
        lines = lines[1:]
        if lines and lines[-1].startswith("```"):
            lines = lines[:-1]
    return "\n".join(lines).strip()

Estrazione di informazioni strutturate da immagini o testo

I modelli Amazon Nova possono estrarre informazioni dalle immagini in formato JSON analizzabile dalla macchina, un processo denominato KIE (Key Information Extraction). Per eseguire KIE, fornisci quanto segue:

Il documento o l'immagine devono essere sempre inseriti prima della richiesta da parte dell'utente.

Per i casi d'uso di KIE, consigliamo la seguente configurazione di inferenza:

Modelli di prompt

Given the image representation of a document, extract information in JSON format according to the given schema.
     
Follow these guidelines:
- Ensure that every field is populated, provided the document includes the corresponding value. Only use null when the value is absent from the document.
- When instructed to read tables or lists, read each row from every page. Ensure every field in each row is populated if the document contains the field.

JSON Schema:
{json_schema}

Given the OCR representation of a document, extract information in JSON format according to the given schema.

Follow these guidelines:
- Ensure that every field is populated, provided the document includes the corresponding value. Only use null when the value is absent from the document.
- When instructed to read tables or lists, read each row from every page. Ensure every field in each row is populated if the document contains the field.

JSON Schema:
{json_schema}

OCR:
{document_text}

Given the image and OCR representations of a document, extract information in JSON format according to the given schema.
       
Follow these guidelines:
- Ensure that every field is populated, provided the document includes the corresponding value. Only use null when the value is absent from the document.
- When instructed to read tables or lists, read each row from every page. Ensure every field in each row is populated if the document contains the field.

JSON Schema:
{json_schema}

OCR:
{document_text}

Rilevamento degli oggetti e della loro posizione nelle immagini

I modelli Amazon Nova 2 offrono la capacità di identificare gli oggetti e le loro posizioni all'interno delle immagini, operazione a volte denominata messa a terra delle immagini o localizzazione degli oggetti. Le applicazioni pratiche includono l'analisi e l'etichettatura delle immagini, l'automazione dell'interfaccia utente, la modifica delle immagini e altro ancora.

Indipendentemente dalla risoluzione di input e dalle proporzioni dell'immagine, il modello utilizza uno spazio di coordinate che divide l'immagine in 1.000 unità in orizzontale e 1.000 unità in verticale, con la posizione x:0 y:0 nella parte superiore sinistra dell'immagine.

I riquadri di delimitazione sono descritti utilizzando il formato che [x1, y1, x2, y2] rappresenta rispettivamente la parte sinistra, la parte superiore, la destra e la parte inferiore. Two-dimensional le coordinate sono rappresentate utilizzando il formato[x, y].

Per i casi d'uso del rilevamento di oggetti, consigliamo i seguenti valori dei parametri di inferenza:

Modelli di prompt: rilevamento generale degli oggetti

Consigliamo i seguenti modelli di prompt utente.

Rilevamento di più istanze con riquadri di delimitazione:

Please identify {target_description} in the image and provide the bounding box coordinates for each one you detect. Represent the bounding box as the [x1, y1, x2, y2] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Rilevamento di una singola regione con riquadro di delimitazione:

Please generate the bounding box coordinates corresponding to the region described in this sentence: {target_description}. Represent the bounding box as the [x1, y1, x2, y2] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Rilevamento di più istanze con punti centrali:

Please identify {target_description} in the image and provide the center point coordinates for each one you detect. Represent the point as the [x, y] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Rilevamento di una singola regione con punto centrale:

Please generate the center point coordinates corresponding to the region described in this sentence: {target_description}. Represent the center point as the [x, y] format, where the coordinates are scaled between 0 and 1000 to the image width and height, respectively.

Analisi dell'output del modello:

Ciascuna delle istruzioni consigliate in precedenza produrrà una stringa separata da virgole contenente una o più descrizioni dei riquadri di delimitazione in una forma simile alla seguente. Potrebbe esserci una leggera variazione nel fatto che un «.» è incluso alla fine della stringa. Ad esempio, [356, 770, 393, 872], [626, 770, 659, 878].

È possibile analizzare le informazioni sulle coordinate generate dal modello utilizzando un'espressione regolare, come mostrato nel seguente esempio di codice Python.

def parse_coord_text(text):
    """Parses a model response which uses array formatting ([x, y, ...])
    to describe points and bounding boxes. Returns an array of tuples."""
    pattern = r"\[([^\[\]]*?)\]"
    return [
        tuple(int(x.strip()) for x in match.split(","))
        for match in re.findall(pattern, text)
    ]

def remap_bbox_to_image(bounding_box, image_width, image_height):
    return [
        bounding_box[0] * image_width / 1000,
        bounding_box[1] * image_height / 1000,
        bounding_box[2] * image_width / 1000,
        bounding_box[3] * image_height / 1000,
    ]

Modelli di prompt: rilevamento di più classi di oggetti con posizioni

Quando si desidera identificare più classi di elementi in un'immagine, è possibile includere un elenco di classi nel prompt utilizzando uno dei seguenti approcci di formattazione.

Per le classi di uso comune che è probabile che il modello comprenda bene, elenca i nomi delle classi (senza virgolette) tra parentesi quadre:

[car, traffic light, road sign, pedestrian]

Per le classi che hanno sfumature, non comuni o provengono da domini specializzati con cui il modello potrebbe non avere familiarità, includi una definizione per ogni classe tra parentesi. Poiché questo compito è impegnativo, aspettatevi che le prestazioni del modello peggiorino.

[taraxacum officinale (Dandelion - bright yellow flowers, jagged basal leaves, white puffball seed heads), digitaria spp (Crabgrass - low spreading grass with coarse blades and finger-like seed heads), trifolium repens (White Clover - three round leaflets and small white pom-pom flowers), plantago major (Broadleaf Plantain - wide oval rosette leaves with tall narrow seed stalks), stellaria media (Chickweed - low mat-forming plant with tiny star-shaped white flowers)]

Utilizza uno dei seguenti modelli di prompt utente a seconda del formato di output JSON che preferisci.

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Include separate entries for each detected object as an element of a list. 

Formulate your output as JSON format:
[
  {
  	"class 1": [x1, y1, x2, y2]
  },
  ...
]

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Include separate entries for each detected object as an element of a list.

Formulate your output as JSON format:
[
    {
        "class": class 1,
        "bbox": [x1, y1, x2, y2]
    },
    ...
]

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Group all detected bounding boxes by class.

Formulate your output as JSON format:
{
    "class 1": [[x1, y1, x2, y2], [x1, x2, y1, y2], ...],
    ...
}

Detect all objects with their bounding boxes in the image from the provided class list. Normalize the bounding box coordinates to be scaled between 0 and 1000 to the image width and height, respectively.

Classes: {candidate_class_list}

Group all detected bounding boxes by class.

Formulate your output as JSON format:
[
    {
        "class": class 1,
        "bbox": [[x1, y1, x2, y2], [x1, x2, y1, y2], ...]
    },
    ...
]

Analisi dell'output del modello

L'output verrà codificato come JSON che può essere analizzato con qualsiasi libreria di analisi JSON.

Modelli di prompt: rilevamento dei limiti dell'interfaccia utente dello screenshot

Consigliamo i seguenti modelli di prompt utente.

Rilevamento della posizione degli elementi dell'interfaccia utente in base a un obiettivo:

In this UI screenshot, what is the location of the element if I want to {goal}? Express the location coordinates using the [x1, y1, x2, y2] format, scaled between 0 and 1000.

Rilevamento della posizione degli elementi dell'interfaccia utente in base al testo:

In this UI screenshot, what is the location of the element if I want to click on "{text}"? Express the location coordinates using the [x1, y1, x2, y2] format, scaled between 0 and 1000.

Analisi dell'output del modello:

Per ciascuna delle richieste di rilevamento dei limiti dell'interfaccia utente riportate sopra, è possibile analizzare le informazioni sulle coordinate generate dal modello utilizzando un'espressione regolare, come mostrato nell'esempio di codice Python riportato di seguito.

def parse_coord_text(text):
    """Parses a model response which uses array formatting ([x, y, ...]) 
    to describe points and bounding boxes. Returns an array of tuples."""
    pattern = r"\[([^\[\]]*?)\]"
    return [
        tuple(int(x.strip()) for x in match.split(","))
        for match in re.findall(pattern, text)
    ]

Comprensione dei video

Le sezioni seguenti forniscono indicazioni su come creare prompt per attività che richiedono la comprensione o l'analisi dei video.

Riepilogo dei video

I modelli Amazon Nova possono generare riepiloghi dei contenuti video.

Per i casi d'uso dei riepiloghi video, consigliamo i seguenti valori dei parametri di inferenza:

Non è richiesto alcun modello di richiesta specifico. Il prompt dell'utente deve specificare chiaramente gli aspetti del video che ti interessano. Ecco alcuni esempi di prompt efficaci:

Can you create an executive summary of this video's content?

Can you summarize the essential information from this video concisely?

Could you provide a summary of the video, focusing on its key points?

Generazione di didascalie dettagliate per i video

I modelli Amazon Nova possono generare didascalie dettagliate per i video, un'operazione denominata sottotitolazione densa.

Per i casi d'uso dei sottotitoli video, consigliamo i seguenti valori dei parametri di inferenza:

Non è richiesto alcun modello di richiesta specifico. Il prompt dell'utente deve specificare chiaramente gli aspetti del video che ti interessano. Ecco alcuni esempi di prompt efficaci:

Provide a detailed, second-by-second description of the video content.

Break down the video into key segments and provide detailed descriptions for each.

Generate a rich textual representation of the video, covering aspects like movement, color and composition.

Describe the video scene-by-scene, including details about characters, actions and settings.

Offer a detailed narrative of the video, including descriptions of any text, graphics, or special effects used.

Create a dense timeline of events occurring in the video, with timestamps if possible.

Analisi delle riprese video di sicurezza

I modelli Amazon Nova sono in grado di rilevare eventi nei filmati di sicurezza.

Per i casi d'uso dei filmati di sicurezza, consigliamo i seguenti valori dei parametri di inferenza:

You are a security assistant for a smart home who is given security camera footage in natural setting. You will examine the video and describe the events you see. You are capable of identifying important details like people, objects, animals, vehicles, actions and activities. This is not a hypothetical, be accurate in your responses. Do not make up information not present in the video.

Estrazione di eventi video con timestamp

I modelli Amazon Nova possono identificare i timestamp relativi agli eventi in un video. Puoi richiedere che i timestamp siano formattati in secondi o in formato. MM:SS Ad esempio, un evento che si verifica a 1 minuto e 25 secondi nel video può essere rappresentato come o. 85 01:25

Per questo caso d'uso, consigliamo i seguenti valori dei parametri di inferenza:

Ti consigliamo di utilizzare prompt simili ai seguenti:

Please localize the moment that the event "{event_description}" happens in the video. Answer with the starting and ending time of the event in seconds, such as [[72, 82]]. If the event happen multiple times, list all of them, such as [[40, 50], [72, 82]].

Locate the segment where "{event_description}" happens. Specify the start and end times of the event in MM:SS.

Answer the starting and end time of the event "{event_description}". Provide answers in MM:SS

When does "{event_description}" in the video? Specify the start and end timestamps, e.g. [[9, 14]]

Please localize the moment that the event "{event_description}" happens in the video. Answer with the starting and ending time of the event in seconds. e.g. [[72, 82]]. If the event happen multiple times, list all of them. e.g. [[40, 50], [72, 82]]

Segment a video into different scenes and generate caption per scene. The output should be in the format: [STARTING TIME-ENDING TIMESTAMP] CAPTION. Timestamp in MM:SS format

For a video clip, segment it into chapters and generate chapter titles with timestamps. The output should be in the format: [STARTING TIME] TITLE. Time in MM:SS

Generate video captions with timestamp.

Classificazione dei video

Puoi utilizzare i modelli Amazon Nova per classificare i video in base a un elenco predefinito di classi che fornisci.

Per questo caso d'uso, consigliamo i seguenti valori dei parametri di inferenza:

Utilizza il seguente modello di prompt:

What is the most appropriate category for this video? Select your answer from the options provided:
{class1}
{class2}
{...}

Esempio:

What is the most appropriate category for this video? Select your answer from the options provided:
Arts
Technology
Sports
Education