View a markdown version of this page

Pensiero esteso in Amazon Nova 2 - Amazon Nova

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Pensiero esteso in Amazon Nova 2

Amazon Nova 2 Lite introduce funzionalità di pensiero estese che consentono al modello di impegnarsi in un ragionamento più approfondito per problemi complessi. Questa funzionalità opzionale consente di controllare quando e come il modello alloca risorse di calcolo aggiuntive per affrontare attività impegnative.

Come funziona il pensiero esteso

Amazon Nova 2 introduce il pensiero esteso come funzionalità ibrida. Hai il controllo completo:

  • Extended thinking OFF (impostazione predefinita): Amazon Nova 2 funziona con un ragionamento latente efficiente, ottimale per le attività quotidiane e le applicazioni ad alto volume.

  • Extended Thinking ON: Amazon Nova 2 utilizza un step-by-step ragionamento esplicito e ottimale per problemi complessi che richiedono un'analisi approfondita.

Sforzo di ragionamento

Quanto segue mostra diversi livelli di sforzo di ragionamento.

Basso sforzo (maxReasoningEffort: "basso»)

Ideale per: attività con maggiore complessità che richiedono un pensiero strutturato. Ad esempio, è possibile utilizzarlo per suggerimenti di revisione e miglioramento del codice laddove il modello debba considerare attentamente la qualità del codice esistente, attività di analisi che richiedono un'attenta considerazione di più fattori o scenari di risoluzione dei problemi che traggono vantaggio da un approccio metodico. Lo sforzo ridotto è ideale per attività complesse in cui il ragionamento di base migliora la precisione senza richiedere una pianificazione approfondita in più fasi.

Sforzo medio (maxReasoningEffort: «medio»)

Ideale per: attività in più fasi e flussi di lavoro di codifica. Ad esempio, è possibile utilizzarlo per lo sviluppo e il debug di software in cui il modello deve comprendere la struttura del codice esistente prima di implementare le modifiche, la generazione di codice che richiede il coordinamento tra più file o componenti, calcoli in più fasi con interdipendenze o attività di pianificazione con più vincoli. Lo sforzo medio è ottimale per i flussi di lavoro agentici che coordinano più strumenti e richiedono che il modello mantenga il contesto in diverse operazioni sequenziali.

Sforzo elevato (maxReasoningEffort: "high»)

Ideale per: ragionamento STEM e risoluzione avanzata dei problemi. Ad esempio, è possibile utilizzarlo per problemi e dimostrazioni matematiche avanzati che richiedono step-by-step verifiche rigorose, analisi scientifiche e attività di ricerca che richiedono indagini approfondite, progettazione di sistemi complessi con considerazioni architettoniche su più dimensioni o scenari decisionali critici con implicazioni significative. Un impegno elevato garantisce la massima precisione per le attività che richiedono un ragionamento sofisticato, un'attenta valutazione delle alternative e una convalida approfondita delle conclusioni.

Avvio rapido: abilitare il pensiero esteso

Il pensiero esteso è controllato tramite il reasoningConfig parametro.

import boto3 bedrock = boto3.client('bedrock-runtime', region_name='us-east-1') response = bedrock.converse( modelId='us.amazon.nova-2-lite-v1:0', system=[{"text": "You are a highly capable personal assistant"}], messages=[{ "role": "user", "content": [{"text": "Provide a meal plan for a gluten free family of 4."}] }], inferenceConfig={ "temperature": 0.7, "topP": 0.9, "maxTokens": 10000 }, additionalModelRequestFields={ "reasoningConfig": { "type": "enabled", "maxReasoningEffort": "low" } } ) content_list = response["output"]["message"]["content"] for item in content_list: if "reasoningContent" in item: reasoning_text = item["reasoningContent"]["reasoningText"]["text"] print("=== REASONING ===") print(reasoning_text) print() elif "text" in item: print("=== ANSWER ===") print(item["text"])

Parametri di ragionamento:

  • type: enabledo disabled (impostazione predefinita:disabled)

  • maxReasoningEffort: lowmedium, o high

Nota

Temperature, TopP e TopK non possono essere utilizzati con maxReasoningEffort set to. high L'utilizzo combinato di questi parametri causa un errore.

Per esempi completi di codice che utilizza il pensiero esteso, vediLibreria di codici.

Struttura della risposta

Quando abiliti il pensiero esteso, le risposte includono reasoningContent blocchi seguiti da blocchi di text contenuto:

{ "output": { "message": { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "[REDACTED]" } } }, { "text": "Based on the premises, we can conclude..." } ] } }, "stopReason": "end_turn" }
Nota

Con Amazon Nova 2, i contenuti di ragionamento vengono visualizzati come[REDACTED]. I token di ragionamento ti verranno comunque addebitati perché contribuiscono a migliorare la qualità dell'output. Includiamo ora questo campo nella struttura delle risposte per preservare la possibilità di esporre il contenuto del ragionamento in futuro. Stiamo lavorando attivamente con i clienti per determinare l'approccio migliore per far emergere il processo di ragionamento del modello. Il contenuto del ragionamento viene visualizzato come. [REDACTED] I token di ragionamento ti verranno comunque addebitati, in quanto contribuiscono a migliorare la qualità della risposta.

Opzioni di configurazione

Amazon Nova 2 introduce un nuovo reasoningConfig parametro che puoi aggiungere alla struttura di richieste inverse esistente per consentire il ragionamento:

additionalModelRequestFields={ "reasoningConfig": { "type": "enabled", # or "disabled" (default) "maxReasoningEffort": "high" # "low", "medium", or "high" } }

Parametri:

  • tipo: Passa da e (l'impostazione predefinita è) "enabled" "disabled" "disabled"

  • maxReasoningEffort: se abilitato, controlla la profondità del ragionamento

  • «low»: attività moderatamente complesse

  • «medio»: problemi complessi che richiedono un'analisi approfondita

  • «alto»: il ragionamento più completo per compiti molto complessi

Nota

durante l'utilizzo"high", temp, TopP e maxToken devono essere disattivati. In questa modalità, il modello esegue un'analisi più approfondita per trovare la soluzione migliore. Questa elaborazione più approfondita può generare un output superiore a 65.000 token. L'importo esatto dipende dalla complessità della richiesta, ma per alcuni problemi abbiamo visto che può arrivare fino a 128K token. Ciò garantisce un ragionamento completo e di alta qualità anziché risultati troncati.

Modelli supportati

Extended thinking è attualmente disponibile in: Amazon Nova 2 Lite (us.amazon.nova-2-lite-v 1:0)

Pensiero esteso con uso di strumenti

Extended Thinking si integra perfettamente con la chiamata agli strumenti, permettendo ad Amazon Nova di ragionare su quali strumenti utilizzare e su come interpretarne i risultati.

Comprensione dei token di ragionamento e dei prezzi

Tipi di token

I token Extended Thinking vengono fatturati come token di output:

  • Token di input: il contenuto originale della richiesta (prezzo di input standard)

  • Token di output: sono inclusi i token di ragionamento e il contenuto finale della risposta visibile (prezzi di output standard)

Ripartizione dell'utilizzo

Tutti e tre i tipi di token sono inclusi nelle metriche di utilizzo e nella fatturazione. I token di ragionamento hanno lo stesso prezzo dei token di output e appariranno come «REDATTI» nella risposta del modello».

{ "usage": { "inputTokens": 45, "outputTokens": 1240, "totalTokens": 1285 } }

Domande frequenti

Perché Amazon Nova 2 Lite mostra «[REDACTED]» per i contenuti di ragionamento anziché mostrare il processo di pensiero del modello?

Il nostro obiettivo principale per questo lancio è garantire che Nova 2 offra la migliore intelligenza per le tue attività, e vedrai che ciò si riflette nella maggiore precisione.

Riconosciamo che la visibilità del processo di ragionamento è preziosa e abbiamo riscontrato un forte interesse da parte dei clienti a comprendere come il modello affronta i problemi.

Stiamo cercando modi per renderlo disponibile a breve.

I Reasoning Token ti verranno comunque fatturati, in quanto rappresentano un lavoro effettivo che migliora la qualità del tuo output

che verranno acquisiti outputTokens insieme ai token di risposta.

Come faccio a sapere se il pensiero esteso funziona se il ragionamento viene oscurato?

Puoi confermare che il pensiero esteso funziona controllando l'output dei reasoningContent blocchi nella risposta (questi appaiono solo quando il ragionamento è abilitato)