View a markdown version of this page

Funzionamento dell’inferenza in Amazon Bedrock - Amazon Bedrock
Richiamo di modelli in diverse regioni AWS

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Funzionamento dell’inferenza in Amazon Bedrock

Quando si invia un inputo a un modello, il modello prevede una probabile sequenza di token che segue e restituisce tale sequenza come output. Amazon Bedrock offre la possibilità di eseguire inferenze nel modello di fondazione che preferisci. Quando si esegue l’inferenza, è necessario fornire gli input seguenti:

Richiamo di modelli in diverse regioni AWS

Quando si richiama un modello, si sceglie Regione AWS in che modo richiamarlo. Le quote per la frequenza e la dimensione delle richieste che è possibile effettuare dipendono dalla Regione. Cerca le quote seguenti in Quote di servizio di Amazon Bedrock:

  • Richieste di inferenza del modello su richiesta al minuto per ${Model}

  • InvokeModel Token su richiesta al minuto per ${Model}

È anche possibile invocare un profilo di inferenza anziché il modello di fondazione stesso. Un profilo di inferenza definisce un modello e una o più Regioni a cui il profilo di inferenza può instradare le richieste di invocazione del modello. Invocando un profilo di inferenza che include più Regioni, è possibile aumentare il throughput. Per ulteriori informazioni, consulta Aumentare il throughput con l’inferenza tra Regioni. Per visualizzare le quote relative alla frequenza e alla dimensione delle richieste che si possono effettuare con un profilo di inferenza, cerca le seguenti quote in Quote di servizio di Amazon Bedrock:

  • InvokeModel Richieste interregionali al minuto per ${Model}

  • InvokeModel Token interregionali al minuto per ${Model}

  • InvokeModel Richieste globali interregionali al minuto per ${Model}

  • InvokeModel Token globali interregionali al minuto per ${Model}

Le richieste inviate a una Regione possono essere soddisfatte da zone locali che condividono la stessa Regione principale. Ad esempio, le richieste effettuate negli Stati Uniti orientali (Virginia settentrionale) (us-east-1) possono essere soddisfatte da qualsiasi zona locale associata, come Atlanta, Stati Uniti (us-east-1-atl-2a).

Lo stesso principio si applica quando si utilizza l’inferenza tra Regioni. Ad esempio, le richieste inviate al profilo di inferenza Anthropic Claude 3 Haiku degli Stati Uniti possono essere servite da qualsiasi zona locale la cui Regione principale si trovi negli Stati Uniti, come Seattle, Stati Uniti (us-west-2-sea-1a). Quando vengono aggiunte nuove zone locali AWS, queste verranno aggiunte anche all'endpoint di inferenza interregionale corrispondente.

Per visualizzare un elenco degli endpoint locali e delle Regioni principali a cui sono associati, consulta Posizioni delle zone locali di AWS.

Quando si invoca un profilo di inferenza tra Regioni in Amazon Bedrock, la richiesta proviene da una Regione di origine e viene automaticamente instradata a una delle Regioni di destinazione definite nel profilo, ottimizzando le prestazioni. Le Regioni di destinazione per i profili di inferenza tra Regioni globali includono tutte le Regioni commerciali.

Il profilo di inferenza globale interregionale per un modello specifico può cambiare nel tempo man mano che vengono AWS aggiunte altre regioni commerciali in cui è possibile elaborare le richieste. Tuttavia, se un profilo di inferenza è legato a un'area geografica (come Stati Uniti, UE o APAC), l'elenco delle regioni di destinazione non cambierà mai. AWS potrebbe creare nuovi profili di inferenza che incorporano nuove regioni. È possibile aggiornare i sistemi per utilizzare questi profili di inferenza modificando la IDs configurazione con quelli nuovi.

Nota

Le regioni di destinazione in un profilo di inferenza interregionale possono includere regioni opzionali, ovvero regioni che è necessario abilitare esplicitamente a livello di organizzazione. Account AWS Per ulteriori informazioni, consulta Abilita o disabilita Regioni AWS nel tuo account. Quando utilizzi un profilo di inferenza tra Regioni, la richiesta di inferenza può essere instradata a una qualsiasi delle Regioni di destinazione nel profilo, anche se non hai aderito a tali Regioni nell’account.

Le politiche di controllo dei servizi (SCPs) e AWS Identity and Access Management (IAM) collaborano per controllare dove è consentita l'inferenza tra regioni. In questo modo puoi controllare quali regioni Amazon Bedrock può utilizzare per l'inferenza e, utilizzando le policy IAM, puoi definire quali utenti o ruoli sono autorizzati a eseguire l'inferenza. SCPs Se una regione di destinazione in un profilo di inferenza interregionale è bloccata nel tuo SCPs, la richiesta avrà esito negativo anche se le altre regioni rimangono consentite. Per garantire un funzionamento efficiente con l'inferenza tra regioni, puoi aggiornare le tue policy SCPs e IAM per consentire tutte le azioni di inferenza Amazon Bedrock richieste (ad esempio, bedrock:InvokeModel* obedrock:CreateModelInvocationJob) in tutte le regioni di destinazione incluse nel profilo di inferenza scelto. Per ulteriori informazioni, consulta https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/Enabling Amazon Bedrock cross-Region inference in multi-account environments.