Crea un lavoro di ottimizzazione dell'inferenza

Per iniziare a creare un lavoro di ottimizzazione

1. In SageMaker AI Studio, crea un lavoro di ottimizzazione attraverso uno dei seguenti percorsi:

   • Per creare un lavoro per un JumpStart modello, procedi come segue:

     1. Nel menu di navigazione, scegliete JumpStart.

     2. Nella pagina Tutti i modelli pubblici, scegli un fornitore di modelli, quindi scegli uno dei modelli che supporta l'ottimizzazione.

     3. Nella pagina dei dettagli del modello, scegli Ottimizza. Questo pulsante è abilitato solo per i modelli che supportano l'ottimizzazione.

     4. Nella pagina Crea processo di ottimizzazione dell'inferenza, alcuni JumpStart modelli richiedono la firma di un contratto di licenza con l'utente finale (EULA) prima di poter procedere. Se richiesto, consulta i termini di licenza nella sezione Contratto di licenza. Se i termini sono accettabili per il tuo caso d'uso, seleziona la casella di controllo Accetto l'EULA e leggi i termini e le condizioni.

   • Per creare un lavoro per un JumpStart modello ottimizzato, procedi come segue:

     1. Nel menu di navigazione, sotto Jobs, scegli Formazione.

     2. Nella pagina Training Jobs, scegli il nome di un job che hai usato per mettere a punto un JumpStart modello. Questi lavori hanno il tipo di JumpStartformazione nella colonna Tipo di lavoro.

     3. Nella pagina dei dettagli del lavoro di formazione, scegli Ottimizza.

   • Per creare un lavoro per un modello personalizzato, procedi come segue:

     1. Nel menu di navigazione, sotto Jobs, scegli Ottimizzazione dell'inferenza.

     2. Scegli Create new job (Crea nuovo processo).

     3. Nella pagina Crea lavoro di ottimizzazione dell'inferenza, scegli Aggiungi modello.

     4. Nella finestra Aggiungi modello, scegli Modello personalizzato.

     5. Per Nome modello personalizzato, inserisci un nome.

     6. Per l'URI S3, inserisci l'URI per la posizione in Amazon S3 in cui hai archiviato gli artefatti del modello.

2. Nella pagina Create inference optimization job, per Job name, puoi accettare il nome predefinito assegnato da SageMaker AI. Oppure, per inserire un nome di lavoro personalizzato, scegli il campo Nome lavoro e scegli Inserisci nome lavoro.

Per impostare le configurazioni di ottimizzazione

1. Per Tipo di istanza Deployment, scegli il tipo di istanza per cui desideri ottimizzare il modello.

   Il tipo di istanza influisce sulle tecniche di ottimizzazione che puoi scegliere. Per la maggior parte dei tipi che utilizzano hardware GPU, le tecniche supportate sono la quantizzazione e la decodifica speculativa. Se scegli un'istanza che utilizza silicio personalizzato, come l'istanza AWS Inferentia ml.inf2.8xlarge, la tecnica supportata è Compilation, che puoi usare per compilare il modello per quel tipo di hardware specifico.

2. Seleziona una o più delle tecniche di ottimizzazione fornite da Studio:

   • Se selezionate Quantizzazione, scegliete un tipo di dati per il tipo di dati Precision.

   • Se selezionate Decodifica speculativa, scegliete una delle seguenti opzioni:

     • Usa il modello di bozza SageMaker AI: scegli di utilizzare il modello di bozza fornito dall'IA. SageMaker

       Nota

       Se scegli di utilizzare il modello di bozza SageMaker AI, devi anche abilitare l'isolamento della rete. Studio offre questa opzione in Sicurezza.

     • Scegli il modello di JumpStart bozza: scegli di selezionare un modello dal JumpStart catalogo da utilizzare come modello di bozza.

     • Scegli il tuo modello di bozza: scegli di utilizzare il tuo modello di bozza e fornisci l'URI S3 che lo localizza.

   • Se scegli Caricamento rapido del modello, Studio mostra la variabile di OPTION_TENSOR_PARALLEL_DEGREE ambiente. Utilizzate il campo Valore per impostare il grado di parallelismo tensoriale. Il valore deve dividere equamente il numero di GPUs nell'istanza scelta per il tipo di istanza Deployment. Ad esempio, per suddividere il modello utilizzando un'istanza con 8 GPUs, utilizzate i valori 2, 4 o 8.

   • Se imposti il tipo di istanza Deployment su un'istanza AWS Inferentia o AWS Trainium, Studio potrebbe mostrare che Compilation è l'unica opzione supportata. In tal caso, Studio seleziona questa opzione per te.

3. Per Output, inserisci l'URI di una posizione in Amazon S3. Qui, l' SageMaker intelligenza artificiale memorizza gli artefatti del modello ottimizzato creato dal tuo lavoro.

4. (Facoltativo) Espandi le opzioni avanzate per un controllo più preciso su impostazioni come il ruolo IAM, il VPC e le variabili di ambiente. Per ulteriori informazioni, consulta la sezione Opzioni avanzate di seguito.

5. Al termine della configurazione del lavoro, scegli Crea lavoro.

   Studio mostra la pagina dei dettagli del lavoro, che mostra lo stato del lavoro e tutte le relative impostazioni.

Per configurare il tuo progetto

1. Nel codice dell'applicazione, importate le librerie necessarie. L'esempio seguente importa l'SDK per Python (Boto3). Importa anche le classi dall'SDK SageMaker AI Python che usi per definire e lavorare con i modelli:

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. Inizializza una SageMaker sessione AI. L'esempio seguente utilizza la Session() classe:

   sagemaker_session = Session()

Per definire il modello

1. Crea un'SchemaBuilderistanza e fornisci esempi di input e output. Fornite questa istanza alla ModelBuilder classe quando definite un modello. Con esso, l' SageMaker IA genera automaticamente le funzioni di marshalling per la serializzazione e la deserializzazione dell'input e dell'output.

   Per ulteriori informazioni sull'utilizzo delle classi and, consulta. SchemaBuilder ModelBuilder Crea un modello in Amazon SageMaker AI con ModelBuilder

   L'esempio seguente fornisce esempi di stringhe di input e output per la SchemaBuilder classe:

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. Definisci il tuo modello in base all' SageMaker intelligenza artificiale. L'esempio seguente imposta i parametri per inizializzare un'ModelBuilderistanza:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   Questo esempio utilizza un JumpStart modello. Sostituisci jumpstart-model-id con l'ID di un JumpStart modello, ad esempiometa-textgeneration-llama-3-70b.

   Nota

   Se desideri ottimizzare con la decodifica speculativa e desideri utilizzare la bozza SageMaker AI, devi abilitare l'isolamento della rete. Per abilitarlo, includi il seguente argomento quando inizializzi un'istanza: ModelBuilder

   enable_network_isolation=True,

   Per ulteriori informazioni sull'isolamento della rete, vedereIsolamento di rete.

Ottimizzare con la quantizzazione

1. Per eseguire un processo di quantizzazione, utilizzate il optimize() metodo e impostate l'quantization_configargomento. L'esempio seguente viene impostato OPTION_QUANTIZE come variabile di ambiente nel contenitore di ottimizzazione:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   In questo esempio, sostituisci instance-type con un'istanza ML, ad esempioml.p4d.24xlarge. Sostituisci s3://output-path con il percorso della posizione S3 in cui memorizzi il modello ottimizzato creato dal lavoro.

   Il optimize() metodo restituisce un Model oggetto, che puoi utilizzare per distribuire il modello su un endpoint.

2. Al termine del processo, distribuisci il modello. L'esempio seguente utilizza il deploy() metodo:

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   In questo esempio, sostituisci instance-type con un'istanza ML, ad esempioml.p4d.24xlarge.

   Il deploy() metodo restituisce un oggetto predittore, che è possibile utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Per ottimizzare con la decodifica speculativa utilizzando il modello di bozza AI SageMaker

Quando ottimizzi il modello con una decodifica speculativa, puoi scegliere di utilizzare una bozza di modello fornita dall' SageMaker intelligenza artificiale oppure puoi usare il tuo. I seguenti esempi utilizzano il modello di bozza SageMaker AI.

1. Per eseguire un processo di decodifica speculativo, utilizzate il optimize() metodo e impostate l'argomento. speculative_decoding_config L'esempio seguente imposta la ModelProvider chiave per utilizzare il modello SAGEMAKER di bozza fornito dall'IA. SageMaker

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   In questo esempio, instance-type sostituiscilo con un'istanza ML, ad esempioml.p4d.24xlarge.

   Il optimize() metodo restituisce un Model oggetto, che potete utilizzare per distribuire il modello su un endpoint.

2. Al termine del processo, distribuisci il modello. L'esempio seguente utilizza il deploy() metodo:

   predictor = optimized_model.deploy(accept_eula=True)

   Il deploy() metodo restituisce un oggetto predittore, che è possibile utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Per ottimizzare con la decodifica speculativa utilizzando un modello di bozza personalizzato

Prima di poter fornire la bozza del modello personalizzato all' SageMaker IA, devi prima caricare gli artefatti del modello su Amazon S3.

Gli esempi seguenti mostrano un modo possibile per fornire una bozza di modello personalizzata. Gli esempi scaricano la bozza del modello da Hugging Face Hub, la caricano su Amazon S3 e forniscono l'URI S3 all'argomento. speculative_decoding_config

1. Se desideri scaricare un modello dall'Hugging Face Hub, aggiungi la huggingface_hub libreria al tuo progetto e scarica un modello con il metodo. snapshot_download() L'esempio seguente scarica un modello in una directory locale:

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   In questo esempio, sostituisci model-id con l'ID di un modello l'Hugging Face Hub, ad esempio. meta-llama/Meta-Llama-3-8B Sostituisci download-dir con una directory locale. hf-access-tokenSostituiscila con il tuo token di accesso utente. Per sapere come ottenere il token di accesso, consulta Token di accesso utente nella documentazione di Hugging Face.

   Per ulteriori informazioni sulla huggingface_hub libreria, consulta la libreria client Hub nella documentazione di Hugging Face.

2. Per rendere disponibile all' SageMaker IA il modello scaricato, caricalo su Amazon S3. L'esempio seguente carica il modello con l'sagemaker_sessionoggetto:

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   In questo esempio, sostituiscilo prefix con un qualificatore che ti aiuti a distinguere la bozza del modello in S3, ad esempio. spec-dec-custom-draft-model

   Il upload_data() metodo restituisce l'URI S3 per gli artefatti del modello.

3. Per eseguire un processo di decodifica speculativo, utilizzate il optimize() metodo e impostate l'argomento. speculative_decoding_config L'esempio seguente imposta la ModelSource chiave per l'URI S3 del modello di bozza personalizzato:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   In questo esempio, sostituisci instance-type con un'istanza ML, ad esempio. ml.p4d.24xlarge

   Il optimize() metodo restituisce un Model oggetto, che potete utilizzare per distribuire il modello su un endpoint.

4. Al termine del processo, distribuisci il modello. L'esempio seguente utilizza il deploy() metodo:

   predictor = optimized_model.deploy(accept_eula=True)

   Il deploy() metodo restituisce un oggetto predittore, che è possibile utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Per ottimizzare con la compilazione

1. Per eseguire un processo di compilazione, utilizzate il optimize() metodo e impostate l'compilation_configargomento. L'esempio seguente utilizza la OverrideEnvironment chiave per impostare le variabili di ambiente necessarie nel contenitore di ottimizzazione:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   In questo esempio, impostate su instance-type un tipo di istanza ML con hardware accelerato. Ad esempio, per l'inferenza accelerata con AWS Inferentia, è possibile impostare il tipo su un'istanza Inf2, ad esempio. ml.inf2.48xlarge Sostituisci s3://output-path con il percorso della posizione S3 in cui memorizzi il modello ottimizzato creato dal lavoro.

2. Al termine del processo, distribuisci il modello. L'esempio seguente utilizza il deploy() metodo:

   predictor = optimized_model.deploy(accept_eula=True)

   Il deploy() metodo restituisce un oggetto predittore, che è possibile utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Per testare il modello con una richiesta di inferenza

• Per inviare una richiesta di inferenza di test al modello distribuito, utilizzate il predict() metodo di un oggetto predittore. L'esempio seguente passa la sample_input variabile che è stata passata anche alla SchemaBuilder classe negli esempi per definire il modello:

  predictor.predict(sample_input)

  L'input di esempio ha il prompt,"What is the largest planet in the solar system?". Il predict() metodo restituisce la risposta generata dal modello, come illustrato nell'esempio seguente:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}