Creazione di un processo di ottimizzazione dell’inferenza

Come iniziare a creare un processo di ottimizzazione

1. In SageMaker AI Studio, crea un processo di ottimizzazione tramite uno dei seguenti percorsi:

   • Per creare un lavoro per un JumpStart modello, procedi come segue:

     1. Nel menu di navigazione, scegliete JumpStart.

     2. Nella pagina Tutti i modelli pubblici, scegli un provider di modelli, quindi scegli uno dei modelli che supporta l’ottimizzazione.

     3. Nella pagina dei dettagli del modello, scegli Ottimizza. Questo pulsante è abilitato solo per i modelli che supportano l’ottimizzazione.

     4. Nella pagina Create inference optimization job, alcuni JumpStart modelli richiedono la firma di un contratto di licenza con l'utente finale (EULA) prima di poter procedere. Se richiesto, consulta i termini di licenza nella sezione Contratto di licenza. Se i termini sono accettabili per il caso d’uso specifico, seleziona la casella di controllo Accetto l’EULA e leggi i termini e le condizioni.

   • Per creare un job per un modello ottimizzato JumpStart , effettuate le seguenti operazioni:

     1. Nel menu di navigazione, in Processi, scegli Addestramento.

     2. Nella pagina Training Jobs, scegliete il nome di un job che avete usato per mettere a punto un modello. JumpStart Questi lavori hanno il tipo JumpStart training nella colonna Tipo di lavoro.

     3. Nella pagina dei dettagli del job di addestramento, scegli Ottimizza.

   • Per creare un processo per un modello personalizzato, effettua le seguenti operazioni:

     1. Nel menu di navigazione, in Processi, scegli Ottimizzazione dell’inferenza.

     2. Scegli Create new job (Crea nuovo processo).

     3. Nella pagina Creazione di un processo di ottimizzazione dell’inferenza, scegli Aggiungi modello.

     4. Nella finestra Aggiungi modello, scegli Modello personalizzato.

     5. Scegli una delle seguenti opzioni:

        Usa il tuo modello esistente: seleziona questa opzione per ottimizzare un modello che hai già creato in SageMaker AI.

        Nome del modello esistente: inserisci il nome del tuo modello SageMaker AI.

        Da S3: seleziona questa opzione per fornire artefatti del modello da Amazon S3. In URI S3, inserisci l’URI per la posizione in Amazon S3 in cui hai archiviato gli artefatti del modello.

     6. (Facoltativo) Per il nome del modello Output , puoi inserire un nome personalizzato per il modello ottimizzato creato dal lavoro. Se non fornisci un nome, Studio ne genera automaticamente uno in base alla selezione effettuata.

2. Nella pagina Crea processo di ottimizzazione dell'inferenza, per Nome del lavoro, puoi accettare il nome predefinito assegnato dall' SageMaker IA. Oppure, per inserire un nome di processo personalizzato, seleziona il campo Nome del processo e scegli Inserisci il nome del processo.

Come impostare le configurazioni di ottimizzazione

1. Per Tipo di istanza implementazione, scegli il tipo di istanza per il quale desideri ottimizzare il modello.

   Il tipo di istanza influisce sulle tecniche di ottimizzazione che puoi scegliere. Per la maggior parte dei tipi che utilizzano hardware GPU, le tecniche supportate sono la Quantizzazione e la Decodifica speculativa. Se scegli un'istanza che utilizza silicio personalizzato, come l'istanza AWS Inferentia ml.inf2.8xlarge, la tecnica supportata è Compilation, che puoi usare per compilare il modello per quel tipo di hardware specifico.

2. Seleziona una o più tecniche di ottimizzazione fornite da Studio:

   • Se selezioni Quantizzazione, scegli un tipo di dati per Tipo di dati di precisione.

   • Se selezioni Decodifica speculativa, scegli una delle seguenti opzioni:

     • Usa il modello di bozza SageMaker AI: scegli di utilizzare il modello di bozza fornito dall'IA. SageMaker

       Nota

       Se scegli di utilizzare la bozza del modello SageMaker AI, devi anche abilitare l'isolamento della rete. Studio offre questa opzione in Sicurezza.

     • Scegli il modello di JumpStart bozza: scegli di selezionare un modello dal JumpStart catalogo da utilizzare come modello di bozza.

     • Scegli il tuo modello di bozza: scegli di utilizzare il tuo modello di bozza e fornisci l’URI S3 che lo individua.

   • Se scegli Caricamento rapido del modello, Studio mostra la variabile di ambiente OPTION_TENSOR_PARALLEL_DEGREE. Utilizza il campo Valore per impostare il grado di parallelizzazione tensoriale. Il valore deve dividere equamente il numero di GPU nell’istanza scelta per Tipo di istanza implementazione. Ad esempio, per suddividere il modello mentre utilizzi un’istanza con 8 GPU, utilizza i valori 2, 4 o 8.

   • Se imposti il tipo di istanza Deployment su un'istanza AWS Inferentia o AWS Trainium, Studio potrebbe mostrare che Compilation è l'unica opzione supportata. In tal caso, Studio seleziona questa opzione per te.

3. Per Output, inserisci l’URI di una posizione in Amazon S3. Lì, l' SageMaker intelligenza artificiale memorizza gli artefatti del modello ottimizzato creato dal tuo lavoro.

4. (Facoltativo) Espandi Opzioni avanzate per un controllo più preciso sulle impostazioni, come il ruolo IAM, il VPC e le variabili di ambiente. Per ulteriori informazioni, consulta Opzioni avanzate.

5. Al termine della configurazione del processo, scegli Crea processo.

   Studio mostra la pagina dei dettagli del processo, su cui è indicato lo stato del processo con tutte le relative impostazioni.

Come configurare il progetto

1. Nel codice dell’applicazione, importa le librerie necessarie. L’esempio seguente importa l’SDK per Python (Boto3). Inoltre, importa le classi dall'SDK SageMaker AI Python che utilizzi per definire e lavorare con i modelli:

   import boto3
   from sagemaker.serve.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.core.helper.session_helper import Session
   from pathlib import Path

2. Inizializza una SageMaker sessione AI. L’esempio seguente utilizza la classe Session():

   sagemaker_session = Session()

Come definire il tuo modello

1. Crea un’istanza SchemaBuilder e fornisci esempi di input e output. Fornisci questa istanza alla classe ModelBuilder al momento della definizione di un modello. Con esso, l' SageMaker IA genera automaticamente le funzioni di marshalling per serializzare e deserializzare l'input e l'output.

   Per ulteriori informazioni sull’utilizzo delle classi SchemaBuilder e ModelBuilder, consulta Crea un modello in Amazon SageMaker AI con ModelBuilder.

   L’esempio seguente fornisce esempi di stringhe di input e output per la classe SchemaBuilder:

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. SageMaker Definisci il tuo modello in base all'IA. L’esempio seguente imposta i parametri per inizializzare un’istanza ModelBuilder:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   Questo esempio utilizza un JumpStart modello. Sostituisci jumpstart-model-id con l'ID di un JumpStart modello, ad esempiometa-textgeneration-llama-3-70b.

   Nota

   Se si desidera ottimizzare con la decodifica speculativa e si desidera utilizzare la bozza SageMaker AI, è necessario abilitare l'isolamento della rete. Per abilitarlo, includi il seguente argomento quando inizializzi un’istanza ModelBuilder:

   enable_network_isolation=True,

   Per ulteriori informazioni sull’isolamento della rete, consulta Isolamento di rete.

Come eseguire l’ottimizzazione con la quantizzazione

1. Per eseguire un processo di quantizzazione, utilizza il metodo optimize() e imposta l’argomento quantization_config. L’esempio seguente imposta OPTION_QUANTIZE come variabile di ambiente nel container di ottimizzazione:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   In questo esempio, sostituisci instance-type con un’istanza ML, ad esempio ml.p4d.24xlarge. Sostituisci s3://output-path con il percorso della posizione S3 in cui archivi il modello ottimizzato creato dal processo.

   Il metodo optimize() restituisce un oggetto Model, che è possibile utilizzare per implementare il modello in un endpoint.

2. Al termine del processo, implementa il modello. L’esempio seguente utilizza il metodo deploy():

   endpoint = model_builder.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   In questo esempio, sostituisci instance-type con un’istanza ML, ad esempio ml.p4d.24xlarge.

   Il deploy() metodo restituisce un Endpoint oggetto, che puoi utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Per ottimizzare con la decodifica speculativa utilizzando il modello di bozza AI SageMaker

Quando ottimizzate il modello con la decodifica speculativa, potete scegliere di utilizzare una bozza di modello fornita dall' SageMaker intelligenza artificiale oppure potete utilizzare il vostro. Gli esempi seguenti utilizzano il modello di bozza SageMaker AI.

1. Per eseguire un processo di decodifica speculativa, utilizza il metodo optimize() e imposta l’argomento speculative_decoding_config. L'esempio seguente imposta la ModelProvider chiave per utilizzare il modello SAGEMAKER di bozza fornito dall'IA. SageMaker

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   In questo esempio, sostituisci instance-type con un’istanza ML, ad esempio ml.p4d.24xlarge.

   Il metodo optimize() restituisce un oggetto Model, che è possibile utilizzare per implementare il modello in un endpoint.

2. Al termine del processo, implementa il modello. L’esempio seguente utilizza il metodo deploy():

   endpoint = model_builder.deploy(accept_eula=True)

   Il deploy() metodo restituisce un Endpoint oggetto, che è possibile utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Come eseguire l’ottimizzazione con la decodifica speculativa utilizzando un modello di bozza personalizzato

Prima di poter fornire la bozza del modello personalizzato all' SageMaker IA, devi prima caricare gli artefatti del modello su Amazon S3.

Gli esempi seguenti mostrano un modo possibile per fornire una bozza di modello personalizzata. Gli esempi scaricano la bozza del modello da Hugging Face Hub, la caricano in Amazon S3 e forniscono l’URI S3 per l’argomento speculative_decoding_config.

1. Se desideri scaricare un modello dall’Hugging Face Hub, aggiungi la libreria huggingface_hub al tuo progetto e scarica un modello con il metodo snapshot_download(). L’esempio seguente scarica un modello in una cartella locale:

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   In questo esempio, sostituisci model-id con l’ID di un modello dell’Hugging Face Hub, ad esempio meta-llama/Meta-Llama-3-8B. Sostituisci download-dir con una directory locale. Sostituisci hf-access-token con il tuo token di accesso utente. Per scoprire come ottenere il token di accesso, consulta Token di accesso utente nella documentazione di Hugging Face.

   Per ulteriori informazioni sulla libreria huggingface_hub, consulta Libreria client dell’hub nella documentazione di Hugging Face.

2. Per rendere il modello scaricato disponibile all' SageMaker IA, caricalo su Amazon S3. L’esempio seguente carica il modello con l’oggetto sagemaker_session.

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   In questo esempio, sostituisci prefix con un qualificatore che ti aiuti a distinguere la bozza del modello in S3, ad esempio spec-dec-custom-draft-model.

   Il metodo upload_data() restituisce l’URI S3 per gli artefatti del modello.

3. Per eseguire un processo di decodifica speculativa, utilizza il metodo optimize() e imposta l’argomento speculative_decoding_config. L’esempio seguente imposta la chiave ModelSource per l’URI S3 del modello di bozza personalizzato:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   In questo esempio, sostituisci instance-type con un’istanza ML, ad esempio ml.p4d.24xlarge.

   Il metodo optimize() restituisce un oggetto Model, che è possibile utilizzare per implementare il modello in un endpoint.

4. Al termine del processo, implementa il modello. L’esempio seguente utilizza il metodo deploy():

   endpoint = model_builder.deploy(accept_eula=True)

   Il deploy() metodo restituisce un Endpoint oggetto, che puoi utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Come ottimizzare con la compilazione

1. Per eseguire un processo di compilazione, utilizza il metodo optimize() e imposta l’argomento compilation_config. L’esempio seguente utilizza la chiave OverrideEnvironment per impostare le variabili di ambiente necessarie nel container di ottimizzazione:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   In questo esempio, imposta instance-type su un tipo di istanza ML con hardware accelerato. Ad esempio, per un'inferenza accelerata con AWS Inferentia, è possibile impostare il tipo su un'istanza Inf2, ad esempio. ml.inf2.48xlarge Sostituisci s3://output-path con il percorso della posizione S3 in cui archivi il modello ottimizzato creato dal processo.

2. Al termine del processo, implementa il modello. L’esempio seguente utilizza il metodo deploy():

   endpoint = model_builder.deploy(accept_eula=True)

   Il deploy() metodo restituisce un Endpoint oggetto, che è possibile utilizzare per inviare richieste di inferenza all'endpoint che ospita il modello.

Come testare il modello con una richiesta di inferenza

• Per inviare una richiesta di inferenza di test al modello distribuito, utilizzate il invoke() metodo dell'oggetto. Endpoint L’esempio seguente passa la variabile sample_input, che è stata passata anche alla classe SchemaBuilder negli esempi per definire il modello:

  import json
  
  response = endpoint.invoke(body=json.dumps(sample_input), content_type="application/json")
  result = json.loads(response.body.read().decode('utf-8'))

  L’input di esempio presenta il prompt, "What is the largest planet in the solar system?". Il metodo invoke() restituisce la risposta generata dal modello, come illustrato nell’esempio seguente:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}