Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Distillazione Amazon Nova

Questa guida rapida ti aiuta a iniziare a usare la distillazione di modelli Amazon Nova utilizzando la regolazione fine supervisionata (SFT) sull'intelligenza artificiale. SageMaker

La distillazione di modelli è un metodo di SageMaker intelligenza artificiale che trasferisce le conoscenze da modelli avanzati di grandi dimensioni a modelli più piccoli ed efficienti. Con i modelli Amazon Nova, un modello «insegnante» più grande (come Amazon Nova Pro o) trasferisce le sue funzionalità a un modello «studente» più piccolo (come Amazon Nova Lite o Amazon Nova Micro). Questo crea un modello personalizzato che mantiene prestazioni elevate utilizzando meno risorse.

Componenti chiave

Il processo di distillazione prevede principalmente due tipi di modelli:

I modelli insegnante fungono da fonte di conoscenza e includono:

i modelli studente ricevono e implementano le conoscenze:

Casi d’uso

La distillazione modale è particolarmente utile quando:

Prerequisiti

Configurazione dell’aumento dei dati

La fase di aumento dei dati utilizza SageMaker Training Jobs per generare dati di formazione di alta qualità utilizzando il modello degli insegnanti. Questa sezione descrive in dettaglio il processo di configurazione e i requisiti.

Ruolo IAM

Per creare ruoli IAM e collegare policy, consulta Creazione dei ruoli e collegamento delle policy (console). Se utilizzi l’ AWS CLI, segui le istruzioni in create-role e attach-role-policy. Per ulteriori informazioni, consulta How to use SageMaker AI execution roles nella SageMaker AI Developer Guide.

Di seguito sono riportati comandi di esempio come riferimento.

Crea un ruolo di esecuzione SageMaker AI

Il ruolo viene creato con una relazione di fiducia che consente all' SageMaker IA, Amazon Bedrock, di assumere questo ruolo. Ciò permette a questi servizi di agire per conto dell’utente durante l’esecuzione di processi di inferenza in batch.

aws iam create-role \
 --role-name NovaCustomizationRole \
 --assume-role-policy-document '{
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": ["sagemaker.amazonaws.com",
            "bedrock.amazonaws.com"]
 },
 "Action": "sts:AssumeRole"
 }
 ]
}'               

Collegare le policy necessarie

# Attach AmazonSageMakerFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonSageMakerFullAccess

# Attach AmazonBedrockFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonBedrockFullAccess

 # Attach S3 access policy
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess
 
# Attach AmazonEC2FullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonEC2FullAccess
 
# Attach AmazonEC2ContainerRegistryFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryFullAccess
 
# Attach AmazonEC2ContainerRegistryFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/CloudWatchLogsFullAccess 

Collega la seguente policy inline al ruolo di esecuzione del cliente necessario per il container per la distillazione.

aws iam put-role-policy \
 --role-name NovaCustomizationRole \
 --policy-name Distillation-Additional-Permissions\
 --policy-document '{
 "Version": "2012-10-17",
 "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kms:*"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "*"
        }
    ]
}

Configurazione Amazon VPC

Per creare una configurazione Amazon VPC per SageMaker Training Jobs utilizzando Console di gestione AWS, segui le istruzioni in Configura il tuo VPC privato per la formazione sull' SageMaker intelligenza artificiale (console).

Creare una nuova configurazione Amazon VPC

Name: Distillation-VPC
IPv4 CIDR: 10.0.0.0/16 (or your preferred range)
Availability Zones: 2
Public Subnets: 2
Private Subnets: 2
NAT Gateways: 1 (in one AZ)

Creare un gruppo di sicurezza

Name: Distillation-SG
Description: Security group for data distillation jobs
Inbound Rules: Allow all traffic from self
Outbound Rules: Allow all traffic (0.0.0.0/0)

Creare endpoint VPC per i seguenti servizi

com.amazonaws.[region].s3
com.amazonaws.[region].sagemaker.api
com.amazonaws.[region].sagemaker.runtime
com.amazonaws.[region].bedrock.api
com.amazonaws.[region].bedrock.runtime
com.amazonaws.[region].sts
com.amazonaws.[region].logs
com.amazonaws.[region].ecr.api
com.amazonaws.[region].ecr.dkr

Per ogni endpoint:

AWS KMS keys

Quando si utilizza l'inferenza batch di Amazon Bedrock, è necessaria una AWS KMS chiave per la sicurezza e la conformità dei dati. I lavori di inferenza batch di Amazon Bedrock richiedono che i bucket Amazon S3 di input e output siano crittografati con AWS KMS chiavi per garantire la protezione dei dati inattivi.

Crea una chiave KMS utilizzando questo comando: AWS CLI

# Create KMS key
aws kms create-key \
  --description "KMS key for Nova distillation"

Il comando restituisce le informazioni sulla chiave, incluso l’ARN. Output di esempio:

{
    "KeyMetadata": {
        "KeyId": "1234abcd-12ab-34cd-56ef-1234567890ab",
        "Arn": "arn:aws:kms:us-east-1:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
    }
}

Bucket Amazon S3

Sono necessari due tipi di storage Amazon S3. Customer-managed Il bucket Amazon S3 memorizza i dati di input e i file di output. manifest.json È possibile creare e gestire questo bucket, nonché utilizzare un singolo bucket sia per l’input che per l’output. Questo bucket deve essere configurato con la crittografia KMS poiché memorizzerà dati di output sensibili e verrà utilizzato dai lavori di inferenza batch di Amazon Bedrock. Amazon Bedrock richiede KMS-encrypted bucket per l'elaborazione delle attività di inferenza in batch.

Service-managed Il bucket Amazon S3 memorizza i pesi dei modelli. Un bucket Amazon S3 gestito dal servizio viene creato automaticamente durante il primo job di addestramento. Include controlli di accesso limitati con percorsi specifici accessibili solo tramite file di manifesto.

Per creare un bucket in uno specifico Regione AWS, usa il comando CLI create-bucket.

Comando di esempio per creare un bucket Amazon S3 con crittografia. AWS KMS Sostituiscilo {kms_key_arn} con la tua AWS KMS chiave ARN. Dovrai prima creare una AWS KMS chiave se non l'hai già fatto.

aws s3api create-bucket \
    "Rules": [
        {
            "ApplyServerSideEncryptionByDefault": {
                "SSEAlgorithm": "aws:kms",
                "KMSMasterKeyID": "{kms_key_arn}"
            },
            "BucketKeyEnabled": true
        }
    ]
}'

Avvio di un lavoro SageMaker di formazione

Prima di avviare un job di addestramento, prepara i dati.

Requisito del formato dei dati - Il set di dati di input deve essere in formato JSONL e ogni riga deve contenere un campione in formato Converse. Per ulteriori informazioni, consulta Preparing data for distilling understanding models.

Vincoli dei set di dati

Per caricare i dati di input, esegui il seguente comando.

aws s3 cp /path/to/input-data/ s3://customer-input-data-bucket/ —recursive

Ricetta di aumento dei dati

Puoi ottenere la ricetta della distillazione dall'archivio delle SageMaker HyperPod ricette. La ricetta di distillazione si trova nella directory recipes-collection/recipes/fine-tuning/nova. Il processo di aumento dei dati è controllato da un file di configurazione YAML. Di seguito è riportata una descrizione dettagliata di ogni parametro. Tutti i campi sono obbligatori.

Limitazione

Per il modello insegnante come Nova Premier - Supportato solo nella Regione IAD (us-east-1) poiché l’inferenza in batch di Amazon Bedrock non è disponibile nella Regione ARN (eu-north-1).

Best practice

Preparazione dei dati

Selezione del modello

Ottimizzazione delle prestazioni

Avvio di un job con PySDK

Il seguente taccuino di esempio mostra come eseguire un lavoro di formazione per la distillazione. SageMaker Per ulteriori informazioni, consulta Utilizzare uno stimatore SageMaker AI per eseguire un lavoro di formazione.

import os
import sagemaker,boto3
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

sagemaker_session = sagemaker.Session()
role = sagemaker.get_execution_role()

# SETUP
job_name = <Your_job_name> # Must be unique for every run

input_s3_uri = <S3 URI to your input dataset> # Must end in .jsonl file
output_s3_uri = <S3 URI to your output bucket> + job_name

image_uri = "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST" # Do not change
instance_type = "ml.r5.4xlarge" # Recommedation is to use cpu instances 
instance_count = 1 # Must be 1, do not change 
role_arn = <IAM role to execute the job with>
recipe_path = <Local path to your recipe>

# Execution

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    max_run=432000,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    subnets= ['subnet-xxxxxxxxxxxxxxxxx','subnet-xxxxxxxxxxxxxxxxx'], # Add subnet groups created in previous steps
    security_group_ids= ['sg-xxxxxxxxxxxxxxxxx'], # Add security group created in previous steps
    disable_profiler=True,
    debugger_hook_config=False
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

# The keys must be "train".
estimator.fit(inputs={"train": trainingInput})

CloudWatch registri

I log sono disponibili CloudWatch in Amazon nel gruppo di /aws/sagemaker/TrainingJobs log del tuo Account AWS. È presente un file di log per host utilizzato per il job di addestramento.

Esito positivo dell’addestramento

Un job di addestramento ha esito positivo se alla fine del log viene visualizzato il messaggio “Training is complete”.

Il bucket dell’output contiene i seguenti file:

Convalida della qualità dei dati aumentati

Prima di procedere con il fine-tuning, è fondamentale convalidare la qualità dei dati aumentati:

Una volta completato l'aumento dei dati, la seconda fase prevede la messa a punto del modello utilizzato dagli studenti. Per ulteriori informazioni, consulta Fine-tuning supervisionato (SFT).

Nella ricetta di addestramento SFT è possibile passare il percorso del set di dati restituito dal job precedente.

data_s3_path: "s3://[escrow-bucket]/[job-name]/distillation_data/training_data.jsonl"

Sostituisci anche la configurazione di addestramento consigliata generata dalla fase precedente.

Limitazioni