Creazione di un modello linguistico personalizzato

Prima di poter creare il tuo modello linguistico personalizzato, devi:

Preparazione dei dati

Puoi compilare tutti i tuoi dati in un unico file o salvarli in più file. Tieni presente che se scegli di includere i dati di ottimizzazione, questi devono essere salvati in un file separato dai dati di addestramento.

Non importa quanti file di testo utilizzi per i dati di addestramento o di ottimizzazione. Il caricamento di un file con 100.000 parole produce lo stesso risultato del caricamento di 10 file con 10.000 parole. Prepara i dati di testo nel modo più comodo per te.

Accertati che tutti i tuoi file di dati soddisfino i seguenti criteri:

Se uno di questi criteri non viene soddisfatto, il modello non funziona.

Caricamento dei dati

Prima di caricare i dati, crea una nuova cartella per i dati di addestramento. Se utilizzi i dati di ottimizzazione, crea un'altra cartella separata.

Il formato URIs per i tuoi bucket potrebbe essere simile a:

Carica i dati di addestramento e ottimizzazione nei bucket appropriati.

Puoi aggiungere altri dati a questi bucket in un secondo momento. Tuttavia, in tal caso, è necessario ricreare il modello con i nuovi dati. I modelli esistenti non possono essere aggiornati con nuovi dati.

Consentire l'accesso ai dati

Per creare un modello linguistico personalizzato, devi specificare un IAM ruolo con le autorizzazioni per accedere al tuo Amazon S3 bucket. Se non disponi già di un ruolo con accesso al Amazon S3 bucket in cui hai inserito i dati di allenamento, devi crearne uno. Dopo aver creato un ruolo, puoi allegare una policy per concedere le autorizzazioni a quel ruolo. Non collegare una policy a un utente.

Per esempi di policy, consulta Amazon Transcribe esempi di politiche basate sull'identità.

Per informazioni su come creare una nuova IAM identità, consulta IAM Identità (utenti, gruppi di utenti e ruoli).

Per ulteriori informazioni sulle policy, consulta:

Creazione del modello linguistico personalizzato

Quando crei il tuo modello linguistico personalizzato, devi scegliere un modello base. Sono disponibili due opzioni del modello base:

È possibile creare modelli linguistici personalizzati utilizzando AWS Management Console AWS CLI, o AWS SDKs.; vedere i seguenti esempi:

aws transcribe create-language-model \ 
--base-model-name NarrowBand \ 
--model-name my-first-language-model \ 
--input-data-config S3Uri=s3://amzn-s3-demo-bucket/my-clm-training-data/,TuningDataS3Uri=s3://amzn-s3-demo-bucket/my-clm-tuning-data/,DataAccessRoleArn=arn:aws:iam::111122223333:role/ExampleRole \
--language-code en-US

aws transcribe create-language-model \
--cli-input-json file://filepath/my-first-language-model.json

{
  "BaseModelName": "NarrowBand",
  "ModelName": "my-first-language-model",
  "InputDataConfig": {
         "S3Uri": "s3://amzn-s3-demo-bucket/my-clm-training-data/",
         "TuningDataS3Uri"="s3://amzn-s3-demo-bucket/my-clm-tuning-data/",
         "DataAccessRoleArn": "arn:aws:iam::111122223333:role/ExampleRole"
    },
  "LanguageCode": "en-US"  
}

from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe', 'us-west-2')
model_name = 'my-first-language-model',
transcribe.create_language_model(
    LanguageCode = 'en-US', 
    BaseModelName = 'NarrowBand',
    ModelName = model_name,
    InputDataConfig = {
        'S3Uri':'s3://amzn-s3-demo-bucket/my-clm-training-data/',
        'TuningDataS3Uri':'s3://amzn-s3-demo-bucket/my-clm-tuning-data/',
        'DataAccessRoleArn':'arn:aws:iam::111122223333:role/ExampleRole'
    }
)

while True:
    status = transcribe.get_language_model(ModelName = model_name)
    if status['LanguageModel']['ModelStatus'] in ['COMPLETED', 'FAILED']:
        break
    print("Not ready yet...")
    time.sleep(5)
print(status)

Aggiornamento del modello linguistico personalizzato

Amazon Transcribe aggiorna continuamente i modelli di base disponibili per i modelli linguistici personalizzati. Per trarre vantaggio da questi aggiornamenti, consigliamo di addestrare nuovi modelli linguistici personalizzati ogni 6-12 mesi.

Per verificare se il tuo modello linguistico personalizzato utilizza il modello di base più recente, esegui una DescribeLanguageModelrichiesta utilizzando il AWS CLI o un AWS SDK, quindi individua il UpgradeAvailability campo nella risposta.

In caso UpgradeAvailability sia true, sul modello non è in esecuzione la versione più recente del modello base. Per utilizzare il modello base più recente in un modello linguistico personalizzato, è necessario creare un nuovo modello linguistico personalizzato. I modelli linguistici personalizzati non possono essere aggiornati.