Erstellen eines benutzerdefinierten Sprachmodells

Bevor Sie Ihr benutzerdefiniertes Sprachmodell erstellen können, müssen Sie:

Aufbereitung Ihrer Daten

Sie können alle Ihre Daten in einer Datei zusammenfassen oder in mehreren Dateien speichern. Beachten Sie, dass die Abstimmungsdaten in einer von den Trainingsdaten getrennten Datei gespeichert werden müssen, wenn Sie sie einbeziehen möchten.

Es spielt keine Rolle, wie viele Textdateien Sie für Ihre Trainings- oder Tuningdaten verwenden. Das Hochladen einer Datei mit 100.000 Wörtern ergibt das gleiche Ergebnis wie das Hochladen von 10 Dateien mit 10.000 Wörtern. Bereiten Sie Ihre Textdaten so auf, wie es für Sie am bequemsten ist.

Vergewissern Sie sich, dass alle Ihre Datendateien die folgenden Kriterien erfüllen:

Wenn eines dieser Kriterien nicht erfüllt ist, schlägt Ihr Modell fehl.

Hochladen Ihrer Daten

Bevor Sie Ihre Daten hochladen, erstellen Sie einen neuen Ordner für Ihre Trainingsdaten. Wenn Sie Tuning-Daten verwenden, erstellen Sie einen weiteren separaten Ordner.

Das URIs für Ihre Buckets könnte wie folgt aussehen:

Laden Sie Ihre Trainings- und Abstimmungsdaten in die entsprechenden Buckets hoch.

Sie können zu einem späteren Zeitpunkt weitere Daten zu diesen Buckets hinzufügen. In diesem Fall müssen Sie Ihr Modell jedoch mit den neuen Daten neu erstellen. Bestehende Modelle können nicht mit neuen Daten aktualisiert werden.

Ermöglichung des Zugangs zu Ihren Daten

Um ein benutzerdefiniertes Sprachmodell zu erstellen, müssen Sie eine IAM Rolle angeben, die über Berechtigungen für den Zugriff auf Ihren Amazon S3 Bucket verfügt. Wenn Sie noch keine Rolle mit Zugriff auf den Amazon S3 Bucket haben, in dem Sie Ihre Trainingsdaten abgelegt haben, müssen Sie eine erstellen. Nachdem Sie eine Rolle erstellt haben, können Sie eine Richtlinie anhängen, um dieser Rolle Berechtigungen zu erteilen. Weisen Sie einem Benutzer keine Richtlinie zu.

Beispiele für Richtlinien finden Sie unter Amazon Transcribe Beispiele für identitätsbasierte Politik.

Informationen zum Erstellen einer neuen IAM Identität finden Sie unter IAM Identitäten (Benutzer, Benutzergruppen und Rollen).

Weitere Informationen zur Richtlinie finden Sie unter:

Erstellen eines eigenen Sprachmodells

Wenn Sie Ihr eigenes Sprachmodell erstellen, müssen Sie ein Basismodell wählen. Es gibt zwei Optionen für das Basismodell:

Sie können benutzerdefinierte Sprachmodelle mithilfe von AWS Management Console AWS CLI, oder erstellen AWS SDKs. Weitere Informationen finden Sie in den folgenden Beispielen:

aws transcribe create-language-model \ 
--base-model-name NarrowBand \ 
--model-name my-first-language-model \ 
--input-data-config S3Uri=s3://amzn-s3-demo-bucket/my-clm-training-data/,TuningDataS3Uri=s3://amzn-s3-demo-bucket/my-clm-tuning-data/,DataAccessRoleArn=arn:aws:iam::111122223333:role/ExampleRole \
--language-code en-US

aws transcribe create-language-model \
--cli-input-json file://filepath/my-first-language-model.json

{
  "BaseModelName": "NarrowBand",
  "ModelName": "my-first-language-model",
  "InputDataConfig": {
         "S3Uri": "s3://amzn-s3-demo-bucket/my-clm-training-data/",
         "TuningDataS3Uri"="s3://amzn-s3-demo-bucket/my-clm-tuning-data/",
         "DataAccessRoleArn": "arn:aws:iam::111122223333:role/ExampleRole"
    },
  "LanguageCode": "en-US"  
}

from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe', 'us-west-2')
model_name = 'my-first-language-model',
transcribe.create_language_model(
    LanguageCode = 'en-US', 
    BaseModelName = 'NarrowBand',
    ModelName = model_name,
    InputDataConfig = {
        'S3Uri':'s3://amzn-s3-demo-bucket/my-clm-training-data/',
        'TuningDataS3Uri':'s3://amzn-s3-demo-bucket/my-clm-tuning-data/',
        'DataAccessRoleArn':'arn:aws:iam::111122223333:role/ExampleRole'
    }
)

while True:
    status = transcribe.get_language_model(ModelName = model_name)
    if status['LanguageModel']['ModelStatus'] in ['COMPLETED', 'FAILED']:
        break
    print("Not ready yet...")
    time.sleep(5)
print(status)

Aktualisierung des benutzerdefinierten Sprachmodells

Amazon Transcribe aktualisiert kontinuierlich die Basismodelle, die für benutzerdefinierte Sprachmodelle verfügbar sind. Um von diesen Aktualisierungen zu profitieren, empfehlen wir, alle 6 bis 12 Monate neue benutzerdefinierte Sprachmodelle zu trainieren.

Um zu sehen, ob Ihr benutzerdefiniertes Sprachmodell das neueste Basismodell verwendet, führen Sie eine DescribeLanguageModelAnfrage mit dem AWS CLI oder einem AWS SDK aus und suchen Sie dann das UpgradeAvailability Feld in Ihrer Antwort.

Wenn UpgradeAvailability true lautet, läuft auf Ihrem Modell nicht die neueste Version des Basismodells. Um das neueste Basismodell in einem benutzerdefinierten Sprachmodell zu verwenden, müssen Sie ein neues benutzerdefiniertes Sprachmodell erstellen. Benutzerdefinierte Sprachmodelle können nicht aktualisiert werden.