Membuat model bahasa khusus

Sebelum Anda dapat membuat model bahasa kustom Anda, Anda harus:

Mempersiapkan data Anda

Anda dapat mengkompilasi semua data Anda dalam satu file atau menyimpannya sebagai beberapa file. Perhatikan bahwa jika Anda memilih untuk menyertakan data penyetelan, data harus disimpan dalam file terpisah dari data latihan Anda.

Tidak masalah berapa banyak file teks yang Anda gunakan untuk pelatihan atau penyetelan data Anda. Mengunggah satu file dengan 100.000 kata menghasilkan hasil yang sama dengan mengunggah 10 file dengan 10.000 kata. Siapkan data teks Anda dengan cara yang paling nyaman bagi Anda.

Pastikan semua file data Anda memenuhi kriteria berikut:

Jika salah satu kriteria ini tidak terpenuhi, model Anda gagal.

Mengunggah data Anda

Sebelum mengunggah data Anda, buat folder baru untuk data latihan Anda. Jika menggunakan data tuning, buat folder terpisah lainnya.

URI untuk bucket Anda mungkin terlihat seperti:

Unggah data pelatihan dan penyetelan Anda ke bucket yang sesuai.

Anda dapat menambahkan lebih banyak data ke bucket ini di kemudian hari. Namun, jika Anda melakukannya, Anda perlu membuat ulang model Anda dengan data baru. Model yang ada tidak dapat diperbarui dengan data baru.

Mengizinkan akses ke data Anda

Untuk membuat model bahasa kustom, Anda harus menentukan IAM peran yang memiliki izin untuk mengakses Amazon S3 bucket Anda. Jika Anda belum memiliki peran dengan akses ke Amazon S3 bucket tempat Anda menempatkan data latihan, Anda harus membuatnya. Setelah membuat peran, Anda dapat melampirkan kebijakan untuk memberikan izin peran tersebut. Jangan lampirkan kebijakan untuk pengguna.

Untuk kebijakan-kebijakan contoh, lihat Amazon Transcribe contoh kebijakan berbasis identitas.

Untuk mempelajari cara membuat IAM identitas baru, lihat IAMIdentitas (pengguna, grup pengguna, dan peran).

Untuk mempelajari selengkapnya tentang kebijakan, lihat:

Membuat model bahasa kustom Anda

Saat membuat model bahasa khusus Anda, Anda harus memilih model dasar. Ada dua opsi model dasar:

Anda dapat membuat model bahasa kustom menggunakanAWS Management Console,AWS CLI, atau AWS SDK.; lihat contoh berikut:

aws transcribe create-language-model \ 
--base-model-name NarrowBand \ 
--model-name my-first-language-model \ 
--input-data-config S3Uri=s3://DOC-EXAMPLE-BUCKET/my-clm-training-data/,TuningDataS3Uri=s3://DOC-EXAMPLE-BUCKET/my-clm-tuning-data/,DataAccessRoleArn=arn:aws:iam::111122223333:role/ExampleRole \
--language-code en-US

aws transcribe create-language-model \
--cli-input-json file://filepath/my-first-language-model.json

{
  "BaseModelName": "NarrowBand",
  "ModelName": "my-first-language-model",
  "InputDataConfig": {
         "S3Uri": "s3://DOC-EXAMPLE-BUCKET/my-clm-training-data/",
         "TuningDataS3Uri"="s3://DOC-EXAMPLE-BUCKET/my-clm-tuning-data/",
         "DataAccessRoleArn": "arn:aws:iam::111122223333:role/ExampleRole"
    },
  "LanguageCode": "en-US"  
}

from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe', 'us-west-2')
model_name = 'my-first-language-model',
transcribe.create_language_model(
    LanguageCode = 'en-US', 
    BaseModelName = 'NarrowBand',
    ModelName = model_name,
    InputDataConfig = {
        'S3Uri':'s3://DOC-EXAMPLE-BUCKET/my-clm-training-data/',
        'TuningDataS3Uri':'s3://DOC-EXAMPLE-BUCKET/my-clm-tuning-data/',
        'DataAccessRoleArn':'arn:aws:iam::111122223333:role/ExampleRole'
    }
)

while True:
    status = transcribe.get_language_model(ModelName = model_name)
    if status['LanguageModel']['ModelStatus'] in ['COMPLETED', 'FAILED']:
        break
    print("Not ready yet...")
    time.sleep(5)
print(status)

Memperbarui model bahasa kustom Anda

Amazon Transcribeterus memperbarui model dasar yang tersedia untuk model bahasa kustom. Untuk mendapatkan manfaat dari pembaruan ini, kami sarankan melatih model bahasa khusus baru setiap 6 hingga 12 bulan.

Untuk melihat apakah model bahasa kustom Anda menggunakan model dasar terbaru, jalankan DescribeLanguageModelpermintaan menggunakan AWS CLI atau AWS SDK, lalu temukan UpgradeAvailability bidang dalam respons Anda.

Jika UpgradeAvailability yatrue, model Anda tidak menjalankan versi terbaru dari model dasar. Untuk menggunakan model dasar terbaru dalam model bahasa kustom, Anda harus membuat model bahasa kustom baru. Model bahasa kustom tidak dapat ditingkatkan.