View a markdown version of this page

Meta Llama model - Amazon Bedrock
Permintaan dan tanggapanContoh kode

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Meta Llama model

Bagian ini menjelaskan parameter permintaan dan bidang respons untuk Meta Llama model. Gunakan informasi ini untuk membuat panggilan inferensi ke Meta Llama model dengan operasi InvokeModel dan InvokeModelWithResponseStream (streaming). Bagian ini juga mencakup contoh Python kode yang menunjukkan cara memanggil Meta Llama model. Untuk menggunakan model dalam operasi inferensi, Anda memerlukan ID model untuk model. Untuk mendapatkan ID model, lihatModel pondasi yang didukung di Amazon Bedrock. Beberapa model juga bekerja dengan Converse API. Untuk memeriksa apakah Meta Llama model tertentu mendukung fitur, lihat model secara sekilas. Untuk contoh kode lainnya, lihatContoh kode untuk Amazon Bedrock menggunakan AWS SDK.

Model pondasi di Amazon Bedrock mendukung modalitas input dan output, yang bervariasi dari model ke model. Untuk memeriksa modalitas yang didukung Meta Llama model, lihatModel pondasi yang didukung di Amazon Bedrock. Untuk memeriksa fitur Amazon Bedrock mana yang didukung Meta Llama model, lihatModel pondasi yang didukung di Amazon Bedrock. Untuk memeriksa AWS Wilayah mana Meta Llama model tersedia, lihatModel pondasi yang didukung di Amazon Bedrock.

Saat Anda melakukan panggilan inferensi dengan Meta Llama model, Anda menyertakan prompt untuk model. Untuk informasi umum tentang membuat petunjuk untuk model yang didukung Amazon Bedrock, lihatKonsep rekayasa prompt. Untuk informasi prompt Meta Llama spesifik, lihat panduan rekayasa MetaLlama cepat.

catatan

Llama 3.2 Instructdan Llama 3.3 Instruct model menggunakan geofencing. Ini berarti bahwa model ini tidak dapat digunakan di luar Wil AWS ayah yang tersedia untuk model ini yang tercantum dalam tabel Wilayah.

Bagian ini memberikan informasi untuk menggunakan model berikut dariMeta.

  • Llama 3 Instruct

  • Llama 3.1 Instruct

  • Llama 3.2 Instruct

  • Llama 3.3 Instruct

  • Llama 4 Instruct

Permintaan dan tanggapan

Badan permintaan diteruskan di body bidang permintaan ke InvokeModel atau InvokeModelWithResponseStream.

catatan

Anda tidak dapat menggunakan operasi InvokeModelWithResponseStream atau ConverseStream (streaming) denganLlama 4 Instruct.

Request

ModelLlama 3 Instruct,Llama 3.1 Instruct,Llama 3.2 Instruct, dan Llama 4 Instruct memiliki parameter inferensi berikut: 

{
    "prompt": string,
    "temperature": float,
    "top_p": float,
    "max_gen_len": int
}

CATATAN: Llama 3.2 dan model yang images lebih baru menambah struktur permintaan, yang merupakan daftar string. Contoh: images: Optional[List[str]]

Berikut ini adalah parameter yang diperlukan:

  • prompt — (Wajib) Prompt yang ingin Anda sampaikan ke model. Untuk hasil yang optimal, format percakapan dengan template berikut.

    <|begin_of_text|><|start_header_id|>user<|end_header_id|>

What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    Contoh template dengan prompt sistem

    Berikut ini adalah contoh prompt yang menyertakan prompt sistem.

    <|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are a helpful AI assistant for travel tips and recommendations<|eot_id|><|start_header_id|>user<|end_header_id|>

What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    Multi-turn contoh percakapan

    Berikut ini adalah contoh prompt percakapan multi-putaran.

    <|begin_of_text|><|start_header_id|>user<|end_header_id|>

What is the capital of France?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

The capital of France is Paris!<|eot_id|><|start_header_id|>user<|end_header_id|>

What is the weather like in Paris?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    Contoh template dengan prompt sistem

    Untuk informasi selengkapnya, lihat MetaLlama 3.

Berikut ini adalah parameter opsional:

  • suhu — Gunakan nilai yang lebih rendah untuk mengurangi keacakan dalam respons.

    Default Minimum Maksimum

    0.5

    0

    1

  • top_p — Gunakan nilai yang lebih rendah untuk mengabaikan opsi yang kurang mungkin. Setel ke 1.0 untuk menonaktifkan.

    Default Minimum Maksimum

    0.9

    0

    1

  • max_gen_len — Tentukan jumlah maksimum token yang akan digunakan dalam respons yang dihasilkan. Model memotong respons setelah teks yang dihasilkan melebihi. max_gen_len

    Default Minimum Maksimum

    512

    1

    2048
Response

Llama 3 InstructModel mengembalikan bidang berikut untuk panggilan inferensi penyelesaian teks. 

{
    "generation": "\n\n<response>",
    "prompt_token_count": int,
    "generation_token_count": int,
    "stop_reason" : string
}

Informasi lebih lanjut tentang setiap bidang disediakan di bawah ini.

  • Gener asi — Teks yang dihasilkan.

  • prompt_token_count — Jumlah token dalam prompt.

  • generation_token_count — Jumlah token dalam teks yang dihasilkan.

  • stop_reason — Alasan mengapa respons berhenti menghasilkan teks. Kemungkinan nilainya adalah:

    • berhenti — Model telah selesai menghasilkan teks untuk prompt input.

    • panjang — Panjang token untuk teks yang dihasilkan melebihi nilai max_gen_len dalam panggilan ke InvokeModel (InvokeModelWithResponseStream, jika Anda streaming output). Responsnya dipotong menjadi token. max_gen_len Pertimbangkan untuk meningkatkan nilai max_gen_len dan mencoba lagi.

Contoh kode

Contoh ini menunjukkan cara memanggil Llama 3 Instruct model.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the Wilayah AWS of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

Contoh ini menunjukkan cara mengontrol panjang generasi menggunakan Llama 3 Instruct model. Untuk tanggapan atau ringkasan terperinci, sesuaikan `max_gen_len` dan sertakan instruksi spesifik dalam prompt Anda.