View a markdown version of this page

Mistral AI penyelesaian obrolan - Amazon Bedrock
Model yang didukungPermintaan dan Tanggapan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mistral AI penyelesaian obrolan

API penyelesaian Mistral AI obrolan memungkinkan membuat aplikasi percakapan.

Tip

Anda dapat menggunakan API penyelesaian Mistral AI obrolan dengan operasi inferensi dasar (InvokeModelatau InvokeModelWithResponseStream). Namun, kami menyarankan Anda menggunakan Converse API untuk mengimplementasikan pesan di aplikasi Anda. ConverseAPI menyediakan kumpulan parameter terpadu yang berfungsi di semua model yang mendukung pesan. Untuk informasi selengkapnya, lihat Inferensi menggunakan Converse API.

Mistral AImodel tersedia di bawah lisensi Apache 2.0. Untuk informasi selengkapnya tentang menggunakan Mistral AI model, lihat Mistral AI dokumentasi.

Model yang didukung

Anda dapat menggunakan Mistral AI model berikut.

  • Mistral Large

Anda memerlukan ID model untuk model yang ingin Anda gunakan. Untuk mendapatkan ID model, lihatModel pondasi yang didukung di Amazon Bedrock.

Permintaan dan Tanggapan

Request

Mistral AIModel memiliki parameter inferensi berikut. 

{
    "messages": [
        {
            "role": "system"|"user"|"assistant",
            "content": str
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": str,
                    "function": {
                        "name": str,
                        "arguments": str
                    }
                }
            ]
        },
        {
            "role": "tool",
            "tool_call_id": str,
            "content": str
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": str,
                "description": str,
                "parameters": dict
            }
        }
    ],
    "tool_choice": "auto"|"any"|"none",
    "max_tokens": int,
    "top_p": float,
    "temperature": float
}

Berikut ini adalah parameter yang diperlukan.

  • pesan — (Wajib) Pesan yang ingin Anda sampaikan ke model.

    • Per an — Peran untuk pesan. Nilai yang valid adalah:

      • sistem — Mengatur perilaku dan konteks untuk model dalam percakapan.

      • user — Pesan pengguna yang akan dikirim ke model.

      • Asist en — Respons dari model.

    • konten — Konten untuk pesan.

    [
    {
        "role": "user",
        "content": "What is the most popular song on WZPZ?"
    }
]

    Untuk meneruskan hasil alat, gunakan JSON dengan bidang berikut.

    • Per an — Peran untuk pesan. Nilainya harus tool

    • tool_call_id — ID permintaan alat. Anda mendapatkan ID dari tool_calls bidang dalam respons dari permintaan sebelumnya.

    • konten — Hasil dari alat.

    Contoh berikut adalah hasil dari alat yang mendapatkan lagu paling populer di stasiun radio.

    {
    "role": "tool",
    "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg",
    "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}"
}

Berikut ini adalah parameter opsional.

  • alat — Definisi alat yang dapat digunakan model.

    Jika Anda tools menyertakan dalam permintaan Anda, model dapat mengembalikan tool_calls bidang dalam pesan yang mewakili penggunaan alat tersebut oleh model. Anda kemudian dapat menjalankan alat-alat tersebut menggunakan input alat yang dihasilkan oleh model dan kemudian secara opsional mengembalikan hasil kembali ke model menggunakan blok tool_result konten.

    Contoh berikut adalah untuk alat yang mendapatkan lagu paling populer di stasiun radio.

    [
    {
        "type": "function",
        "function": {
            "name": "top_song",
            "description": "Get the most popular song played on a radio station.",
            "parameters": {
                "type": "object",
                "properties": {
                    "sign": {
                        "type": "string",
                        "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                    }
                },
                "required": [
                    "sign"
                ]
            }
        }
    }
]

  • tool_choice — Menentukan bagaimana fungsi dipanggil. Jika diset none el ke model tidak akan memanggil fungsi dan akan menghasilkan pesan sebagai gantinya. Jika diatur auto ke model dapat memilih untuk menghasilkan pesan atau memanggil fungsi. Jika diatur any ke model dipaksa untuk memanggil fungsi.

  • max_tokens — Tentukan jumlah maksimum token yang akan digunakan dalam respons yang dihasilkan. Model memotong respons setelah teks yang dihasilkan melebihi. max_tokens

    Default Minimum Maksimum

    Mistral Large-- 8.192

    1

    Mistral Large-- 8.192

  • suhu — Mengontrol keacakan prediksi yang dibuat oleh model. Untuk informasi selengkapnya, lihat Mempengaruhi generasi respons dengan parameter inferensi.

    Default Minimum Maksimum

    Mistral Large-- 0.7

    0

    1

  • top_p — Mengontrol keragaman teks yang dihasilkan model dengan menetapkan persentase kandidat paling mungkin yang dipertimbangkan model untuk token berikutnya. Untuk informasi selengkapnya, lihat Mempengaruhi generasi respons dengan parameter inferensi.

    Default Minimum Maksimum

    Mistral Large-- 1

    0

    1
Response

Tang body gapan dari panggilan ke InvokeModel adalah sebagai berikut:

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": str,
                "tool_calls": [...]
            },
            "stop_reason": "stop"|"length"|"tool_calls"
        }
    ]
}

Tang body gapan memiliki bidang berikut:

  • Pilihan — Output dari model. bidang.

    • index — Indeks untuk pesan.

    • Pesan — Pesan dari model.

      • Per an — Peran untuk pesan.

      • konten — Konten untuk pesan.

      • tool_calls — Jika nilainya stop_reason adalahtool_calls, bidang ini berisi daftar permintaan alat yang model ingin Anda jalankan.

        • id — ID untuk permintaan alat.

        • function — Fungsi yang diminta model.

          • name — Nama fungsi.

          • argum en — Argumen untuk diteruskan ke alat

        Berikut ini adalah contoh permintaan untuk alat yang mendapatkan lagu teratas di stasiun radio.

        [
                    {
                        "id": "v6RMMiRlT7ygYkT4uULjtg",
                        "function": {
                            "name": "top_song",
                            "arguments": "{\"sign\": \"WZPZ\"}"
                        }
                    }
                ]

    • stop_reason — Alasan mengapa respons berhenti menghasilkan teks. Kemungkinan nilainya adalah:

      • berhenti — Model telah selesai menghasilkan teks untuk prompt input. Model berhenti karena tidak memiliki konten lagi untuk dihasilkan atau jika model menghasilkan salah satu urutan berhenti yang Anda tentukan dalam parameter stop permintaan.

      • panjang — Panjang token untuk teks yang dihasilkan melebihi nilaimax_tokens. Responsnya dipotong menjadi token. max_tokens

      • tool_calls — Model meminta Anda menjalankan alat.