Pengaliran log sumber data Pengaliran log dokumen Lihat metrik Amazon Kendra untuk pekerjaan sinkronisasi Anda

Memantau Amazon Kendra dengan Log Amazon CloudWatch

Amazon Kendra menggunakan Amazon CloudWatch Logs untuk memberi Anda wawasan tentang pengoperasian sumber data Anda. Amazon Kendra mencatat detail proses untuk dokumen saat diindeks. Ini mencatat kesalahan dari sumber data Anda yang terjadi saat dokumen Anda sedang diindeks. Anda menggunakan CloudWatch Log untuk memantau, menyimpan, dan mengakses file log.

CloudWatch Log menyimpan peristiwa log dalam aliran log yang merupakan bagian dari grup log. Amazon Kendra menggunakan fitur ini sebagai berikut:

Grup log — Amazon Kendra menyimpan semua aliran log Anda dalam satu grup log untuk setiap indeks. Amazon Kendra membuat grup log saat indeks dibuat. Pengidentifikasi grup log selalu dimulai dengan "aws/kendra/".
Aliran Log — Amazon Kendra membuat aliran log sumber data baru di grup log untuk setiap pekerjaan sinkronisasi indeks yang Anda jalankan. Ini juga membuat pengaliran log dokumen baru ketika pengaliran mencapai sekitar 500 entri.
Entri log—Amazon Kendra membuat entri log di aliran log saat mengindeks dokumen. Setiap entri memberikan informasi tentang pemrosesan dokumen atau kesalahan apa pun yang ditemui.

Untuk informasi selengkapnya tentang menggunakan CloudWatch Log, lihat Apa itu Log Amazon Cloud Watch di Panduan Pengguna Amazon Cloud Watch Logs.

Amazon Kendra menciptakan dua jenis pengaliran log:

Pengaliran log sumber data
Pengaliran log dokumen

Pengaliran log sumber data

Pengaliran log sumber data mempublikasikan entri tentang tugas sinkronisasi indeks Anda. Setiap tugas sinkronisasi membuat pengaliran log baru yang digunakan untuk mempublikasikan entri. Nama pengaliran log adalah:


data source id/YYYY-MM-DD-HH/data source sync job ID

Pengaliran log baru dibuat untuk setiap tugas sinkronisasi yang dijalankan.

Ada tiga jenis pesan log diterbitkan ke pengaliran log sumber data:

Pesan log untuk dokumen yang gagal dikirim untuk pengindeksan. Berikut ini adalah contoh pesan ini untuk dokumen di sumber data S3:


{
    "DocumentId": "document ID",
    "S3Path": "s3://bucket/prefix/object",
    "Message": "Failed to ingest document via BatchPutDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "No document metadata configuration found for document attribute key  city."
}

Pesan log untuk dokumen yang gagal dikirim untuk penghapusan. Berikut adalah contoh dari jenis peristiwa ini:


{
    "DocumentId": "document ID",
    "Message": "Failed to delete document via BatchDeleteDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "Document can't be deleted because it doesn't exist." 
}

Pesan log ketika file metadata tidak valid untuk dokumen di bucket Amazon S3 ditemukan. Berikut adalah contoh dari jenis peristiwa ini.
```
{
    "Message": "Found invalid metadata file bucket/prefix/filename.extension.metadata.json."
}
```

Untuk SharePoint dan konektor database, Amazon Kendra hanya menulis pesan ke aliran log jika dokumen tidak dapat diindeks. Berikut ini adalah contoh dari pesan galat yang dicatat Amazon Kendra.


{ 
    "DocumentID": "document ID", 
    "IndexID": "index ID", 
    "SourceURI": "", 
    "CrawlStatus": "FAILED", 
    "ErrorCode": "403", 
    "ErrorMessage": "Access Denied", 
    "DataSourceErrorCode": "403"
}

Pengaliran log dokumen

Amazon Kendra mencatat informasi tentang pemrosesan dokumen saat sedang diindeks. Amazon Kendra mencatat sekumpulan pesan untuk dokumen yang disimpan di sumber data Amazon S3. Ini mencatat kesalahan hanya untuk dokumen yang disimpan di Microsoft SharePoint atau sumber data database.

Jika dokumen ditambahkan ke indeks menggunakan BatchPutDocumentoperasi, aliran log diberi nama sebagai berikut:


YYYY-MM-DD-HH/UUID

Jika dokumen ditambahkan ke indeks menggunakan sumber data, pengaliran log dinamai sebagai berikut:


dataSourceId/YYYY-MM-DD-HH/UUID

Setiap pengaliran log berisi hingga 500 pesan.

Jika pengindeksan dokumen gagal, pesan ini akan ditampilkan ke pengaliran log:


{
    "DocumentId": "document ID",
    "IndexName": "index name",
    "IndexId": "index ID"
    "SourceURI": "source URI"
    "IndexingStatus": "DocumentFailedToIndex",
    "ErrorCode": "400 | 500",
    "ErrorMessage": "message"
}

Lihat metrik Amazon Kendra untuk pekerjaan sinkronisasi Anda

Anda dapat melihat laporan riwayat proses sinkronisasi tingkat dokumen CloudWatch untuk pekerjaan sinkronisasi sumber data Anda dengan memilih Lihat Laporan. Laporan riwayat proses sinkronisasi akan memiliki detail tentang kemajuan dan status setiap dokumen dalam pekerjaan sinkronisasi. Ini menunjukkan apakah dokumen berhasil, gagal, atau dilewati selama tahap crawl, sinkronisasi, dan indeks. Anda juga akan menemukan pesan kesalahan yang terkait dengan dokumen yang gagal atau dilewati. Jika laporan tidak menampilkan hasil untuk pekerjaan sinkronisasi yang sedang berlangsung, log mungkin belum tersedia. Periksa kembali nanti karena data dipancarkan ke laporan saat peristiwa terjadi selama proses sinkronisasi.

Untuk mengakses laporan riwayat proses sinkronisasi, lakukan langkah-langkah berikut:

Buka konsol Amazon Kendra di. https://console.aws.amazon.com/kendra/
Dari menu navigasi kiri, di bawah Manajemen data, pilih Sumber data, lalu pilih sumber data Anda.
Dari halaman ringkasan sumber data Anda, gulir ke bawah dan pilih tab Sync history.
Dari Sync run history, pilih Actions.
Dari Tindakan, pilih Lihat laporan. Anda akan diarahkan ke CloudWatch konsol tempat Anda dapat mengakses laporan Anda.

catatan

Riwayat proses sinkronisasi mencatat jika dokumen berhasil diindeks selama konsumsi, termasuk terlampir ACLs dan metadata, untuk semua konektor yang didukung Amazon Kendra.

Jika Anda menggunakan konektor Amazon S3:

Selain melihat laporan riwayat proses sinkronisasi tingkat dokumen CloudWatch, Anda dapat membuat laporan riwayat sinkronisasi untuk setiap dokumen di sumber data Amazon S3 Anda dan menyalinnya ke Amazon S3 bucket. Selama proses ini, data Anda dienkripsi menggunakan AWS KMS kunci dan hanya dapat dilihat oleh Anda. Status dokumen yang dilaporkan dapat berupa salah satu dari berikut: Gagal, Selesai, atau Berhasil dengan kesalahan. Sebelum Anda dapat membuat laporan status sinkronisasi untuk Amazon S3, Anda harus melakukan hal berikut:

Tambahkan yang berikut Amazon Kendra prinsipal layanan untuk Anda Amazon S3 kebijakan akses


{
    “Version”: “2012-10-17",
    “Statement”: [
        {
            “Sid”: “KendraS3Access”,
            “Effect”: “Allow”,
            “Principal”: {
                “Service”: “kendra.amazonaws.com”
            },
            “Action”: “s3:PutObject”,
            “Resource”: “arn:aws:s3:::your-manifest-bucket-name/*”
        }
    ]
}

Buat sebuah Amazon S3 bucket dengan izin akses ke Amazon Kendra

Jika Anda menggunakan konsol, untuk membuat laporan riwayat sinkronisasi untuk Amazon S3, pilih untuk mengaktifkan opsi Hasilkan laporan dari Sinkronkan laporan riwayat — bagian opsional di halaman Detail sumber data. Kemudian, masukkan Amazon S3 lokasi bucket dan pilih dari opsi konfigurasi yang tersedia. Laporan akan dihasilkan dari sinkronisasi berikutnya setelah Anda mengaktifkan laporan generate.

Jika Anda menghapus Amazon S3 bucket, Anda akan kehilangan data log Anda dan harus menyiapkan bucket baru untuk menyimpan laporan sinkronisasi baru.

catatan

Laporan riwayat sinkronisasi hanya menyediakan informasi tentang apakah konektor Amazon S3 berhasil merayapi dan menelan data.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Memantau Amazon Kendra dengan CloudWatch

Keamanan