Mengakses data telemetri real-time untuk ekstensi menggunakan Telemetri API - AWS Lambda

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengakses data telemetri real-time untuk ekstensi menggunakan Telemetri API

Telemetri API memungkinkan ekstensi Anda menerima data telemetri langsung dari Lambda. Selama inisialisasi dan pemanggilan fungsi, Lambda secara otomatis menangkap telemetri, termasuk log, metrik platform, dan jejak platform. Telemetri API memungkinkan ekstensi untuk mengakses data telemetri ini langsung dari Lambda dalam waktu dekat.

Dalam lingkungan eksekusi Lambda, Anda dapat berlangganan ekstensi Lambda Anda ke aliran telemetri. Setelah berlangganan, Lambda secara otomatis mengirimkan semua data telemetri ke ekstensi Anda. Anda kemudian memiliki fleksibilitas untuk memproses, memfilter, dan mengirimkan data ke tujuan pilihan Anda, seperti bucket Amazon Simple Storage Service (Amazon S3) atau penyedia alat observabilitas bagian ketiga.

Diagram berikut menunjukkan bagaimana Ekstensi API dan Telemetri API menghubungkan ekstensi ke Lambda dari dalam lingkungan eksekusi. Selain itu, Runtime API menghubungkan runtime dan fungsi Anda ke Lambda.

Ekstensi, Telemetri, dan Runtime APIs terhubung ke proses di lingkungan eksekusi.
penting

Telemetri Lambda menggantikan Lambda API Log. API Meskipun Log API tetap berfungsi penuh, kami sarankan hanya menggunakan Telemetri di masa API mendatang. Anda dapat berlangganan ekstensi Anda ke aliran telemetri menggunakan Telemetri API atau Log. API Setelah berlangganan menggunakan salah satu dari iniAPIs, setiap upaya untuk berlangganan menggunakan yang lain API mengembalikan kesalahan.

Ekstensi dapat menggunakan Telemetri API untuk berlangganan tiga aliran telemetri yang berbeda:

  • Telemetri platform — Log, metrik, dan jejak, yang menjelaskan peristiwa dan kesalahan yang terkait dengan siklus hidup runtime lingkungan eksekusi, siklus hidup ekstensi, dan pemanggilan fungsi.

  • Log fungsi - Log khusus yang dihasilkan oleh kode fungsi Lambda.

  • Log ekstensi - Log khusus yang dihasilkan oleh kode ekstensi Lambda.

catatan

Lambda mengirimkan log dan metrik ke CloudWatch, dan melacak ke X-Ray (jika Anda telah mengaktifkan penelusuran), bahkan jika ekstensi berlangganan aliran telemetri.

Membuat ekstensi menggunakan Telemetri API

Ekstensi Lambda berjalan sebagai proses independen di lingkungan eksekusi. Ekstensi dapat terus berjalan setelah pemanggilan fungsi selesai. Karena ekstensi adalah proses yang terpisah, Anda dapat menulisnya dalam bahasa yang berbeda dari kode fungsi. Kami merekomendasikan menulis ekstensi menggunakan bahasa yang dikompilasi seperti Golang atau Rust. Dengan cara ini, ekstensi adalah biner mandiri yang dapat kompatibel dengan runtime yang didukung.

Diagram berikut menggambarkan proses empat langkah untuk membuat ekstensi yang menerima dan memproses data telemetri menggunakan Telemetri. API

Daftarkan ekstensi Anda, buat pendengar, berlangganan streaming, lalu dapatkan telemetri.

Berikut adalah setiap langkah secara lebih rinci:

  1. Daftarkan ekstensi Anda menggunakanMenggunakan Ekstensi Lambda API untuk membuat ekstensi. Ini memberi AndaLambda-Extension-Identifier, yang Anda perlukan dalam langkah-langkah berikut. Untuk informasi selengkapnya tentang cara mendaftarkan ekstensi Anda, lihatMendaftarkan ekstensi Anda.

  2. Buat pendengar telemetri. Ini bisa menjadi dasar HTTP atau TCP server. Lambda menggunakan URI pendengar telemetri untuk mengirim data telemetri ke ekstensi Anda. Untuk informasi selengkapnya, lihat Membuat pendengar telemetri.

  3. Menggunakan Berlangganan API di TelemetriAPI, berlangganan ekstensi Anda ke aliran telemetri yang diinginkan. Anda akan memerlukan URI pendengar telemetri Anda untuk langkah ini. Untuk informasi selengkapnya, lihat Mengirim permintaan berlangganan ke Telemetri API.

  4. Dapatkan data telemetri dari Lambda melalui pendengar telemetri. Anda dapat melakukan pemrosesan kustom data ini, seperti mengirimkan data ke Amazon S3 atau ke layanan observabilitas eksternal.

catatan

Lingkungan eksekusi fungsi Lambda dapat dimulai dan berhenti beberapa kali sebagai bagian dari siklus hidupnya. Secara umum, kode ekstensi Anda berjalan selama pemanggilan fungsi, dan juga hingga 2 detik selama fase shutdown. Kami merekomendasikan pengelompokan telemetri saat sampai ke pendengar Anda. Kemudian, gunakan peristiwa Invoke dan Shutdown siklus hidup untuk mengirim setiap batch ke tujuan yang diinginkan.

Mendaftarkan ekstensi Anda

Sebelum Anda dapat berlangganan data telemetri, Anda harus mendaftarkan ekstensi Lambda Anda. Registrasi terjadi selama fase inisialisasi ekstensi. Contoh berikut menunjukkan HTTP permintaan untuk mendaftarkan ekstensi.

POST http://${AWS_LAMBDA_RUNTIME_API}/2020-01-01/extension/register Lambda-Extension-Name: lambda_extension_name { 'events': [ 'INVOKE', 'SHUTDOWN'] }

Jika permintaan berhasil, pelanggan menerima respons sukses HTTP 200. Header respon berisi fileLambda-Extension-Identifier. Badan respons mengandung sifat lain dari fungsi tersebut.

HTTP/1.1 200 OK Lambda-Extension-Identifier: a1b2c3d4-5678-90ab-cdef-EXAMPLE11111 { "functionName": "lambda_function", "functionVersion": "$LATEST", "handler": "lambda_handler", "accountId": "123456789012" }

Untuk informasi selengkapnya, lihat APIReferensi ekstensi.

Membuat pendengar telemetri

Ekstensi Lambda Anda harus memiliki pendengar yang menangani permintaan masuk dari Telemetri. API Kode berikut menunjukkan contoh implementasi pendengar telemetri di Golang:

// Starts the server in a goroutine where the log events will be sent func (s *TelemetryApiListener) Start() (string, error) { address := listenOnAddress() l.Info("[listener:Start] Starting on address", address) s.httpServer = &http.Server{Addr: address} http.HandleFunc("/", s.http_handler) go func() { err := s.httpServer.ListenAndServe() if err != http.ErrServerClosed { l.Error("[listener:goroutine] Unexpected stop on Http Server:", err) s.Shutdown() } else { l.Info("[listener:goroutine] Http Server closed:", err) } }() return fmt.Sprintf("http://%s/", address), nil } // http_handler handles the requests coming from the Telemetry API. // Everytime Telemetry API sends log events, this function will read them from the response body // and put into a synchronous queue to be dispatched later. // Logging or printing besides the error cases below is not recommended if you have subscribed to // receive extension logs. Otherwise, logging here will cause Telemetry API to send new logs for // the printed lines which may create an infinite loop. func (s *TelemetryApiListener) http_handler(w http.ResponseWriter, r *http.Request) { body, err := ioutil.ReadAll(r.Body) if err != nil { l.Error("[listener:http_handler] Error reading body:", err) return } // Parse and put the log messages into the queue var slice []interface{} _ = json.Unmarshal(body, &slice) for _, el := range slice { s.LogEventsQueue.Put(el) } l.Info("[listener:http_handler] logEvents received:", len(slice), " LogEventsQueue length:", s.LogEventsQueue.Len()) slice = nil }

Menentukan protokol tujuan

Saat Anda berlangganan untuk menerima telemetri menggunakan TelemetriAPI, Anda dapat menentukan protokol tujuan selain tujuan: URI

{ "destination": { "protocol": "HTTP", "URI": "http://sandbox.localdomain:8080" } }

Lambda menerima dua protokol untuk menerima telemetri:

  • HTTP(disarankan) - Lambda mengirimkan telemetri ke HTTP titik akhir lokal (http://sandbox.localdomain:${PORT}/${PATH}) sebagai larik catatan dalam format. JSON Parameter $PATH bersifat opsional. Lambda hanya mendukungHTTP, tidak. HTTPS Lambda memberikan telemetri melalui permintaan. POST

  • TCP— Lambda mengirimkan telemetri ke TCP port dalam format Newline delimited (). JSON NDJSON

catatan

Kami sangat menyarankan menggunakan HTTP daripadaTCP. DenganTCP, platform Lambda tidak dapat mengakui kapan mengirimkan telemetri ke lapisan aplikasi. Oleh karena itu, jika ekstensi Anda macet, Anda mungkin kehilangan telemetri. HTTPtidak memiliki batasan ini.

Sebelum berlangganan untuk menerima telemetri, buat HTTP pendengar atau port lokal. TCP Selama penyetelan, perhatikan hal berikut ini:

  • Lambda mengirimkan telemetri hanya ke tujuan yang berada di dalam lingkungan eksekusi.

  • Lambda mencoba lagi untuk mengirim telemetri (dengan backoff) tanpa adanya pendengar, atau jika permintaan mengalami kesalahan. POST Jika pendengar telemetri mogok, ia melanjutkan menerima telemetri setelah Lambda memulai ulang lingkungan eksekusi.

  • Lambda mencadangkan port 9001. Tidak ada pembatasan atau rekomendasi nomor port lainnya.

Mengkonfigurasi penggunaan memori dan buffering

Penggunaan memori di lingkungan eksekusi tumbuh secara linier dengan jumlah pelanggan. Langganan mengkonsumsi sumber daya memori karena masing-masing membuka buffer memori baru untuk menyimpan data telemetri. Penggunaan memori buffer berkontribusi pada konsumsi memori secara keseluruhan di lingkungan eksekusi.

Saat berlangganan untuk menerima telemetri melalui TelemetriAPI, Anda memiliki opsi untuk menyangga data telemetri dan mengirimkannya ke pelanggan dalam batch. Untuk mengoptimalkan penggunaan memori, Anda dapat menentukan konfigurasi buffering:

{ "buffering": { "maxBytes": 256*1024, "maxItems": 1000, "timeoutMs": 100 } }
Parameter Deskripsi Default dan batas

maxBytes

Volume maksimum telemetri (dalam byte) untuk buffer dalam memori.

standar: 262.144

Minimal: 262.144

Maksimal: 1.048.576

maxItems

Jumlah maksimum peristiwa untuk buffer dalam memori.

Default: 10.000

Minimal: 1.000

Maksimum: 10.000.

timeoutMs

Waktu maksimum (dalam milidetik) untuk buffer batch.

Default: 1.000

Minimal: 25

Maksimal: 30.000

Saat menyiapkan buffering, ingatlah poin-poin ini:

  • Jika salah satu aliran input ditutup, Lambda akan menyiram log. Misalnya, ini dapat terjadi jika runtime mogok.

  • Setiap pelanggan dapat menyesuaikan konfigurasi buffering mereka dalam permintaan berlangganan mereka.

  • Saat menentukan ukuran buffer untuk membaca data, antisipasi menerima muatan sebesar2 * maxBytes + metadataBytes, di mana maxBytes merupakan komponen penyiapan buffering Anda. Untuk mengukur jumlah yang metadataBytes perlu dipertimbangkan, tinjau metadata berikut. Lambda menambahkan metadata yang mirip dengan ini ke setiap catatan:

    { "time": "2022-08-20T12:31:32.123Z", "type": "function", "record": "Hello World" }
  • Jika pelanggan tidak dapat memproses telemetri masuk dengan cukup cepat, atau jika kode fungsi Anda menghasilkan volume log yang sangat tinggi, Lambda mungkin akan menjatuhkan catatan untuk menjaga pemanfaatan memori tetap terbatas. Ketika ini terjadi, Lambda mengirimkan acara. platform.logsDropped

Mengirim permintaan berlangganan ke Telemetri API

Ekstensi Lambda dapat berlangganan untuk menerima data telemetri dengan mengirimkan permintaan berlangganan ke Telemetri. API Permintaan berlangganan harus berisi informasi tentang jenis acara yang Anda inginkan untuk berlangganan ekstensi. Selain itu, permintaan dapat berisi informasi tujuan pengiriman dan konfigurasi buffering.

Sebelum mengirim permintaan berlangganan, Anda harus memiliki ID ekstensi (Lambda-Extension-Identifier). Saat Anda mendaftarkan ekstensi Anda dengan Ekstensi API, Anda mendapatkan ID ekstensi dari API respons.

Langganan terjadi selama fase inisialisasi ekstensi. Contoh berikut menunjukkan HTTP permintaan untuk berlangganan ketiga aliran telemetri: telemetri platform, log fungsi, dan log ekstensi.

PUT http://${AWS_LAMBDA_RUNTIME_API}/2022-07-01/telemetry HTTP/1.1 { "schemaVersion": "2022-12-13", "types": [ "platform", "function", "extension" ], "buffering": { "maxItems": 1000, "maxBytes": 256*1024, "timeoutMs": 100 }, "destination": { "protocol": "HTTP", "URI": "http://sandbox.localdomain:8080" } }

Jika permintaan berhasil, maka pelanggan menerima HTTP 200 respons sukses.

HTTP/1.1 200 OK "OK"

Pesan API Telemetri Masuk

Setelah berlangganan menggunakan TelemetriAPI, ekstensi secara otomatis mulai menerima telemetri dari Lambda melalui permintaan. POST Setiap badan POST permintaan berisi array Event objek. Masing-masing Event memiliki skema berikut:

{ time: String, type: String, record: Object }
  • timeProperti menentukan kapan platform Lambda menghasilkan acara. Ini berbeda dengan saat peristiwa itu benar-benar terjadi. Nilai string time adalah stempel waktu dalam format ISO 8601.

  • typeProperti mendefinisikan jenis acara. Tabel berikut menjelaskan semua nilai yang mungkin.

  • recordProperti mendefinisikan JSON objek yang berisi data telemetri. Skema JSON objek ini tergantung pada. type

Tabel berikut merangkum semua jenis Event objek, dan tautan ke referensi API Event skema Telemetri untuk setiap jenis acara.

Kategori Jenis peristiwa Deskripsi Skema catatan acara

Acara platform

platform.initStart

Inisialisasi fungsi dimulai.

platform.initStartskema

Acara platform

platform.initRuntimeDone

Inisialisasi fungsi selesai.

platform.initRuntimeDoneskema

Acara platform

platform.initReport

Laporan inisialisasi fungsi.

platform.initReportskema

Acara platform

platform.start

Pemanggilan fungsi dimulai.

platform.startskema

Acara platform

platform.runtimeDone

Runtime selesai memproses acara dengan keberhasilan atau kegagalan.

platform.runtimeDoneskema

Acara platform

platform.report

Laporan pemanggilan fungsi.

platform.reportskema

Acara platform

platform.restoreStart

Pemulihan runtime dimulai.

platform.restoreStartskema

Acara platform

platform.restoreRuntimeDone

Pemulihan runtime selesai.

platform.restoreRuntimeDoneskema

Acara platform

platform.restoreReport

Laporan pemulihan runtime.

platform.restoreReportskema

Acara platform

platform.telemetrySubscription

Ekstensi berlangganan API Telemetri.

platform.telemetrySubscriptionskema

Acara platform

platform.logsDropped

Lambda menjatuhkan entri log.

platform.logsDroppedskema

Log fungsi

function

Sebuah baris log dari kode fungsi.

functionskema

Log ekstensi:

extension

Sebuah baris log dari kode ekstensi.

extensionskema