Memahami penskalaan Fungsi Acara Lambda

Konkurensi adalah jumlah permintaan dalam penerbangan yang ditangani oleh Fungsi AWS Lambda Acara Anda pada saat yang bersamaan. Untuk setiap permintaan bersamaan, Lambda menyediakan instance terpisah dari lingkungan eksekusi Anda. Saat Fungsi Acara Anda menerima lebih banyak permintaan, Lambda secara otomatis menangani penskalaan jumlah lingkungan eksekusi hingga Anda mencapai batas konkurensi akun Anda. Secara default, Lambda menyediakan akun Anda dengan batas konkurensi total 1.000 eksekusi bersamaan di semua Fungsi Acara dalam file. Wilayah AWS Untuk mendukung kebutuhan akun spesifik Anda, Anda dapat meminta peningkatan kuota dan mengonfigurasi kontrol konkurensi tingkat fungsi sehingga Fungsi Peristiwa penting Anda tidak mengalami pelambatan.

Topik ini menjelaskan konsep konkurensi dan penskalaan Fungsi Acara di Lambda. Pada akhir topik ini, Anda akan dapat memahami cara menghitung konkurensi, memvisualisasikan dua opsi kontrol konkurensi utama (dicadangkan dan disediakan), memperkirakan pengaturan kontrol konkurensi yang sesuai, dan melihat metrik untuk pengoptimalan lebih lanjut.

Memahami dan memvisualisasikan konkurensi

Lambda memanggil Fungsi Acara Anda di lingkungan eksekusi yang aman dan terisolasi. Untuk menangani permintaan, Lambda harus terlebih dahulu menginisialisasi lingkungan eksekusi (fase Init), sebelum menggunakannya untuk memanggil Fungsi Peristiwa Anda (fase Invoke):

Diagram sebelumnya menggunakan persegi panjang untuk mewakili lingkungan eksekusi tunggal. Ketika Fungsi Acara Anda menerima permintaan pertamanya (diwakili oleh lingkaran kuning dengan label1), Lambda membuat lingkungan eksekusi baru dan menjalankan kode di luar handler utama Anda selama fase Init. Kemudian, Lambda menjalankan kode handler utama Event Function Anda selama fase Invoke. Selama seluruh proses ini, lingkungan eksekusi ini sibuk dan tidak dapat memproses permintaan lainnya.

Ketika Lambda selesai memproses permintaan pertama, lingkungan eksekusi ini kemudian dapat memproses permintaan tambahan untuk Fungsi Acara yang sama. Untuk permintaan berikutnya, Lambda tidak perlu menginisialisasi ulang lingkungan.

Pada diagram sebelumnya, Lambda menggunakan kembali lingkungan eksekusi untuk menangani permintaan kedua (diwakili oleh lingkaran kuning dengan label). 2

Sejauh ini, kami hanya berfokus pada satu contoh lingkungan eksekusi Anda (yaitu, konkurensi 1). Dalam praktiknya, Lambda mungkin perlu menyediakan beberapa instance lingkungan eksekusi secara paralel untuk menangani semua permintaan yang masuk. Ketika Fungsi Acara Anda menerima permintaan baru, salah satu dari dua hal dapat terjadi:

Misalnya, mari kita jelajahi apa yang terjadi ketika Fungsi Acara Anda menerima 10 permintaan:

Dalam diagram sebelumnya, setiap bidang horizontal mewakili contoh lingkungan eksekusi tunggal (diberi label dari A melaluiF). Inilah cara Lambda menangani setiap permintaan:

Saat Fungsi Acara Anda menerima lebih banyak permintaan bersamaan, Lambda meningkatkan jumlah instance lingkungan eksekusi sebagai respons. Animasi berikut melacak jumlah permintaan bersamaan dari waktu ke waktu:

Dengan membekukan animasi sebelumnya pada enam titik waktu yang berbeda, kita mendapatkan diagram berikut:

Pada diagram sebelumnya, kita dapat menggambar garis vertikal kapan saja dan menghitung jumlah lingkungan yang memotong garis ini. Ini memberi kita jumlah permintaan bersamaan pada saat itu. Misalnya, pada waktut1, ada tiga lingkungan aktif yang melayani tiga permintaan bersamaan. Jumlah maksimum permintaan bersamaan dalam simulasi ini terjadi pada waktut4, ketika ada enam lingkungan aktif yang melayani enam permintaan bersamaan.

Untuk meringkas, konkurensi Fungsi Acara Anda adalah jumlah permintaan bersamaan yang ditangani pada saat yang sama. Menanggapi peningkatan konkurensi Fungsi Acara Anda, Lambda menyediakan lebih banyak instance lingkungan eksekusi untuk memenuhi permintaan permintaan.

Menghitung konkurensi untuk Fungsi Acara

Secara umum, konkurensi suatu sistem adalah kemampuan untuk memproses lebih dari satu tugas secara bersamaan. Di Lambda, konkurensi adalah jumlah permintaan dalam penerbangan yang ditangani Fungsi Acara Anda secara bersamaan. Cara cepat dan praktis untuk mengukur konkurensi Fungsi Peristiwa Lambda adalah dengan menggunakan rumus berikut:

Concurrency = (average requests per second) * (average request duration in seconds)

Konkurensi berbeda dari permintaan per detik. Misalnya, Fungsi Acara Anda menerima rata-rata 100 permintaan per detik. Jika durasi permintaan rata-rata adalah satu detik, maka memang benar bahwa konkurensi juga 100:

Concurrency = (100 requests/second) * (1 second/request) = 100

Namun, jika durasi permintaan rata-rata adalah 500 ms, maka konkurensi adalah 50:

Concurrency = (100 requests/second) * (0.5 second/request) = 50

Apa arti konkurensi 50 dalam praktik? Jika durasi permintaan rata-rata adalah 500 ms, maka Anda dapat menganggap instance fungsi Anda mampu menangani dua permintaan per detik. Kemudian, dibutuhkan 50 instance fungsi Anda untuk menangani beban 100 permintaan per detik. Konkurensi 50 berarti Lambda harus menyediakan 50 instance lingkungan eksekusi untuk menangani beban kerja ini secara efisien tanpa pembatasan apa pun. Berikut cara mengekspresikan ini dalam bentuk persamaan:

Concurrency = (100 requests/second) / (2 requests/second) = 50

Jika Fungsi Acara Anda menerima dua kali lipat jumlah permintaan (200 permintaan per detik), tetapi hanya membutuhkan separuh waktu untuk memproses setiap permintaan (250 ms), maka konkurensi masih 50:

Concurrency = (200 requests/second) * (0.25 second/request) = 50

Concurrency = (5,000 requests/second) * (0.2 seconds/request) = 1,000

Concurrency = (5,000 requests/second) / (5 requests/second) = 1,000

Memahami konkurensi cadangan dan konkurensi yang disediakan

Secara default, akun Anda memiliki batas konkurensi 1.000 eksekusi bersamaan di semua Fungsi Peristiwa di Wilayah. Fungsi Acara Anda membagikan kumpulan 1.000 konkurensi ini berdasarkan permintaan. Fungsi Acara Anda mengalami pelambatan (yaitu, mereka mulai menghapus permintaan) jika Anda kehabisan konkurensi yang tersedia.

Beberapa Fungsi Acara Anda mungkin lebih penting daripada yang lain. Akibatnya, Anda mungkin ingin mengonfigurasi pengaturan konkurensi untuk memastikan bahwa Fungsi Peristiwa kritis mendapatkan konkurensi yang mereka butuhkan. Ada dua jenis kontrol konkurensi yang tersedia: konkurensi cadangan dan konkurensi yang disediakan.

Konkurensi terpesan

Jika Anda ingin menjamin bahwa sejumlah konkurensi tersedia untuk Fungsi Acara Anda kapan saja, gunakan konkurensi cadangan.

Konkurensi cadangan menetapkan jumlah maksimum dan minimum instance bersamaan yang ingin Anda alokasikan ke Fungsi Acara Anda. Saat Anda mendedikasikan konkurensi cadangan ke Fungsi Acara, tidak ada Fungsi Acara lain yang dapat menggunakan konkurensi itu. Dengan kata lain, pengaturan konkurensi cadangan dapat memengaruhi kumpulan konkurensi yang tersedia untuk Fungsi Acara lainnya. Fungsi Acara yang tidak memiliki konkurensi cadangan berbagi kumpulan konkurensi tanpa syarat yang tersisa.

Mengkonfigurasi jumlah konkurensi cadangan terhadap batas konkurensi akun Anda secara keseluruhan. Tidak ada biaya untuk mengonfigurasi konkurensi cadangan untuk Fungsi Acara.

Untuk lebih memahami konkurensi cadangan, pertimbangkan diagram berikut:

Dalam diagram ini, batas konkurensi akun Anda untuk semua Fungsi Acara di Wilayah ini berada pada batas default 1.000. Misalkan Anda memiliki dua Fungsi Peristiwa penting, function-blue danfunction-orange, yang secara rutin mengharapkan untuk mendapatkan volume pemanggilan yang tinggi. Anda memutuskan untuk memberikan 400 unit konkurensi cadangan kefunction-blue, dan 400 unit konkurensi cadangan untuk. function-orange Dalam contoh ini, semua Fungsi Acara lainnya di akun Anda harus membagikan 200 unit konkurensi tanpa syarat yang tersisa.

Diagram memiliki lima poin menarik:

Dari contoh ini, perhatikan bahwa reserving concurrency memiliki efek sebagai berikut:

Untuk mempelajari cara mengelola setelan konkurensi cadangan untuk Fungsi Acara Anda, lihatMengkonfigurasi konkurensi cadangan untuk Fungsi Acara.

Konkurensi yang disediakan

Anda menggunakan konkurensi cadangan untuk menentukan jumlah maksimum lingkungan eksekusi yang dicadangkan untuk Fungsi Peristiwa Lambda. Namun, tidak satu pun dari lingkungan ini yang diinisialisasi sebelumnya. Akibatnya, pemanggilan Fungsi Acara Anda mungkin memakan waktu lebih lama karena Lambda harus terlebih dahulu menginisialisasi lingkungan baru sebelum dapat menggunakannya untuk memanggil Fungsi Acara Anda. Ketika Lambda harus menginisialisasi lingkungan baru untuk melakukan doa, ini dikenal sebagai awal yang dingin. Untuk mengurangi start dingin, Anda dapat menggunakan konkurensi yang disediakan.

Konkurensi yang disediakan adalah jumlah lingkungan eksekusi pra-inisialisasi yang ingin Anda alokasikan ke Fungsi Acara Anda. Jika Anda menetapkan konkurensi yang disediakan pada Fungsi Peristiwa, Lambda menginisialisasi jumlah lingkungan eksekusi tersebut sehingga mereka siap untuk segera merespons permintaan Fungsi Acara.

Saat menggunakan konkurensi yang disediakan, Lambda masih mendaur ulang lingkungan eksekusi di latar belakang. Misalnya, ini dapat terjadi setelah kegagalan pemanggilan. Namun, pada waktu tertentu, Lambda selalu memastikan bahwa jumlah lingkungan pra-inisialisasi sama dengan nilai pengaturan konkurensi yang disediakan Fungsi Acara Anda. Yang penting, bahkan jika Anda menggunakan konkurensi yang disediakan, Anda masih dapat mengalami penundaan awal yang dingin jika Lambda harus mengatur ulang lingkungan eksekusi.

Sebaliknya, saat menggunakan konkurensi cadangan, Lambda mungkin sepenuhnya mengakhiri lingkungan setelah periode tidak aktif. Diagram berikut mengilustrasikan hal ini dengan membandingkan siklus hidup lingkungan eksekusi tunggal saat Anda mengonfigurasi Fungsi Acara menggunakan konkurensi cadangan dibandingkan dengan konkurensi yang disediakan.

Diagram memiliki empat tempat menarik:

Untuk lebih memahami konkurensi yang disediakan, pertimbangkan diagram berikut:

Dalam diagram ini, Anda memiliki batas konkurensi akun 1.000. Anda memutuskan untuk memberikan 400 unit konkurensi yang disediakan ke. function-orange Semua Fungsi Acara di akun Anda, termasukfunction-orange, dapat menggunakan sisa 600 unit konkurensi tanpa syarat.

Diagram memiliki lima poin menarik:

Contoh sebelumnya dianggap hanya konkurensi yang disediakan. Dalam praktiknya, Anda dapat mengatur konkurensi yang disediakan dan konkurensi cadangan pada Fungsi Acara. Anda dapat melakukan ini jika Anda memiliki Fungsi Acara yang menangani beban pemanggilan yang konsisten pada hari kerja, tetapi secara rutin melihat lonjakan lalu lintas di akhir pekan. Dalam hal ini, Anda dapat menggunakan konkurensi yang disediakan untuk menetapkan jumlah dasar lingkungan untuk menangani permintaan selama hari kerja, dan menggunakan konkurensi cadangan untuk menangani lonjakan akhir pekan. Pertimbangkan diagram berikut:

Dalam diagram ini, misalkan Anda mengonfigurasi 200 unit konkurensi yang disediakan dan 400 unit konkurensi cadangan untuk. function-orange Karena Anda mengonfigurasi konkurensi cadangan, function-orange tidak dapat menggunakan salah satu dari 600 unit konkurensi tanpa syarat.

Diagram ini memiliki lima poin menarik:

Konkurensi cadangan dan konkurensi yang disediakan dihitung terhadap batas konkurensi akun Anda dan kuota Regional. Dengan kata lain, mengalokasikan konkurensi yang dicadangkan dan disediakan dapat memengaruhi kumpulan konkurensi yang tersedia untuk Fungsi Peristiwa lainnya. Mengkonfigurasi konkurensi yang disediakan menimbulkan biaya ke Anda. Akun AWS

Untuk mengelola setelan konkurensi yang disediakan untuk Fungsi Acara Anda, lihat. Mengkonfigurasi konkurensi yang disediakan untuk Fungsi Peristiwa Untuk mengotomatiskan penskalaan konkurensi yang disediakan berdasarkan jadwal atau pemanfaatan aplikasi, lihat. Menggunakan Application Auto Scaling untuk mengotomatiskan manajemen konkurensi yang disediakan

Bagaimana Lambda mengalokasikan konkurensi yang disediakan

Konkurensi yang disediakan tidak langsung online setelah Anda mengonfigurasinya. Lambda mulai mengalokasikan konkurensi terprovisi setelah satu atau dua menit persiapan. Untuk setiap Fungsi Acara, Lambda dapat menyediakan hingga 6.000 lingkungan eksekusi setiap menit, terlepas dari itu. Wilayah AWS Ini persis sama dengan tingkat penskalaan konkurensi untuk Fungsi Acara.

Saat Anda mengirimkan permintaan untuk mengalokasikan konkurensi yang disediakan, Anda tidak dapat mengakses salah satu lingkungan tersebut hingga Lambda benar-benar selesai mengalokasikannya. Misalnya, jika Anda meminta 5.000 konkurensi yang disediakan, tidak ada permintaan yang dapat menggunakan konkurensi yang disediakan hingga Lambda benar-benar selesai mengalokasikan 5.000 lingkungan eksekusi.

Membandingkan konkurensi cadangan dan konkurensi yang disediakan

Tabel berikut merangkum dan membandingkan konkurensi yang dicadangkan dan disediakan.

Memahami konkurensi dan permintaan per detik

Seperti disebutkan di bagian sebelumnya, konkurensi berbeda dari permintaan per detik. Ini adalah perbedaan yang sangat penting untuk dibuat ketika bekerja dengan Fungsi Acara yang memiliki durasi permintaan rata-rata kurang dari 100 ms.

Di semua Fungsi Acara di akun Anda, Lambda memberlakukan batas permintaan per detik yang sama dengan 10 kali konkurensi akun Anda. Misalnya, karena batas konkurensi akun default adalah 1.000, Fungsi Acara di akun Anda dapat menangani maksimum 10.000 permintaan per detik.

Misalnya, pertimbangkan Fungsi Acara dengan durasi permintaan rata-rata 50 ms. Pada 20.000 permintaan per detik, inilah konkurensi Fungsi Acara ini:

Concurrency = (20,000 requests/second) * (0.05 second/request) = 1,000

Berdasarkan hasil ini, Anda mungkin berharap bahwa batas konkurensi akun 1.000 cukup untuk menangani beban ini. Namun, karena batas 10.000 permintaan per detik, Fungsi Acara Anda hanya dapat menangani 10.000 permintaan per detik dari total 20.000 permintaan. Fungsi Acara ini mengalami pelambatan.

Pelajarannya adalah Anda harus mempertimbangkan konkurensi dan permintaan per detik saat mengonfigurasi pengaturan konkurensi untuk Fungsi Acara Anda. Dalam hal ini, Anda perlu meminta peningkatan batas konkurensi akun menjadi 2.000, karena ini akan meningkatkan total permintaan per batas detik Anda menjadi 20.000.

Concurrency = (30,000 requests/second) * (0.02 seconds/request) = 600

Batas permintaan per detik berlaku untuk semua kuota di Lambda yang melibatkan konkurensi. Dengan kata lain, ini berlaku untuk Fungsi Acara sesuai permintaan sinkron, Fungsi Peristiwa yang menggunakan konkurensi yang disediakan, dan perilaku penskalaan konkurensi. Misalnya, berikut adalah beberapa skenario di mana Anda harus mempertimbangkan dengan cermat batas konkurensi dan permintaan per detik Anda:

Kuota konkurensi

Lambda menetapkan kuota untuk jumlah total konkurensi yang dapat Anda gunakan di semua Fungsi Peristiwa di Wilayah. Kuota ini ada pada dua tingkatan:

Untuk memeriksa kuota konkurensi tingkat akun Anda saat ini, gunakan AWS Command Line Interface (AWS CLI) untuk menjalankan perintah berikut:

aws lambda get-account-settings

Anda akan melihat output yang terlihat seperti berikut:

{
    "AccountLimit": {
        "TotalCodeSize": 80530636800,
        "CodeSizeUnzipped": 262144000,
        "CodeSizeZipped": 52428800,
        "ConcurrentExecutions": 1000,
        "UnreservedConcurrentExecutions": 900
    },
    "AccountUsage": {
        "TotalCodeSize": 410759889,
        "FunctionCount": 8
    }
}

ConcurrentExecutionsadalah total kuota konkurensi tingkat akun Anda. UnreservedConcurrentExecutionsadalah jumlah konkurensi cadangan yang masih dapat Anda alokasikan ke Fungsi Acara Anda.

Saat Fungsi Acara Anda menerima lebih banyak permintaan, Lambda secara otomatis meningkatkan jumlah lingkungan eksekusi untuk menangani permintaan ini hingga akun Anda mencapai kuota konkurensinya. Namun, untuk melindungi dari penskalaan berlebih sebagai respons terhadap ledakan lalu lintas yang tiba-tiba, Lambda membatasi seberapa cepat fungsi Anda dapat menskalakan. Tingkat penskalaan konkurensi ini adalah tingkat maksimum di mana Fungsi Acara di akun Anda dapat menskalakan sebagai respons terhadap peningkatan permintaan. (Artinya, seberapa cepat Lambda dapat membuat lingkungan eksekusi baru.) Tingkat penskalaan konkurensi berbeda dari batas konkurensi tingkat akun, yang merupakan jumlah total konkurensi yang tersedia untuk Fungsi Acara Anda.

Di masing-masing Wilayah AWS, dan untuk setiap Fungsi Acara, tingkat penskalaan konkurensi Anda adalah 1.000 instance lingkungan eksekusi setiap 10 detik (atau 10.000 permintaan per detik setiap 10 detik). Dengan kata lain, setiap 10 detik, Lambda dapat mengalokasikan paling banyak 1.000 instance lingkungan eksekusi tambahan, atau mengakomodasi 10.000 permintaan tambahan per detik, ke setiap fungsi Anda.

Biasanya, Anda tidak perlu khawatir tentang batasan ini. Tingkat penskalaan Lambda cukup untuk sebagian besar kasus penggunaan.

Yang penting, tingkat penskalaan konkurensi adalah batas tingkat fungsi. Ini berarti bahwa setiap Fungsi Acara di akun Anda dapat menskalakan secara independen dari Fungsi Acara lainnya.

Untuk informasi selengkapnya tentang perilaku penskalaan, lihatPerilaku penskalaan Fungsi Acara.