Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Manajemen log pekerjaan streaming
Pekerjaan streaming mendukung rotasi log untuk log aplikasi Spark dan log peristiwa, dan pemadatan log untuk log peristiwa Spark. Ini membantu Anda mengelola sumber daya Anda secara efektif.
Rotasi log
Pekerjaan streaming mendukung rotasi log untuk log aplikasi Spark dan log peristiwa. Rotasi log mencegah pekerjaan streaming panjang menghasilkan file log besar yang mungkin menghabiskan semua ruang disk Anda yang tersedia. Rotasi log membantu Anda menghemat penyimpanan disk dan mencegah kegagalan pekerjaan karena ruang disk yang rendah. Untuk informasi selengkapnya, lihat Memutar log.
Pemadatan log
Pekerjaan streaming juga mendukung pemadatan log untuk log peristiwa Spark setiap kali logging terkelola tersedia. Untuk detail selengkapnya tentang logging terkelola, lihat Logging dengan penyimpanan terkelola. Pekerjaan streaming dapat berjalan untuk waktu yang lama, dan jumlah data acara dapat bertambah dari waktu ke waktu dan secara signifikan meningkatkan ukuran file log. Spark History Server membaca dan memuat peristiwa ini ke dalam memori untuk UI aplikasi Spark. Proses ini dapat menyebabkan latensi dan biaya tinggi, terutama jika log peristiwa yang disimpan di Amazon S3 sangat besar.
Pemadatan log mengurangi ukuran log peristiwa, sehingga Server Riwayat Spark tidak perlu memuat lebih dari 1 GB log peristiwa kapan saja. Untuk informasi selengkapnya, lihat Pemantauan dan Instrumentasi
