Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Anda dapat menentukan konfigurasi pemantauan dengan cara berikut saat melakukanhelm install:
helm install spark-operator spark-operator \ --namespacenamespace\ --set emrContainers.awsRegion=aws_region\ --set emrContainers.monitoringConfiguration.image=log_agent_image_url\ --set emrContainers.monitoringConfiguration.s3MonitoringConfiguration.logUri=S3_bucket_uri\ --set emrContainers.monitoringConfiguration.cloudWatchMonitoringConfiguration.logGroupName=log_group_name\ --set emrContainers.monitoringConfiguration.cloudWatchMonitoringConfiguration.logStreamNamePrefix=log_stream_prefix\ --set emrContainers.monitoringConfiguration.sideCarResources.limits.cpuLimit=500m \ --set emrContainers.monitoringConfiguration.sideCarResources.limits.memoryLimit=512Mi \ --set emrContainers.monitoringConfiguration.containerLogRotationConfiguration.rotationSize=2GB \ --set emrContainers.monitoringConfiguration.containerLogRotationConfiguration.maxFilesToKeep=10 \ --set webhook.enable=true \ --set emrContainers.operatorExecutionRoleArn=operator_execution_role_arn
Konfigurasi pemantauan
Berikut ini adalah opsi konfigurasi yang tersedia di bawah MonitoringConfiguration.
Gambar (opsional) - URL gambar agen log. Akan diambil emrReleaseLabel jika tidak disediakan.
s3 MonitoringConfiguration - Atur opsi ini untuk mengarsipkan ke Amazon S3.
LoGuri — (wajib) — Jalur bucket Amazon S3 tempat Anda ingin menyimpan log Anda.
Berikut ini adalah contoh format untuk jalur bucket Amazon S3, setelah log diunggah. Contoh pertama menunjukkan tidak ada rotasi log diaktifkan.
s3://${logUri}/${POD NAME}/operator/stdout.gz s3://${logUri}/${POD NAME}/operator/stderr.gzRotasi log diaktifkan secara default. Anda dapat melihat file yang diputar, dengan indeks incrementing, dan file saat ini, yang sama dengan sampel sebelumnya.
s3://${logUri}/${POD NAME}/operator/stdout_YYYYMMDD_index.gz s3://${logUri}/${POD NAME}/operator/stderr_YYYYMMDD_index.gz
cloudWatchMonitoringKonfigurasi - Kunci konfigurasi untuk mengatur penerusan ke. Amazon CloudWatch
logGroupName(wajib) - Nama grup Amazon CloudWatch log yang ingin Anda kirimi log. Grup secara otomatis akan dibuat jika tidak ada.
logStreamNameAwalan (opsional) - Nama aliran log yang ingin Anda kirim log ke. Nilai default adalah string kosong. Formatnya Amazon CloudWatch adalah sebagai berikut:
${logStreamNamePrefix}/${POD NAME}/STDOUT or STDERR
sideCarResources(opsional) — Kunci konfigurasi untuk menetapkan batas sumber daya pada wadah sidecar Fluentd yang diluncurkan.
MemoryLimit (opsional) - Batas memori. Sesuaikan sesuai dengan kebutuhan Anda. Defaultnya adalah 512Mi.
CPULimit (opsional) — Batas CPU. Sesuaikan sesuai dengan kebutuhan Anda. Defaultnya adalah 500m.
containerLogRotationKonfigurasi (opsional) - Mengontrol perilaku rotasi log kontainer. Agen tidak diaktifkan secara default.
RotationSize (wajib) - Menentukan ukuran file untuk rotasi log. Kisaran nilai yang mungkin adalah dari 2KB hingga 2GB. Bagian unit numerik dari parameter RotationSize dilewatkan sebagai bilangan bulat. Karena nilai desimal tidak didukung, Anda dapat menentukan ukuran rotasi 1,5GB, misalnya, dengan nilai 1500MB. Defaultnya adalah 2GB.
maxFilesToKeep (required) - Menentukan jumlah maksimum file untuk mempertahankan dalam wadah setelah rotasi telah terjadi. Nilai minimum adalah 1, dan nilai maksimum adalah 50. Default-nya adalah 10.
Setelah MonitoringConfiguration dikonfigurasi, Anda harus dapat memeriksa log pod operator spark pada bucket Amazon S3 atau atau keduanya. Amazon CloudWatch Untuk bucket Amazon S3, Anda harus menunggu 2 menit agar file log pertama dibilas.
Untuk menemukan log in Amazon CloudWatch, Anda dapat menavigasi ke berikut: CloudWatch> Grup log > > Log group namePod name/operator/stderr
Atau Anda dapat menavigasi ke: CloudWatch> Grup log > > Log group namePod name/operator/stdout
