Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Considerazioni sull'ottimizzazione dei processi
Negli esecutori Spark, il protocollo di S3-optimized commit EMRFS consuma una piccola quantità di memoria per ogni file scritto da un tentativo di operazione fino a quando l'operazione non viene confermata o interrotta. Nella maggior parte dei processi la quantità di memoria consumata è trascurabile.
Sui driver Spark, il protocollo di S3-optimized commit EMRFS richiede memoria per archiviare le informazioni sui metadati di ogni file salvato fino al completamento o all'interruzione del processo. Nella maggior parte dei processi, l'impostazione predefinita della memoria del driver Spark è trascurabile.
Per i processi che presentano attività di lunga esecuzione che scrivono un numero elevato di file, la memoria che il protocollo di commit consuma può essere notevole e rende necessario adeguare la memoria allocata per Spark, specialmente per gli esecutori Spark. È possibile regolare la memoria utilizzando la proprietà spark.driver.memory per i driver Spark e la proprietà spark.executor.memory per gli esecutori Spark. Orientativamente, un'unica attività che scrive 100.000 file in genere richiede ulteriori 100 MB di memoria. Per ulteriori informazioni, consulta le Proprietà delle applicazioni
