Persiapan data menggunakan Amazon EMR

Amazon SageMaker Studio dan Studio Classic hadir dengan integrasi built-in dengan Amazon EMR. Di dalam JupyterLab dan notebook Studio Classic, ilmuwan data dan insinyur data dapat menemukan dan terhubung ke EMR cluster Amazon yang ada, kemudian secara interaktif mengeksplorasi, memvisualisasikan, dan menyiapkan data skala besar untuk pembelajaran mesin menggunakan Apache Spark, Apache Hive, atau Presto. Dengan satu klik, mereka dapat mengakses UI Spark untuk memantau status dan metrik pekerjaan Spark mereka tanpa meninggalkan notebook mereka.

Administrator dapat membuat AWS CloudFormation template yang menentukan EMR kluster Amazon. Mereka kemudian dapat membuat template cluster tersebut tersedia di AWS Service Cataloguntuk pengguna Studio dan Studio Classic untuk diluncurkan. Ilmuwan data kemudian dapat memilih template yang telah ditentukan untuk menyediakan sendiri EMR cluster Amazon langsung dari lingkungan Studio mereka. Administrator selanjutnya dapat membuat parameter template untuk memungkinkan pengguna memilih aspek cluster dalam nilai yang telah ditentukan. Misalnya, pengguna mungkin ingin menentukan jumlah node inti atau memilih jenis instance node dari menu dropdown.

Dengan menggunakan AWS CloudFormation, administrator dapat mengontrol pengaturan organisasi, keamanan, dan jaringan EMR kluster Amazon. Ilmuwan data dan insinyur data kemudian dapat menyesuaikan template tersebut untuk beban kerja mereka guna membuat EMR klaster Amazon sesuai permintaan langsung dari Studio dan Studio Classic tanpa menyiapkan konfigurasi yang rumit. Pengguna dapat menghentikan EMR kluster Amazon setelah digunakan.