在 Amazon S3 中設定筆記本的持久性 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 Amazon S3 中設定筆記本的持久性

您可以在 Amazon 中設定 JupyterHub 叢集,EMR讓使用者儲存的筆記本保留在 Amazon S3 中,而不是在叢集EC2執行個體上的短暫儲存。

當您建立叢集時,可以使用 jupyter-s3-conf 組態分類來指定 Amazon S3 持久性。如需詳細資訊,請參閱設定應用程式

除了使用 s3.persistence.enabled 屬性來啟用 Amazon S3 持久性以外,您也可以利用 s3.persistence.bucket 屬性,來指定筆記本儲存所在 Amazon S3 中的儲存貯體。每個使用者的筆記本,會儲存到指定儲存貯體中的 jupyter/jupyterhub-user-name 資料夾。儲存貯體必須已存在於 Amazon S3 中,且您在建立叢集時指定的EC2執行個體設定檔角色必須具有儲存貯體的許可 (預設情況下,該角色為 EMR_EC2_DefaultRole)。如需詳細資訊,請參閱設定 Amazon AWS 服務EMR許可IAM的角色

當您使用相同的組態分類屬性,來啟動新的叢集時,使用者可以開啟筆記本,其內容來自儲存的位置。

請注意,您在啟用了 Amazon S3 的情況下匯入檔案作為筆記本中的模組時,這將會導致檔案上傳至 Amazon S3。當您在未啟用 Amazon S3 持久性的情況下匯入檔案時,它們會上傳至您的 JupyterHub 容器。

下列範例可實現 Amazon S3 持久性。使用者所儲存的筆記本,會儲存於每個使用者的 s3://MyJupyterBackups/jupyter/jupyterhub-user-name 資料夾中,其中 jupyterhub-user-name 是使用者名稱,例如 diego

[ { "Classification": "jupyter-s3-conf", "Properties": { "s3.persistence.enabled": "true", "s3.persistence.bucket": "MyJupyterBackups" } } ]