Criação de um endpoint interativo para o cluster virtual - Amazon EMR
Criação de um endpoint interativoEspecificação de parâmetros personalizadosParâmetros para um endpoint interativo

Criação de um endpoint interativo para o cluster virtual

Este tópico descreve algumas maneiras de criar um endpoint interativo usando a AWS Command Line Interface (AWS CLI) e inclui detalhes sobre os parâmetros de configuração disponíveis.

Criação de um endpoint interativo com o comando create-managed-endpoint

Especifique os parâmetros no comando create-managed-endpoint, conforme apresentado a seguir. O Amazon EMR no EKS oferece suporte à criação de endpoints interativos com as versões 6.7.0 e superiores do Amazon EMR.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

Para ter mais informações, consulte Parâmetros para a criação de um endpoint interativo.

Criação de um endpoint interativo com parâmetros especificados em um arquivo JSON

  1. Crie um arquivo create-managed-endpoint-request.json e especifique os parâmetros obrigatórios para o endpoint, conforme mostrado no seguinte arquivo JSON:

    {
    "name": "MY_TEST_ENDPOINT",
    "virtualClusterId": "MY_CLUSTER_ID",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
    "configurationOverrides":
    {
        "applicationConfiguration": 
        [
            {
                "classification": "spark-defaults",
                "properties":
                {
                    "spark.driver.memory": "8G"
                }
            }
        ],
        "monitoringConfiguration":
        {
            "persistentAppUI": "ENABLED",
            "cloudWatchMonitoringConfiguration":
            {
                "logGroupName": "my_log_group",
                "logStreamNamePrefix": "log_stream_prefix"
            },
            "s3MonitoringConfiguration":
            {
                "logUri": "s3://my_s3_log_location"
            }
        }
    }
}

  2. Use o comando create-managed-endpoint com um caminho para o arquivo create-managed-endpoint-request.json armazenado localmente ou no Amazon S3.

    aws emr-containers create-managed-endpoint \
‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

Saída da criação de endpoint interativo

Você deverá visualizar a saída a seguir no terminal. A saída inclui o nome e o identificador do seu novo endpoint interativo:

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

A execução de aws emr-containers create-managed-endpoint cria um certificado autoassinado que permite a comunicação HTTPS entre o EMR Studio e o servidor do endpoint interativo.

Se você executar create-managed-endpoint e não tiver concluído os pré-requisitos, o Amazon EMR retornará uma mensagem de erro com as ações que você deve realizar para continuar.

Parâmetros para a criação de um endpoint interativo

Parâmetros obrigatórios para endpoints interativos

Você deve especificar os seguintes parâmetros ao criar um endpoint interativo:

‐‐type

Usar JUPYTER_ENTERPRISE_GATEWAY. Este é o único tipo com suporte.

‐‐virtual-cluster-id

O identificador do cluster virtual registrado com o Amazon EMR no EKS.

‐‐name

Um nome descritivo para o endpoint interativo que auxilia os usuários do EMR Studio a selecioná-lo na lista suspensa.

‐‐execution-role-arn

O nome do recurso da Amazon (ARN) do perfil de execução de trabalho do IAM para o Amazon EMR no EKS que foi criado como parte dos pré-requisitos.

‐‐release-label

O rótulo da versão do Amazon EMR a ser usado para o endpoint. Por exemplo, emr-6.9.0-latest. O Amazon EMR no EKS oferece suporte a endpoints interativos com as versões 6.7.0 e superiores do Amazon EMR.

Parâmetros opcionais para endpoints interativos

Como opção, também é possível especificar os seguintes parâmetros ao criar um endpoint interativo:

‐‐configuration-overrides

Para substituir as configurações padrão das aplicações, forneça um objeto de configuração. Você pode usar uma sintaxe abreviada para fornecer a configuração ou fazer referência ao objeto de configuração em um arquivo JSON.

Os objetos de configuração consistem em uma classificação, propriedades e configurações opcionais aninhadas As propriedades consistem nas configurações que você deseja substituir neste arquivo. Você pode especificar várias classificações para diversas aplicações em um único objeto JSON. As classificações de configuração disponíveis variam de acordo com a versão do Amazon EMR no EKS. Para obter uma lista das classificações de configuração disponíveis para cada versão do Amazon EMR no EKS, consulte Versões do Amazon EMR no EKS. Além das classificações de configuração listadas para cada versão, os endpoints interativos trazem a classificação adicional jeg-config. Para ter mais informações, consulte Opções de configuração do Jupyter Enterprise Gateway (JEG).