Conexões do OpenSearch Service

O AWS Glue para Spark pode ser usado para ler e escrever em tabelas no OpenSearch Service no AWS Glue 4.0 e versões posteriores. Você pode definir o que deseja ler do OpenSearch Service com uma consulta do OpenSearch. Conecte-se ao OpenSearch Service usando credenciais de autenticação básica HTTP armazenadas no AWS Secrets Manager via conexão do AWS Glue. Esse recurso não é compatível com o OpenSearch Service com tecnologia sem servidor.

Para obter mais informações sobre o serviço Amazon OpenSearch Service, consulte a Documentação do Amazon OpenSearch Service.

Configurar conexões do OpenSearch Service

Para se conectar ao OpenSearch Service via AWS Glue, você precisará criar e armazenar suas credenciais do OpenSearch Service em um segredo do AWS Secrets Manager e, em seguida, associar esse segredo a uma conexão AWS Glue OpenSearch Service.

Pré-requisitos:

Depois de criar uma conexão AWS Glue OpenSearch Service, siga estas etapas antes de executar seu trabalho do AWS Glue:

Ler dos índices do OpenSearch Service

Pré-requisitos:

Este exemplo lê um índice do Amazon OpenSearch Service. Será necessário fornecer o parâmetro pushdown.

Por exemplo:

opensearch_read = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "pushdown": "true",
    }
)

Você também pode fornecer uma srting de consulta para filtrar os resultados retornados em seu DynamicFrame. Você precisará configurar opensearch.query.

O opensearch.query pode usar uma string de parâmetros de consulta de URL queryString ou um objeto queryObject de consulta JSON DSL. Para obter mais informações sobre a consulta DSL, consulte Consulta DSL na documentação do OpenSearch. Para fornecer uma string de parâmetros de consulta de URL, adicione o prefixo ?q= à sua consulta, como você faria em um URL totalmente qualificado. Para fornecer um objeto DSL de consulta, faça o escape de string do objeto JSON antes de fornecê-lo.

Por exemplo:

            queryObject = "{ "query": { "multi_match": { "query": "Sample", "fields": [ "sample" ] } } }"
            queryString = "?q=queryString"
            
            opensearch_read_query = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "opensearch.query": queryString,
        "pushdown": "true",
    }
)

Para obter mais informações sobre como criar uma consulta fora de sua sintaxe específica, consulte Sintaxe da string de consulta na documentação do OpenSearch.

Ao ler as coleções do OpenSearch que contêm dados do tipo de matriz, você deve especificar quais campos são do tipo de matriz em sua chamada de método usando o parâmetro opensearch.read.field.as.array.include.

Por exemplo, ao ler o documento abaixo, você encontrará os campos genre e actor de matriz:

{
    "_index": "movies",
    "_id": "2",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "director": "Frankenheimer, John",
        "genre": [
            "Drama",
            "Mystery",
            "Thriller",
            "Crime"
        ],
        "year": 1962,
        "actor": [
            "Lansbury, Angela",
            "Sinatra, Frank",
            "Leigh, Janet",
            "Harvey, Laurence",
            "Silva, Henry",
            "Frees, Paul",
            "Gregory, James",
            "Bissell, Whit",
            "McGiver, John",
            "Parrish, Leslie",
            "Edwards, James",
            "Flowers, Bess",
            "Dhiegh, Khigh",
            "Payne, Julie",
            "Kleeb, Helen",
            "Gray, Joe",
            "Nalder, Reggie",
            "Stevens, Bert",
            "Masters, Michael",
            "Lowell, Tom"
        ],
        "title": "The Manchurian Candidate"
    }
}

Nesse caso, você incluiria esses nomes de campo na chamada do método. Por exemplo:

"opensearch.read.field.as.array.include": "genre,actor"

Se o campo de matriz estiver aninhado dentro da estrutura do documento, consulte-o usando a notação de pontos: "genre,actor,foo.bar.baz". Isso especificaria uma matriz baz incluída em seu documento de origem por meio do documento incorporado foo que contém o documento incorporado bar.

Escrever em tabelas do OpenSearch Service

Este exemplo escreve informações de um DynamicFrame existente, dynamicFrame, no OpenSearch Service. Se o índice já tiver informações, o AWS Glue anexará dados do seu DynamicFrame. Será necessário fornecer o parâmetro pushdown.

Pré-requisitos:

Por exemplo:

glueContext.write_dynamic_frame.from_options(
    frame=dynamicFrame,
    connection_type="opensearch",
    connection_options={
      "connectionName": "connectionName",
      "opensearch.resource": "aosIndex",
    },
)

Referência de opções de conexão do OpenSearch Service