Usando um pipeline OpenSearch de ingestão com o Amazon Security Lake - OpenSearch Serviço Amazon
Pré-requisitosEtapa 1: configurar a função do pipelineEtapa 2: Criar o pipeline

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando um pipeline OpenSearch de ingestão com o Amazon Security Lake

Você pode usar o plug-in de origem do S3 para ingerir dados do Amazon Security Lake em seu pipeline de OpenSearch ingestão. O Security Lake centraliza automaticamente os dados de segurança de AWS ambientes, ambientes locais e provedores de SaaS em um data lake específico. Você pode criar uma assinatura que replica os dados do Security Lake para o pipeline de OpenSearch ingestão e, em seguida, os grava no domínio do OpenSearch Service ou na coleção OpenSearch Serverless.

Para configurar seu pipeline para ler do Security Lake, use o blueprint pré-configurado do Security Lake. O esquema inclui uma configuração padrão para ingerir arquivos de parquet do Open Cybersecurity Schema Framework (OCSF) do Security Lake. Para obter mais informações, consulte Usar esquemas para criar um pipeline.

Pré-requisitos

Antes de criar seu pipeline OpenSearch de ingestão, execute as seguintes etapas:

  • Habilitar o Security Lake.

  • Criar um assinante no Security Lake.

    • Escolha as fontes que você deseja ingerir em seu pipeline.

    • Em Credenciais de assinante, adicione o ID da Conta da AWS em que você pretende criar o pipeline. Para o ID externo, especifique OpenSearchIngestion-{accountid}.

    • Em Método de acesso a dados, escolha S3.

    • Para detalhes da notificação, escolha SQSfila.

Quando você cria um assinante, o Security Lake cria automaticamente duas políticas de permissões em linha — uma para S3 e outra para. SQS As políticas têm o seguinte formato: AmazonSecurityLake-{12345}-S3 e AmazonSecurityLake-{12345}-SQS. Para permitir que seu pipeline acesse as origens de assinantes, você deve associar as permissões necessárias à sua função do pipeline.

Etapa 1: configurar a função do pipeline

Crie uma nova política de permissões IAM que combine somente as permissões necessárias das duas políticas que o Security Lake criou automaticamente. O exemplo de política a seguir mostra o menor privilégio necessário para que um pipeline de OpenSearch ingestão leia dados de várias fontes do Security Lake:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "s3:GetObject"
         ],
         "Resource":[
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/LAMBDA_EXECUTION/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/S3_DATA/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/VPC_FLOW/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/ROUTE53/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/SH_FINDINGS/1.0/*"
         ]
      },
      {
         "Effect":"Allow",
         "Action":[
            "sqs:ReceiveMessage",
            "sqs:DeleteMessage"
         ],
         "Resource":[
            "arn:aws:sqs:{region}:{account-id}:AmazonSecurityLake-abcde-Main-Queue"
         ]
      }
   ]
}
Importante

O Security Lake não gerencia a política de função do pipeline para você. Se você adicionar ou remover fontes da sua assinatura do Security Lake, deverá atualizar a política manualmente. O Security Lake cria partições para cada fonte de log, então você precisa adicionar ou remover manualmente as permissões na função de pipeline.

Você deve anexar essas permissões à IAM função especificada na sts_role_arn opção dentro da configuração do plug-in de origem do S3, emsqs.

version: "2"
source:
  s3:
    ...
    sqs:
      queue_url: "https://sqs.{region}.amazonaws.com/{account-id}/AmazonSecurityLake-abcde-Main-Queue"
    aws:
      ...
      sts_role_arn: arn:aws:iam::{account-id}:role/pipeline-role
processor:
  ...
sink:
  - opensearch:
      ...

Etapa 2: Criar o pipeline

Depois de adicionar as permissões à função do pipeline, use o blueprint pré-configurado do Security Lake para criar o pipeline. Para obter mais informações, consulte Usar esquemas para criar um pipeline.

Você deve especificar a queue_url opção na configuração de s3 origem, que é a SQS fila da Amazon URL para leitura. Para formatar oURL, localize o endpoint da assinatura na configuração do assinante e arn:aws: altere para. https:// Por exemplo, https://sqs.{region}.amazonaws.com/{account-id}/AmazonSecurityLake-abdcef-Main-Queue.

O sts_role_arn que você especifica na configuração de origem do S3 deve ser a função ARN do pipeline.