View a markdown version of this page

Utilisation d'un pipeline d' OpenSearch ingestion avec Amazon Security Lake comme source - OpenSearch Service Amazon
Conditions préalablesConfigurer le rôle du pipelineCréation du pipeline

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'un pipeline d' OpenSearch ingestion avec Amazon Security Lake comme source

Vous pouvez utiliser le plug-in source Amazon S3 dans votre pipeline OpenSearch d'ingestion pour ingérer des données depuis Amazon Security Lake. Security Lake centralise automatiquement les données de sécurité provenant des AWS environnements, des systèmes sur site et des fournisseurs SaaS dans un lac de données spécialement conçu.

Amazon Security Lake possède les attributs de métadonnées suivants au sein d'un pipeline :

  • bucket_name: nom du compartiment Amazon S3 créé par Security Lake pour stocker les données de sécurité.

  • path_prefix: nom de source personnalisé défini dans la politique de rôle IAM de Security Lake.

  • region: l' Région AWS endroit où se trouve le compartiment Security Lake S3.

  • accountID: Compte AWS ID dans lequel Security Lake est activé.

  • sts_role_arn: l'ARN du rôle IAM destiné à être utilisé avec Security Lake.

Conditions préalables

Avant de créer votre pipeline OpenSearch d'ingestion, effectuez les étapes suivantes :

  • Activez Security Lake.

  • Créez un abonné dans Security Lake.

    • Choisissez les sources que vous souhaitez intégrer à votre pipeline.

    • Pour les informations d'identification de l'abonné, ajoutez l'ID de l' Compte AWS endroit où vous souhaitez créer le pipeline. Pour l'ID externe, spécifiezOpenSearchIngestion-{accountid}.

    • Pour Méthode d'accès aux données, choisissez S3.

    • Pour plus de détails sur les notifications, choisissez SQS Queue.

Lorsque vous créez un abonné, Security Lake crée automatiquement deux politiques d'autorisations en ligne, l'une pour S3 et l'autre pour SQS. Les politiques prennent le format suivant : AmazonSecurityLake-amzn-s3-demo-bucket-S3 etAmazonSecurityLake-AWS Demo-SQS. Pour permettre à votre pipeline d'accéder aux sources d'abonnés, vous devez associer les autorisations requises à votre rôle de pipeline.

Configurer le rôle du pipeline

Créez une nouvelle politique d'autorisations dans IAM qui combine uniquement les autorisations requises parmi les deux politiques créées automatiquement par Security Lake. L'exemple de politique suivant indique le minimum de privilèges requis pour qu'un pipeline d' OpenSearch ingestion puisse lire les données provenant de plusieurs sources Security Lake :

JSON
{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "s3:GetObject"
         ],
         "Resource":[
            "arn:aws:s3:::aws-security-data-lake-us-east-1-abcde/aws/LAMBDA_EXECUTION/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-us-east-1-abcde/aws/S3_DATA/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-us-east-1-abcde/aws/VPC_FLOW/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-us-east-1-abcde/aws/ROUTE53/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-us-east-1-abcde/aws/SH_FINDINGS/1.0/*"
         ]
      },
      {
         "Effect":"Allow",
         "Action":[
            "sqs:ReceiveMessage",
            "sqs:DeleteMessage"
         ],
         "Resource":[
            "arn:aws:sqs:us-east-1:111122223333:AmazonSecurityLake-abcde-Main-Queue"
         ]
      }
   ]
}
Important

Security Lake ne gère pas la politique relative aux rôles dans les pipelines à votre place. Si vous ajoutez ou supprimez des sources de votre abonnement Security Lake, vous devez mettre à jour la politique manuellement. Security Lake crée des partitions pour chaque source de journal. Vous devez donc ajouter ou supprimer manuellement des autorisations dans le rôle de pipeline.

Vous devez associer ces autorisations au rôle IAM que vous spécifiez dans l'sts_role_arnoption de la configuration du plug-in source S3, soussqs.

version: "2"
source:
  s3:
    ...
    sqs:
      queue_url: "https://sqs.us-east-1amazonaws.com/account-id/AmazonSecurityLake-amzn-s3-demo-bucket-Main-Queue"
    aws:
      ...
processor:
  ...
sink:
  - opensearch:
      ...

Création du pipeline

Après avoir ajouté les autorisations au rôle de pipeline, utilisez le plan préconfiguré de Security Lake pour créer le pipeline. Pour de plus amples informations, veuillez consulter Travailler avec des plans.

Vous devez spécifier l'queue_urloption dans la configuration s3 source, à savoir l'URL de la file d'attente Amazon SQS à partir de laquelle lire. Pour formater l'URL, localisez le point de terminaison de l'abonnement dans la configuration de l'abonné et passez arn:aws: àhttps://. Par exemple, https://sqs.us-east-1amazonaws.com/account-id/AmazonSecurityLake-AWS Demo-Main-Queue.

L'ARN du rôle de pipeline doit être sts_role_arn celui que vous spécifiez dans la configuration de la source S3.