Sélectionner vos préférences de cookies

Nous utilisons des cookies essentiels et des outils similaires qui sont nécessaires au fonctionnement de notre site et à la fourniture de nos services. Nous utilisons des cookies de performance pour collecter des statistiques anonymes afin de comprendre comment les clients utilisent notre site et d’apporter des améliorations. Les cookies essentiels ne peuvent pas être désactivés, mais vous pouvez cliquer sur « Personnaliser » ou « Refuser » pour refuser les cookies de performance.

Si vous êtes d’accord, AWS et les tiers approuvés utiliseront également des cookies pour fournir des fonctionnalités utiles au site, mémoriser vos préférences et afficher du contenu pertinent, y compris des publicités pertinentes. Pour accepter ou refuser tous les cookies non essentiels, cliquez sur « Accepter » ou « Refuser ». Pour effectuer des choix plus détaillés, cliquez sur « Personnaliser ».

Chargement de données dans Amazon OpenSearch Service avec Logstash

Mode de mise au point

Sur cette page

Chargement de données dans Amazon OpenSearch Service avec Logstash - Amazon OpenSearch Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

La version open source de Logstash (Logstash OSS) fournit un moyen pratique d'utiliser l'API en masse pour télécharger des données dans votre domaine Amazon Service. OpenSearch Le service prend en charge tous les plug-ins d'entrée Logstash standard, y compris le plug-in d'entrée Amazon S3. OpenSearch Le service prend en charge le plug-in logstash-output-opensearchde sortie, qui prend en charge à la fois l'authentification de base et les informations d'identification IAM. Le plugin fonctionne avec les versions 8.1 et inférieures de Logstash OSS.

Configuration

La configuration de Logstash varie en fonction du type d'authentification utilisé par votre domaine.

Quelle que soit la méthode d'authentification que vous utilisez, vous devez configurer ecs_compatibility comme disabled dans la section de sortie du fichier de configuration. Logstash 8.0 a introduit une modification novatrice dans laquelle tous les plugins sont exécutés dans Mode de compatibilité ECS par défaut. Vous devez remplacer la valeur par défaut pour conserver un comportement hérité.

Configuration du contrôle précis des accès

Si votre domaine OpenSearch de service utilise un contrôle d'accès précis avec authentification HTTP de base, la configuration est similaire à celle de tout autre OpenSearch cluster. L'entrée de cet exemple de fichier de configuration repose sur la version open source de Filebeat (Filebeat OSS) :

input { beats { port => 5044 } } output { opensearch { hosts => "https://domain-endpoint:443" user => "my-username" password => "my-password" index => "logstash-logs-%{+YYYY.MM.dd}" ecs_compatibility => disabled ssl_certificate_verification => false } }

La configuration varie selon l'application Beats et le cas d'utilisation, mais votre configuration Filebeat OSS peut être semblable à la suivante :

filebeat.inputs: - type: log enabled: true paths: - /path/to/logs/dir/*.log filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.ilm.enabled: false setup.ilm.check_exists: false setup.template.settings: index.number_of_shards: 1 output.logstash: hosts: ["logstash-host:5044"]

Configuration de l'IAM

Si votre domaine utilise une politique d'accès au domaine basée sur IAM ou un contrôle d'accès précis avec un utilisateur principal, vous devez signer toutes les demandes adressées au OpenSearch Service à l'aide des informations d'identification IAM. La politique basée sur l'identité suivante accorde toutes les requêtes HTTP aux sous-ressources de votre domaine.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "es:ESHttp*" ], "Resource": "arn:aws:es:region:aws-account-id:domain/domain-name/*" } ] }

Pour configurer votre configuration Logstash, modifiez votre fichier de configuration afin d'utiliser le plugin pour sa sortie. L'entrée de cet exemple de fichier de configuration repose sur les fichiers d'un compartiment S3 :

input { s3 { bucket => "amzn-s3-demo-" region => "us-east-1" } } output { opensearch { hosts => ["domain-endpoint:443"] auth_type => { type => 'aws_iam' aws_access_key_id => 'your-access-key' aws_secret_access_key => 'your-secret-key' region => 'us-east-1' } index => "logstash-logs-%{+YYYY.MM.dd}" ecs_compatibility => disabled } }

Si vous ne souhaitez pas fournir vos informations d'identification IAM dans le fichier de configuration, vous pouvez les exporter (ou exécuter aws configure) :

export AWS_ACCESS_KEY_ID="your-access-key" export AWS_SECRET_ACCESS_KEY="your-secret-key" export AWS_SESSION_TOKEN="your-session-token"

Si votre domaine de OpenSearch service se trouve dans un VPC, la machine Logstash OSS doit pouvoir se connecter au VPC et avoir accès au domaine via les groupes de sécurité VPC. Pour de plus amples informations, veuillez consulter À propos des politiques d'accès aux VPC domaines.

ConfidentialitéConditions d'utilisation du sitePréférences de cookies
© 2025, Amazon Web Services, Inc. ou ses affiliés. Tous droits réservés.