Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Flow-Protokolle können Flow-Protokolldaten direkt in Amazon S3 veröffentlichen.
Beim Veröffentlichen in Amazon S3 werden Flow-Protokolldaten in einem vorhandenen Amazon S3-Bucket veröffentlicht, den Sie zuvor angegeben haben. Flow-Protokolldatensätze für alle überwachten Transit-Gateways werden in eine Reihe von Protokolldateiobjekten veröffentlicht, die im Bucket abgelegt sind.
Gebühren für Datenaufnahme und Archivierung werden von Amazon CloudWatch for vended logs erhoben, wenn Sie Flow-Logs auf Amazon S3 veröffentlichen. Weitere Informationen zu den CloudWatch Preisen für verkaufte Logs erhalten Sie, indem Sie Amazon CloudWatch Pricing
Informationen zum Erstellen eines Amazon S3 S3-Buckets zur Verwendung mit Flow-Protokollen finden Sie unter Bucket erstellen im Amazon S3 S3-Benutzerhandbuch.
Weitere Informationen zur Protokollierung mehrerer Konten finden Sie unter Zentrale Protokollierung
Weitere Informationen zu CloudWatch Logs finden Sie unter An Amazon S3 gesendete Logs im Amazon CloudWatch Logs-Benutzerhandbuch.
Inhalt
Flow-Protokolldateien
VPC-Flow-Protokolle sind eine Funktion, die Flow-Protokoll-Datensätze sammelt, sie in Protokolldateien konsolidiert und die Protokolldateien dann in 5-Minuten-Intervallen im Amazon-S3-Bucket veröffentlicht. Jede Protokolldatei enthält Flow-Protokolldatensätze für den in den letzten fünf Minuten aufgezeichneten IP-Verkehr.
Die maximale Dateigröße für eine Protokolldatei beträgt 75 MB. Wenn die Protokolldatei die Dateigrößenbeschränkung innerhalb des 5-Minuten-Zeitraums erreicht, fügt das Flow-Protokoll keine weiteren Flow-Protokolldatensätze hinzu. Anschließend wird das Flow-Protokoll im Amazon S3-Bucket veröffentlicht und eine neue Protokolldatei erstellt.
In Amazon S3 gibt das Feld Last modified (Zuletzt geändert) für die Flow-Protokolldatei Datum und Uhrzeit an, zu dem/der die Datei in den Amazon S3-Bucket hochgeladen wurde. Dieser Zeitpunkt ist später als der Zeitstempel im Dateinamen und die Differenz ist die Zeitspanne, die zum Upload der Datei in den Amazon S3-Bucket benötigt wird.
Protokolldateiformat
Sie können eines der folgenden Formate für die Protokolldateien festlegen. Jede Datei wird in eine einzelne Gzip-Datei komprimiert.
-
Text – Klartext. Dies ist das Standardformat.
-
Parquet – Apache Parquet ist ein spaltenförmiges Datenformat. Abfragen zu Daten im Parquet-Format sind 10 bis 100 Mal schneller im Vergleich zu Abfragen zu Daten im Klartext. Daten im Parquet-Format mit Gzip-Komprimierung benötigen 20 Prozent weniger Speicherplatz als Nur-Text bei Gzip-Komprimierung.
Protokolldateioptionen
Optional können Sie folgende Optionen angeben.
-
HIVE-kompatible S3-Präfixe – Aktivieren Sie HIVE-kompatible Präfixe, anstatt Partitionen in Ihre HIVE-kompatiblen Tools zu importieren. Bevor Sie Abfragen ausführen, verwenden Sie den MSCK REPAIR TABLE-Befehl.
-
Stündliche Partitionen – Wenn Sie über eine große Anzahl von Protokollen verfügen und Abfragen normalerweise auf eine bestimmte Stunde richten, können Sie schnellere Ergebnisse erzielen und Abfragekosten sparen, indem Sie Protokolle stündlich partitionieren.
S3-Bucket-Struktur der Protokolldatei
Protokolldateien werden im angegebenen Amazon-S3-Bucket mit einer Ordnerstruktur gespeichert, die auf der ID, der Region, dem Erstellungsdatum und den Zieloptionen des Flow-Protokolls basiert.
Standardmäßig werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/Wenn Sie HIVE-kompatible S3-Präfixe aktivieren, werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/Wenn Sie stündliche Partitionen aktivieren, werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/Wenn Sie HIVE-kompatible Partitionen aktivieren und das Flow-Protokoll pro Stunde partitionieren, werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/Protokolldateinamen
Der Dateiname einer Protokolldatei basiert auf der Flow-Protokoll-ID, der Region sowie dem Erstellungsdatum und der Uhrzeit. Dateinamen verwenden das folgende Format:
aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gzIm Folgenden finden Sie ein Beispiel für eine Protokolldatei für ein Flow-Protokoll, erstellt von AWS-Konto 123456789012, für eine Ressource in us-east-1 Region, auf June 20, 2018 at 16:20 UTC. Die Datei enthält die Flow-Protokolldatensätze mit einer Endzeit zwischen 16:20:00 and 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gzIAM-Richtlinie für IAM-Prinzipale, die Flow-Protokolle in Amazon S3 veröffentlichen
Der IAM-Prinzipal, der das Flow-Protokoll erstellt, muss über die folgenden Berechtigungen verfügen, die für die Veröffentlichung von Flow-Protokollen im Amazon-S3-Ziel-Bucket erforderlich sind.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:CreateLogDelivery",
"logs:DeleteLogDelivery"
],
"Resource": "*"
}
]
}Amazon S3-Bucket-Berechtigungen für Flow-Protokolle
Standardmäßig sind Amazon S3-Buckets und die darin enthaltenen Objekte privat. Nur der Bucket-Besitzer kann auf den Bucket und die darin gespeicherten Objekte zugreifen. Der Bucket-Besitzer kann jedoch anderen Ressourcen und Benutzern Zugriffsberechtigungen erteilen, indem er eine Zugriffsrichtlinie schreibt.
Wenn der Benutzer, der das Flow-Protokoll erstellt, Eigentümer des Buckets ist und PutBucketPolicy- und GetBucketPolicy-Berechtigungen für den Bucket besitzt, fügen wir automatisch die folgende Richtlinie an den Bucket an. Diese Richtlinie überschreibt alle vorhandenen Richtlinien, die bereits an den Bucket angefügt sind.
Ansonsten muss der Bucket-Eigentümer diese Richtlinie zum Bucket hinzufügen und dabei die AWS-Konto -ID des Flow-Protokoll-Erstellers oder die Erstellung des Flow-Logs schlägt fehl. Weitere Informationen finden Sie unter Bucket-Richtlinien im Amazon Simple Storage Service-Benutzerhandbuch.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AWSLogDeliveryWrite",
"Effect": "Allow",
"Principal": {"Service": "delivery.logs.amazonaws.com"},
"Action": "s3:PutObject",
"Resource": "my-s3-arn",
"Condition": {
"StringEquals": {
"s3:x-amz-acl": "bucket-owner-full-control",
"aws:SourceAccount": account_id
},
"ArnLike": {
"aws:SourceArn": "arn:aws:logs:region:account_id:*"
}
}
},
{
"Sid": "AWSLogDeliveryCheck",
"Effect": "Allow",
"Principal": {"Service": "delivery.logs.amazonaws.com"},
"Action": ["s3:GetBucketAcl", "s3:ListBucket"],
"Resource": "arn:aws:s3:::bucket_name",
"Condition": {
"StringEquals": {
"aws:SourceAccount": account_id
},
"ArnLike": {
"aws:SourceArn": "arn:aws:logs:region:account_id:*"
}
}
}
]
}Der ARN, für den Sie angeben, my-s3-arn hängt davon ab, ob Sie HIVE-kompatible S3-Präfixe verwenden.
-
Standardpräfixe
arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/* -
HIVE-kompatible S3-Präfixe
arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*
Als bewährte Methode empfehlen wir, dass Sie diese Berechtigungen dem Prinzipal des Protokollzustellungsdienstes und nicht der Einzelperson gewähren. AWS-Konto ARNs Es ist auch eine bewährte Methode, die aws:SourceAccount- und aws:SourceArn-Bedingungsschlüssel zum Schutz vor dem Problem des verwirrten Stellvertreters zu verwenden. Das Quellkonto ist der Eigentümer des Flow-Protokolls und der Quell-ARN ist der Platzhalter-AARN (*) des Protokolldienstes.
Erforderliche Schlüsselrichtlinie zur Verwendung mit SSE-KMS
Sie können die Daten in Ihrem Amazon-S3-Bucket schützen, indem Sie entweder Serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3) oder Serverseitige Verschlüsselung mit KMS-Schlüsseln (SSE-KMS) aktivieren. Weitere Informationen finden Sie unter Schützen von Daten mithilfe serverseitiger Verschlüsselung im Amazon S3-Entwicklerhandbuch.
Mit SSE-KMS können Sie entweder einen AWS verwalteten Schlüssel oder einen vom Kunden verwalteten Schlüssel verwenden. Mit einem AWS verwalteten Schlüssel können Sie die kontoübergreifende Zustellung nicht verwenden. Flow-Protokolle werden vom Protokollbereitstellungskonto bereitgestellt, daher müssen Sie Zugriff für die kontoübergreifende Bereitstellung gewähren. Um kontoübergreifenden Zugriff auf Ihren S3 Bucket zu gewähren, verwenden Sie einen kundenverwalteten Schlüssel und geben den Amazon-Ressourcennamen (ARN) des vom Kunden verwalteten Schlüssel an, wenn Sie die Bucket-Verschlüsselung aktivieren. Weitere Informationen finden Sie unter Festlegen einer serverseitigen Verschlüsselung mit AWS KMS im Amazon S3-Benutzerhandbuch.
Wenn Sie SSE-KMS mit einem von Kunden verwalteten Schlüssel verwenden, müssen Sie der Schlüsselrichtlinie für Ihren Schlüssel (nicht der Bucket-Richtlinie für Ihren S3 Bucket) Folgendes hinzufügen, damit VPC-Flow-Protokolle in Ihren S3 Bucket schreiben können.
Anmerkung
Durch die Verwendung von S3 Bucket Keys können Sie bei AWS Key Management Service (AWS KMS) -Anforderungskosten sparen, GenerateDataKey indem Sie Ihre Anfragen auf AWS KMS Verschlüsselungs- und Entschlüsselungsvorgänge mithilfe eines Schlüssels auf Bucket-Ebene reduzieren. Standardmäßig führen nachfolgende Anfragen, die diesen Schlüssel auf Bucket-Ebene nutzen, nicht zu AWS KMS API-Anfragen und validieren den Zugriff nicht anhand der Schlüsselrichtlinie. AWS KMS
{
"Sid": "Allow Transit Gateway Flow Logs to use the key",
"Effect": "Allow",
"Principal": {
"Service": [
"delivery.logs.amazonaws.com"
]
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*"
}Amazon S3-Protokolldateiberechtigungen
Zusätzlich zu den erforderlichen Bucket-Richtlinien verwendet Amazon S3 Zugriffskontrolllisten (ACLs), um den Zugriff auf die von einem Flow-Protokoll erstellten Protokolldateien zu verwalten. Standardmäßig hat der Bucket-Eigentümer FULL_CONTROL-Berechtigungen für jede Protokolldatei. Der Protokollbereitstellungseigentümer hat keine Berechtigungen, wenn er nicht gleichzeitig der Bucket-Eigentümer ist. Das Konto für die Protokollbereitstellung hat READ- und WRITE-Berechtigungen. Weitere Informationen finden Sie unter Übersicht über die Zugriffskontrollliste (ACL) im Amazon Simple Storage Service-Benutzerhandbuch.
Verarbeitete Flow-Protokolldatensätze in Amazon S3
Die Protokolldateien werden komprimiert. Wenn Sie die Protokolldateien unter Verwendung der Amazon S3-Konsole öffnen, werden sie dekomprimiert und die Flow-Protokolldatensätze werden angezeigt. Wenn Sie die Dateien herunterladen, müssen Sie sie dekomprimieren, um die Flow-Protokolldatensätze anzuzeigen.
