Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Transit Gateways Flow Logs-Aufzeichnungen in Amazon S3
Flow-Protokolle können Flow-Protokolldaten direkt in Amazon S3 veröffentlichen.
Beim Veröffentlichen in Amazon S3 werden Flow-Protokolldaten in einem vorhandenen Amazon S3-Bucket veröffentlicht, den Sie zuvor angegeben haben. Flow-Protokolldatensätze für alle überwachten Transit-Gateways werden in eine Reihe von Protokolldateiobjekten veröffentlicht, die im Bucket abgelegt sind.
Gebühren für Datenaufnahme und Archivierung werden von Amazon CloudWatch for vended logs erhoben, wenn Sie Flow-Logs auf Amazon S3 veröffentlichen. Weitere Informationen zu den CloudWatch Preisen für verkaufte Logs erhalten Sie, indem Sie Amazon CloudWatch Pricing
Informationen zum Erstellen eines Amazon-S3-Buckets für die Verwendung mit Flow-Protokollen finden Sie unter Erstellen eines Buckets im Benutzerhandbuch zu Amazon Simple Storage Service.
Weitere Informationen zur Protokollierung mehrerer Konten finden Sie unter Zentrale Protokollierung
Weitere Informationen zu CloudWatch Logs finden Sie unter An Amazon S3 gesendete Logs im Amazon CloudWatch Logs-Benutzerhandbuch.
Inhalt
- Flow-Protokolldateien
- IAMRichtlinie für IAM Principals, die Flow-Logs in Amazon S3 veröffentlichen
- Amazon S3-Bucket-Berechtigungen für Flow-Protokolle
- Erforderliche Schlüsselrichtlinie für die Verwendung mit SSE - KMS
- Amazon S3-Protokolldateiberechtigungen
- Erstellen Sie die Rolle des Quellkontos
- Erstellen eines Flow-Protokolls, das in Amazon S3 veröffentlicht
- Datensätze der Flow-Logs anzeigen
- Verarbeitete Flow-Protokolldatensätze in Amazon S3
Flow-Protokolldateien
VPCFlow Logs ist eine Funktion, die Flow-Protokolldatensätze sammelt, sie in Protokolldateien konsolidiert und die Protokolldateien dann in Intervallen von 5 Minuten im Amazon S3 S3-Bucket veröffentlicht. Jede Protokolldatei enthält Flow-Protokolldatensätze für den in den letzten fünf Minuten aufgezeichneten IP-Verkehr.
Die maximale Dateigröße für eine Protokolldatei beträgt 75 MB. Wenn die Protokolldatei die Dateigrößenbeschränkung innerhalb des 5-Minuten-Zeitraums erreicht, fügt das Flow-Protokoll keine weiteren Flow-Protokolldatensätze hinzu. Anschließend wird das Flow-Protokoll im Amazon S3-Bucket veröffentlicht und eine neue Protokolldatei erstellt.
In Amazon S3 gibt das Feld Last modified (Zuletzt geändert) für die Flow-Protokolldatei Datum und Uhrzeit an, zu dem/der die Datei in den Amazon S3-Bucket hochgeladen wurde. Dieser Zeitpunkt ist später als der Zeitstempel im Dateinamen und die Differenz ist die Zeitspanne, die zum Upload der Datei in den Amazon S3-Bucket benötigt wird.
Protokolldateiformat
Sie können eines der folgenden Formate für die Protokolldateien festlegen. Jede Datei wird in eine einzelne Gzip-Datei komprimiert.
-
Text – Klartext. Dies ist das Standardformat.
-
Parquet – Apache Parquet ist ein spaltenförmiges Datenformat. Abfragen zu Daten im Parquet-Format sind 10 bis 100 Mal schneller im Vergleich zu Abfragen zu Daten im Klartext. Daten im Parquet-Format mit Gzip-Komprimierung benötigen 20 Prozent weniger Speicherplatz als Nur-Text bei Gzip-Komprimierung.
Protokolldateioptionen
Optional können Sie folgende Optionen angeben.
-
HIVE-kompatible S3-Präfixe – Aktivieren Sie HIVE-kompatible Präfixe, anstatt Partitionen in Ihre HIVE-kompatiblen Tools zu importieren. Bevor Sie Abfragen ausführen, verwenden Sie den MSCK REPAIR TABLE-Befehl.
-
Stündliche Partitionen – Wenn Sie über eine große Anzahl von Protokollen verfügen und Abfragen normalerweise auf eine bestimmte Stunde richten, können Sie schnellere Ergebnisse erzielen und Abfragekosten sparen, indem Sie Protokolle stündlich partitionieren.
S3-Bucket-Struktur der Protokolldatei
Protokolldateien werden im angegebenen Amazon-S3-Bucket mit einer Ordnerstruktur gespeichert, die auf der ID, der Region, dem Erstellungsdatum und den Zieloptionen des Flow-Protokolls basiert.
Standardmäßig werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix
/AWSLogs/account_id
/vpcflowlogs/region
/year
/month
/day
/
Wenn Sie HIVE-kompatible S3-Präfixe aktivieren, werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix
/AWSLogs/aws-account-id=account_id
/service=vpcflowlogs/aws-region=region
/year=year
/month=month
/day=day
/
Wenn Sie stündliche Partitionen aktivieren, werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix
/AWSLogs/account_id
/vpcflowlogs/region
/year
/month
/day
/hour
/
Wenn Sie HIVE-kompatible Partitionen aktivieren und das Flow-Protokoll pro Stunde partitionieren, werden die Dateien an den folgenden Speicherort geliefert.
bucket-and-optional-prefix
/AWSLogs/aws-account-id=account_id
/service=vpcflowlogs/aws-region=region
/year=year
/month=month
/day=day
/hour=hour
/
Protokolldateinamen
Der Dateiname einer Protokolldatei basiert auf der Flow-Protokoll-ID, der Region sowie dem Erstellungsdatum und der Uhrzeit. Dateinamen verwenden das folgende Format:
aws_account_id
_vpcflowlogs_region
_flow_log_id
_YYYYMMDD
THHmm
Z_hash
.log.gz
Im Folgenden finden Sie ein Beispiel für eine Protokolldatei für ein Flow-Protokoll, erstellt von AWS-Konto 123456789012, für eine Ressource in us-east-1 Region, auf June 20, 2018 at 16:20 UTC. Die Datei enthält die Flow-Protokolldatensätze mit einer Endzeit zwischen 16:20:00 and 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz
IAMRichtlinie für IAM Principals, die Flow-Logs in Amazon S3 veröffentlichen
Der IAM Principal, der das Flow-Protokoll erstellt, muss über die folgenden Berechtigungen verfügen, die erforderlich sind, um Flow-Logs im Amazon S3 S3-Ziel-Bucket zu veröffentlichen.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:CreateLogDelivery", "logs:DeleteLogDelivery" ], "Resource": "*" } ] }
Amazon S3-Bucket-Berechtigungen für Flow-Protokolle
Standardmäßig sind Amazon S3-Buckets und die darin enthaltenen Objekte privat. Nur der Bucket-Besitzer kann auf den Bucket und die darin gespeicherten Objekte zugreifen. Der Bucket-Besitzer kann jedoch anderen Ressourcen und Benutzern Zugriffsberechtigungen erteilen, indem er eine Zugriffsrichtlinie schreibt.
Wenn der Benutzer, der das Flow-Protokoll erstellt, Eigentümer des Buckets ist und PutBucketPolicy
- und GetBucketPolicy
-Berechtigungen für den Bucket besitzt, fügen wir automatisch die folgende Richtlinie an den Bucket an. Diese Richtlinie überschreibt alle vorhandenen Richtlinien, die bereits an den Bucket angefügt sind.
Ansonsten muss der Bucket-Eigentümer diese Richtlinie zum Bucket hinzufügen und dabei die AWS-Konto -ID des Flow-Protokoll-Erstellers oder die Erstellung des Flow-Logs schlägt fehl. Weitere Informationen finden Sie unter Verwenden von Bucket-Richtlinien im Benutzerhandbuch für Amazon Simple Storage Service.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AWSLogDeliveryWrite", "Effect": "Allow", "Principal": {"Service": "delivery.logs.amazonaws.com"}, "Action": "s3:PutObject", "Resource": "
my-s3-arn
", "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control", "aws:SourceAccount":account_id
}, "ArnLike": { "aws:SourceArn": "arn:aws:logs:region
:account_id
:*" } } }, { "Sid": "AWSLogDeliveryCheck", "Effect": "Allow", "Principal": {"Service": "delivery.logs.amazonaws.com"}, "Action": ["s3:GetBucketAcl", "s3:ListBucket"], "Resource": "arn:aws:s3:::bucket_name
", "Condition": { "StringEquals": { "aws:SourceAccount":account_id
}, "ArnLike": { "aws:SourceArn": "arn:aws:logs:region
:account_id
:*" } } } ] }
DieARN, für die Sie angeben my-s3-arn
hängt davon ab, ob Sie HIVE-kompatible S3-Präfixe verwenden.
-
Standardpräfixe
arn:aws:s3:::
bucket_name
/optional_folder
/AWSLogs/account_id
/* -
HIVE-kompatible S3-Präfixe
arn:aws:s3:::
bucket_name
/optional_folder
/AWSLogs/aws-account-id=account_id
/*
Als bewährte Methode empfehlen wir, dass Sie diese Berechtigungen dem Prinzipal des Protokollzustellungsdienstes und nicht der Einzelperson gewähren. AWS-Konto ARNs Es ist auch eine bewährte Methode, die aws:SourceAccount
- und aws:SourceArn
-Bedingungsschlüssel zum Schutz vor dem Problem des verwirrten Stellvertreters zu verwenden. Das Quellkonto ist der Besitzer des Flow-Protokolls und die Quelle ARN ist der Platzhalter (*) ARN des Protokolldienstes.
Erforderliche Schlüsselrichtlinie für die Verwendung mit SSE - KMS
Sie können die Daten in Ihrem Amazon S3 S3-Bucket schützen, indem Sie entweder serverseitige Verschlüsselung mit Amazon S3-Managed Keys (SSE-S3) oder serverseitige Verschlüsselung mit KMS Schlüsseln (-) aktivieren. SSE KMS Weitere Informationen finden Sie unter Schützen von Daten mithilfe serverseitiger Verschlüsselung im Amazon S3-Entwicklerhandbuch.
Mit SSE - KMS können Sie entweder einen AWS verwalteten Schlüssel oder einen vom Kunden verwalteten Schlüssel verwenden. Mit einem AWS verwalteten Schlüssel können Sie die kontoübergreifende Zustellung nicht verwenden. Flow-Protokolle werden vom Protokollbereitstellungskonto bereitgestellt, daher müssen Sie Zugriff für die kontoübergreifende Bereitstellung gewähren. Um kontoübergreifenden Zugriff auf Ihren S3-Bucket zu gewähren, verwenden Sie einen vom Kunden verwalteten Schlüssel und geben Sie den Amazon-Ressourcennamen (ARN) des vom Kunden verwalteten Schlüssels an, wenn Sie die Bucket-Verschlüsselung aktivieren. Weitere Informationen finden Sie unter Festlegen einer serverseitigen Verschlüsselung mit AWS KMS im Amazon S3-Benutzerhandbuch.
Wenn Sie SSE — KMS mit einem vom Kunden verwalteten Schlüssel verwenden, müssen Sie Folgendes zur Schlüsselrichtlinie für Ihren Schlüssel hinzufügen (nicht zur Bucket-Richtlinie für Ihren S3-Bucket), damit VPC Flow Logs in Ihren S3-Bucket schreiben kann.
{ "Sid": "Allow Transit Gateway Flow Logs to use the key", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }
Amazon S3-Protokolldateiberechtigungen
Zusätzlich zu den erforderlichen Bucket-Richtlinien verwendet Amazon S3 Zugriffskontrolllisten (ACLs), um den Zugriff auf die von einem Flow-Protokoll erstellten Protokolldateien zu verwalten. Standardmäßig hat der Bucket-Eigentümer FULL_CONTROL
-Berechtigungen für jede Protokolldatei. Der Protokollbereitstellungseigentümer hat keine Berechtigungen, wenn er nicht gleichzeitig der Bucket-Eigentümer ist. Das Konto für die Protokollbereitstellung hat READ
- und WRITE
-Berechtigungen. Weitere Informationen finden Sie unter Übersicht über die Zugriffskontrollliste (ACL) im Amazon Simple Storage Service-Benutzerhandbuch.
Verarbeitete Flow-Protokolldatensätze in Amazon S3
Die Protokolldateien werden komprimiert. Wenn Sie die Protokolldateien unter Verwendung der Amazon S3-Konsole öffnen, werden sie dekomprimiert und die Flow-Protokolldatensätze werden angezeigt. Wenn Sie die Dateien herunterladen, müssen Sie sie dekomprimieren, um die Flow-Protokolldatensätze anzuzeigen.