Erstellen Sie eine Tabelle für Amazon VPC Flow Logs und fragen Sie sie ab

So erstellen Sie eine Athena-Tabelle für Amazon VPC Flow Logs

1. Geben Sie eine DDL Anweisung wie die folgende in den Abfrageeditor der Athena-Konsole ein und folgen Sie dabei den Richtlinien im Überlegungen und Einschränkungen Abschnitt. Die Beispielanweisung erstellt eine Tabelle mit den Spalten für die Amazon VPC Flow Logs-Versionen 2 bis 5, wie in den Flow-Protokolldatensätzen dokumentiert. Wenn Sie einen anderen Spaltensatz oder eine andere Spaltenreihenfolge verwenden, ändern Sie die Anweisung entsprechend.

   CREATE EXTERNAL TABLE IF NOT EXISTS `vpc_flow_logs` (
     version int,
     account_id string,
     interface_id string,
     srcaddr string,
     dstaddr string,
     srcport int,
     dstport int,
     protocol bigint,
     packets bigint,
     bytes bigint,
     start bigint,
     `end` bigint,
     action string,
     log_status string,
     vpc_id string,
     subnet_id string,
     instance_id string,
     tcp_flags int,
     type string,
     pkt_srcaddr string,
     pkt_dstaddr string,
     region string,
     az_id string,
     sublocation_type string,
     sublocation_id string,
     pkt_src_aws_service string,
     pkt_dst_aws_service string,
     flow_direction string,
     traffic_path int
   )
   PARTITIONED BY (`date` date)
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY ' '
   LOCATION 's3://amzn-s3-demo-bucket/prefix/AWSLogs/{account_id}/vpcflowlogs/{region_code}/'
   TBLPROPERTIES ("skip.header.line.count"="1");
   

   Beachten Sie folgende Punkte:

   • In der Abfrage wird die Angabe von a SerDe angegeben ROW FORMAT DELIMITED und nicht angegeben. Das heißt, die Abfrage verwendet Lazy Simple SerDe für CSVTSV, und benutzerdefinierte Dateien mit Trennzeichen. Bei dieser Abfrage werden Felder durch ein Leerzeichen beendet.

   • Die PARTITIONED BY-Klausel verwendet den date-Typ. Dies ermöglicht es, in Abfragen mathematische Operatoren für eine Auswahl vor oder nach einem bestimmten Datum zu verwenden.

     Anmerkung

     Da date es sich um ein reserviertes Schlüsselwort in DDL Anweisungen handelt, wird es durch Backstriche maskiert. Weitere Informationen finden Sie unter Reservierte Schlüsselwörter in Abfragen umgehen.

   • Bei einem VPC Flow-Protokoll mit einem anderen benutzerdefinierten Format ändern Sie die Felder so, dass sie mit den Feldern übereinstimmen, die Sie bei der Erstellung des Flow-Protokolls angegeben haben.

2. Ändern Sie LOCATION 's3://amzn-s3-demo-bucket/prefix/AWSLogs/{account_id}/vpcflowlogs/{region_code}/' so, dass auf den Amazon-S3-Bucket gezeigt wird, der Ihre Protokolldaten enthält.

3. Führen Sie die Abfrage in der Athena-Konsole aus. Nach Beendigung der Abfrage registriert Athena die vpc_flow_logs-Tabelle, sodass Sie die Daten zum Ausgeben von Abfragen nutzen können.

4. Erstellen Sie Partitionen, um die Daten lesen zu können, wie in der folgenden Beispielabfrage. Diese Abfrage erstellt eine einfache Partition für ein angegebenes Datum. Ersetzen Sie die Platzhalter für Datum und Standort nach Bedarf.

   Anmerkung

   Diese Abfrage erstellt für einen von Ihnen angegebenen Zeitraum lediglich eine einzige Partition. Um den Prozess zu automatisieren, verwenden Sie ein Skript, das diese Abfrage ausführt und auf diese Weise Partitionen für year/month/day erstellt, oder verwenden Sie eine CREATE TABLE-Anweisung, die die partition projection (Partitionsprojektion) angibt.

   ALTER TABLE vpc_flow_logs
   ADD PARTITION (`date`='YYYY-MM-dd')
   LOCATION 's3://amzn-s3-demo-bucket/prefix/AWSLogs/{account_id}/vpcflowlogs/{region_code}/YYYY/MM/dd';