COPYdepuis Amazon S3

Source des données à charger. Pour plus d’informations sur l’encodage du fichier Amazon S3, consultez Paramètres de conversion de données.

Spécifie le chemin d’accès aux objets Amazon S3 contenant les données (par exemple 's3://amzn-s3-demo-bucket/custdata.txt'). Le paramètre s3://copy_from_s3_objectpath peut faire référence à un seul fichier ou à un ensemble d’objets ou de dossiers ayant le même préfixe de clé. Par exemple, le nom custdata.txt est un préfixe de clé qui fait référence à un certain nombre de fichiers physiques : custdata.txt, custdata.txt.1, custdata.txt.2, custdata.txt.bak et ainsi de suite. Le préfixe de clé peut également faire référence à un certain nombre de dossiers. Par exemple, 's3://amzn-s3-demo-bucket/custfolder' fait référence aux dossiers custfolder, custfolder_1, custfolder_2 et ainsi de suite. Si un préfixe de clé fait référence à plusieurs dossiers, tous les fichiers dans les dossiers sont chargés. Si un préfixe de clé correspond à un fichier et à un dossier, par exemplecustfolder.log, COPY tente également de charger le fichier. Si un préfixe de clé peut entraîner une COPY tentative de chargement de fichiers indésirables, utilisez un fichier manifeste. Pour plus d’informations, consultez copy_from_s3_manifest_file, ci-après.

Pour de plus amples informations, veuillez consulter Chargement des données à partir d’Amazon S3.

Spécifie la clé de l’objet Amazon S3 d’un fichier manifeste qui répertorie les fichiers de données à charger. L’argument ’s3://copy_from_s3_manifest_file’ doit explicitement faire référence à un seul fichier, par exemple, 's3://amzn-s3-demo-bucket/manifest.txt'. Il ne peut pas faire référence à un préfixe de clé.

Le manifeste est un fichier texte au JSON format qui répertorie le nom URL de chaque fichier à charger depuis Amazon S3. URLCela inclut le nom du compartiment et le chemin complet de l'objet du fichier. Les fichiers spécifiés dans le manifeste peuvent se trouver dans différents compartiments, mais tous les compartiments doivent se trouver dans la même AWS région que le cluster Amazon Redshift. Si un fichier est répertorié deux fois, le fichier est chargé deux fois. L'exemple suivant montre le JSON cas d'un manifeste qui charge trois fichiers.

{
  "entries": [
    {"url":"s3://amzn-s3-demo-bucket1/custdata.1","mandatory":true},
    {"url":"s3://amzn-s3-demo-bucket1/custdata.2","mandatory":true},
    {"url":"s3://amzn-s3-demo-bucket2/custdata.1","mandatory":false}
  ]
}

Les guillemets doubles sont nécessaires et doivent être des guillemets simples (0x22), ni culbutés, ni courbes. Chaque entrée dans le manifeste peut éventuellement inclure un indicateur mandatory. S'il mandatory est défini surtrue, COPY se termine s'il ne trouve pas le fichier correspondant à cette entrée ; sinon, il COPY continuera. La valeur par défaut de mandatory est false.

Lors du chargement à partir de fichiers de données au format Parquet ORC ou au format Parquet, un meta champ est obligatoire, comme illustré dans l'exemple suivant.

{  
   "entries":[  
      {  
         "url":"s3://amzn-s3-demo-bucket1/orc/2013-10-04-custdata",
         "mandatory":true,
         "meta":{  
            "content_length":99
         }
      },
      {  
         "url":"s3://amzn-s3-demo-bucket2/orc/2013-10-05-custdata",
         "mandatory":true,
         "meta":{  
            "content_length":99
         }
      }
   ]
}

Le fichier manifeste ne doit pas être chiffré ou compressé, même si les ENCRYPTED ZSTD options GZIPLZOP,BZIP2,, ou sont spécifiées. COPYrenvoie une erreur si le fichier manifeste spécifié n'est pas trouvé ou si le fichier manifeste n'est pas correctement formé.

Si un fichier manifeste est utilisé, le MANIFEST paramètre doit être spécifié avec la COPY commande. Si le MANIFEST paramètre n'est pas spécifié, COPY suppose que le fichier spécifié par FROM est un fichier de données.

Pour de plus amples informations, veuillez consulter Chargement des données à partir d’Amazon S3.

La COPY commande a besoin d'une autorisation pour accéder aux données d'une autre AWS ressource, notamment Amazon S3, AmazonEMR, Amazon DynamoDB et Amazon. EC2 Vous pouvez fournir cette autorisation en référençant un rôle AWS Identity and Access Management (IAM) attaché à votre cluster (contrôle d'accès basé sur les rôles) ou en fournissant les informations d'identification d'accès d'un utilisateur (contrôle d'accès basé sur des clés). Pour une sécurité et une flexibilité accrues, nous vous recommandons d'utiliser un contrôle d'accès IAM basé sur les rôles. Pour de plus amples informations, veuillez consulter Paramètres d’autorisation.

Spécifie qu’un manifeste est utilisé pour identifier les fichiers de données à charger à partir d’Amazon S3. Si le MANIFEST paramètre est utilisé, COPY charge les données à partir des fichiers répertoriés dans le manifeste référencé par « s3://copy_from_s3_manifest_file ». Si le fichier manifeste est introuvable ou s'il n'est pas correctement formé, il COPY échoue. Pour de plus amples informations, veuillez consulter Utilisation d’un manifeste pour spécifier les fichiers de données.

Une clause qui spécifie que les fichiers d’entrée sur Amazon S3 sont chiffrés à l’aide du chiffrement côté client avec des clés gérées par le client. Pour de plus amples informations, veuillez consulter Chargement de fichiers de données chiffrés à partir d’Amazon S3. Ne spécifiez pas ENCRYPTED si les fichiers d'entrée sont chiffrés à l'aide du chiffrement côté serveur Amazon S3 (SSE- KMS ou SSE -S3). COPYlit automatiquement les fichiers chiffrés côté serveur.

Si vous spécifiez le ENCRYPTED paramètre, vous devez également le MASTER_SYMMETRIC_KEY spécifier ou inclure la master_symmetric_key valeur dans la CREDENTIALS chaîne.

Si les fichiers chiffrés sont au format compressé, ajoutez le GZIP ZSTD paramètre LZOPBZIP2,, ou.

Les fichiers manifestes et JSONPaths les fichiers ne doivent pas être chiffrés, même si l'ENCRYPTEDoption est spécifiée.

La clé symétrique racine qui a été utilisée pour chiffrer les fichiers de données sur Amazon S3. Si MASTER _ SYMMETRIC _ KEY est spécifié, le ENCRYPTED paramètre doit également être spécifié. MASTER_ SYMMETRIC _ ne KEY peut pas être utilisé avec le CREDENTIALS paramètre. Pour de plus amples informations, veuillez consulter Chargement de fichiers de données chiffrés à partir d’Amazon S3.

Si les fichiers chiffrés sont au format compressé, ajoutez le GZIP ZSTD paramètre LZOPBZIP2,, ou.

Spécifie la AWS région dans laquelle se trouvent les données sources. REGIONest requis COPY à partir d'un compartiment Amazon S3 ou d'une table DynamoDB lorsque AWS la ressource contenant les données ne se trouve pas dans la même région que le cluster Amazon Redshift.

La valeur pour aws_region doit correspondre à une région répertoriée dans le tableau Régions et points de terminaison Amazon Redshift.

Si le REGION paramètre est spécifié, toutes les ressources, y compris un fichier manifeste ou plusieurs compartiments Amazon S3, doivent se trouver dans la région spécifiée.

Par défaut, COPY suppose que les données se trouvent dans la même région que le cluster Amazon Redshift.