Paramètres du format de données

Paramètres du format de données

FORMAT[EN TANT QUE]

(Facultatif) Identifie les mots-clés de format des données. Les FORMAT arguments sont décrits ci-dessous.

CSV[QUOTE[AS] 'quote_character']

Permet d'utiliser le CSV format dans les données d'entrée. Pour échapper automatiquement aux délimiteurs, aux caractères de nouvelle ligne et aux retours de chariot, placez le champ dans le caractère spécifié par le paramètre. QUOTE Le guillemet par défaut correspond aux guillemets doubles ( " ). Lorsque le guillemet simple est utilisé dans un champ, précédez le caractère d’un guillemet simple supplémentaire. Par exemple, si les guillemets sont doubles, pour insérer la chaîne A "quoted" word le fichier d’entrée doit inclure la chaîne "A ""quoted"" word". Lorsque le CSV paramètre est utilisé, le délimiteur par défaut est une virgule (,). Vous pouvez spécifier un autre délimiteur à l'aide du DELIMITER paramètre.

Lorsqu’un champ est placé entre guillemets, l’espace blanc entre les délimiteurs et les guillemets est ignoré. Si le délimiteur est un caractère d’espace vide, comme un onglet, le délimiteur n’est pas considéré comme un espace vide.

CSVne peut pas être utilisé avec FIXEDWIDTHREMOVEQUOTES, ouESCAPE.

QUOTE[AS] 'quote_character'

Facultatif. Spécifie le caractère à utiliser comme guillemet lors de l'utilisation du CSV paramètre. La valeur par défaut est les guillemets doubles ( " ). Si vous utilisez le QUOTE paramètre pour définir un guillemet autre qu'un guillemet double, il n'est pas nécessaire d'éviter les guillemets doubles dans le champ. Le QUOTE paramètre ne peut être utilisé qu'avec le CSV paramètre. Le mot-clé AS est facultatif.

DELIMITER[AS] ['delimiter_char']

Spécifie les caractères utilisés pour séparer les champs du fichier d'entrée, tels qu'un tube (|), une virgule (,), un onglet (\t) ou plusieurs caractères tels que|~|. Les caractères non imprimables sont pris en charge. Les caractères peuvent également être représentés en octal sous la forme de leurs unités de code UTF -8. Pour l'octal, utilisez le format « \ ddd », où « d » est un chiffre octal (0—7). Le séparateur par défaut est un caractère tube (|), sauf si le CSV paramètre est utilisé, auquel cas le délimiteur par défaut est une virgule (). , Le mot-clé AS est facultatif. DELIMITERne peut pas être utilisé avecFIXEDWIDTH.

FIXEDWIDTH« fixedwidth_spec »

Charge les données d’un fichier où la largeur de chaque colonne est une longueur fixe, plutôt que des colonnes séparées par un délimiteur. fixedwidth_spec est une chaîne qui spécifie une étiquette de colonne définie par l’utilisateur et la largeur de la colonne. L’étiquette de colonne peut être une chaîne de texte ou un nombre entier, en fonction de ce que l’utilisateur choisit. L’étiquette de colonne n’a aucun lien avec le nom de la colonne. L’ordre des paires étiquette/largeur doit correspondre exactement à l’ordre des colonnes de la table. FIXEDWIDTHne peut pas être utilisé avec CSV ouDELIMITER. Dans Amazon Redshift, la longueur des VARCHAR colonnes CHAR et est exprimée en octets. Assurez-vous donc que la largeur de colonne que vous spécifiez correspond à la longueur binaire des caractères multioctets lors de la préparation du fichier à charger. Pour de plus amples informations, veuillez consulter Types caractères.

Le format de fixedwidth_spec apparaît comme suit :

'colLabel1:colWidth1,colLabel:colWidth2, ...'

SHAPEFILE[SIMPLIFY[AUTO] ['tolérance']]

Permet d'utiliser le SHAPEFILE format dans les données d'entrée. Par défaut, la première colonne du shapefile est une colonne GEOMETRY ou IDENTITY. Toutes les colonnes suivantes suivent l’ordre spécifié dans le shapefile.

Vous ne pouvez pas utiliser SHAPEFILE avec FIXEDWIDTHREMOVEQUOTES, ouESCAPE.

Pour utiliser des objets GEOGRAPHY avec COPY FROM SHAPEFILE, intégrez-les d’abord dans une colonne GEOMETRY, puis convertissez-les en objets GEOGRAPHY.

SIMPLIFY[tolérance]

(Facultatif) Simplifie toutes les géométries pendant le processus d'ingestion à l'aide de l' Ramer-Douglas-Peuckeralgorithme et de la tolérance donnée.

SIMPLIFYAUTO[tolérance]

(Facultatif) Simplifie uniquement les géométries supérieures à la taille de géométrie maximale. Cette simplification utilise l' Ramer-Douglas-Peuckeralgorithme et la tolérance calculée automatiquement si celle-ci ne dépasse pas la tolérance spécifiée. Cet algorithme calcule la taille pour stocker les objets dans la tolérance spécifiée. La valeur tolerance est facultative.

Pour voir des exemples de chargement de shapefiles, consultez Chargement d’un shapefile dans Amazon Redshift.

AVRO[AS] 'avro_option'

Spécifie que les données source sont au format Avro.

Le format Avro est pris en charge COPY à partir des services et protocoles suivants :

• Amazon S3

• Amazon EMR

• Hôtes distants (SSH)

Avro n'est pas pris en charge COPY depuis DynamoDB.

Avro est un protocole de sérialisation de données. Un fichier source Avro inclut un schéma qui définit la structure des données. Le type de schéma Avro doit être record. COPYaccepte les fichiers Avro créés à l'aide du codec non compressé par défaut ainsi que des codecs de compression deflate etsnappy. Pour plus d’informations sur Avro, accédez à Apache Avro.

Les valeurs valides pour avro_option sont les suivantes :

• 'auto'

• 'auto ignorecase'

• 's3://jsonpaths_file'

La valeur par défaut est 'auto'.

COPYmappe automatiquement les éléments de données des données sources Avro aux colonnes de la table cible. en mettant en correspondance les noms de champs du schéma Avro avec les noms de colonnes dans la table cible. La mise en correspondance est sensible à la casse pour 'auto' et n’est pas sensible à la casse pour 'auto ignorecase'.

Les noms de colonnes des tables Amazon Redshift sont toujours en lettres minuscules, aussi lorsque vous utilisez l’option 'auto', les noms de champs correspondants doivent être en minuscules. Si les noms de champs ne sont pas tous en minuscules, vous pouvez utiliser l’option 'auto ignorecase'. Avec l''auto'argument par défaut, COPY reconnaît uniquement le premier niveau de champs, ou champs extérieurs, de la structure.

Pour mapper explicitement les noms de colonnes aux noms de champs Avro, vous pouvez utiliser JSONPathsfichier.

Par défaut, COPY tente de faire correspondre toutes les colonnes de la table cible aux noms de champs Avro. Pour charger un sous-ensemble de colonnes, vous pouvez éventuellement spécifier une liste de colonnes. Si une colonne de la table cible est omise de la liste des colonnes, COPY charge l'DEFAULTexpression de la colonne cible. Si la colonne cible n'a pas de valeur par défaut, COPY tente de chargerNULL. Si une colonne est incluse dans la liste des colonnes et COPY ne trouve aucun champ correspondant dans les données Avro, COPY tente de la NULL charger dans la colonne.

En cas de COPY tentative d'attribution NULL à une colonne définie comme NOTNULL, la COPY commande échoue.

Schéma Avro

Un fichier de données source Avro inclut un schéma qui définit la structure des données. COPYlit le schéma qui fait partie du fichier de données source Avro pour mapper les éléments de données aux colonnes de la table cible. L’exemple suivant illustre un schéma Avro.

{
    "name": "person",
    "type": "record",
    "fields": [
        {"name": "id", "type": "int"},
        {"name": "guid", "type": "string"},
        {"name": "name", "type": "string"},
        {"name": "address", "type": "string"}]
}

Le schéma Avro est défini à l'aide d'un JSON format. L'JSONobjet de niveau supérieur contient trois paires nom-valeur avec les noms, ou clés,"name", "type" et. "fields"

La clé "fields" s’apparie à un tableau d’objets qui définissent le nom et le type de données de chaque champ dans la structure de données. Par défaut, fait COPY automatiquement correspondre les noms des champs aux noms des colonnes. Les noms de colonnes sont toujours en minuscules, les noms de champs correspondants doivent donc toujours être en minuscules, sauf si vous spécifiez l’option ‘auto ignorecase’. Tous les noms de domaines qui ne correspondent pas à un nom de colonne sont ignorés. L’ordre n’a pas d’importance. Dans l'exemple précédent, COPY correspond aux noms des colonnes idguid,name, etaddress.

Avec l''auto'argument par défaut, fait COPY correspondre uniquement les objets de premier niveau aux colonnes. Pour effectuer un mappage vers des niveaux plus profonds du schéma, ou si les noms de champs et de colonnes ne correspondent pas, utilisez un JSONPaths fichier pour définir le mappage. Pour de plus amples informations, veuillez consulter JSONPathsfichier.

Si la valeur associée à une clé est un type de données Avro complexe tel qu'un octet, un tableau, un enregistrement, une carte ou un lien, COPY charge la valeur sous forme de chaîne. Ici, la chaîne est la JSON représentation des données. COPYcharge les types de données Avro enum sous forme de chaînes, dont le contenu est le nom du type. Pour obtenir un exemple, consultez COPYà partir du JSON format.

La taille maximale de l’en-tête du fichier Avro, qui inclut les métadonnées de fichiers et de schéma, est de 1 Mo.  

La taille maximale d’un seul bloc de données Avro est de 4 Mo. Ce qui est différent de la taille de ligne maximale. Si la taille maximale d'un seul bloc de données Avro est dépassée, même si la taille de ligne qui en résulte est inférieure à la limite de 4 Mo, la COPY commande échoue.

Lors du calcul de la taille des lignes, Amazon Redshift compte deux fois les barres verticales (|) en interne. Si les données entrées contiennent un très grand nombre de barres verticales, la taille des lignes peut dépasser 4 Mo même si la taille du bloc de données est inférieure à 4 Mo.

JSON[AS] 'json_option'

Les données source sont au JSON format.

JSONle format est pris en charge COPY à partir de ces services et protocoles :

• Amazon S3

• COPYdepuis Amazon EMR

• COPYà partir de SSH

JSONn'est pas pris en charge COPY depuis DynamoDB.

Les valeurs valides pour json_option sont les suivantes :

• 'auto'

• 'auto ignorecase'

• 's3://jsonpaths_file'

• 'noshred'

La valeur par défaut est 'auto'. Amazon Redshift ne divise pas les attributs des JSON structures en plusieurs colonnes lors du chargement d'un document. JSON

Par défaut, COPY tente de faire correspondre toutes les colonnes de la table cible aux clés de nom de JSON champ. Pour charger un sous-ensemble de colonnes, vous pouvez éventuellement spécifier une liste de colonnes. Si les clés de nom de JSON champ ne sont pas toutes en minuscules, vous pouvez utiliser l''auto ignorecase'option ou a JSONPathsfichier pour mapper explicitement les noms de colonnes aux clés de nom de JSON champ.

Si une colonne de la table cible est omise de la liste des colonnes, COPY charge l'DEFAULTexpression de la colonne cible. Si la colonne cible n'a pas de valeur par défaut, COPY tente de chargerNULL. Si une colonne est incluse dans la liste des colonnes et COPY ne trouve aucun champ correspondant dans les JSON données, COPY tente de la NULL charger dans la colonne.

En cas de COPY tentative d'attribution NULL à une colonne définie comme NOTNULL, la COPY commande échoue.

COPYmappe les éléments de données des données JSON sources aux colonnes de la table cible. Pour cela, elle fait correspondre les clés d’objet (ou les noms) dans les paires nom-valeur source aux noms des colonnes de la table cible.

Reportez-vous aux informations suivantes sur chaque valeur json_option :

’auto’

Avec cette option, la mise en correspondance est sensible à la casse. Les noms de colonnes dans les tables Amazon Redshift sont toujours en minuscules. Ainsi, lorsque vous utilisez 'auto' cette option, les noms de JSON champs correspondants doivent également être en minuscules.

’auto ignorecase’

Avec cette option, la mise en correspondance n’est pas sensible à la casse. Les noms de colonnes dans les tables Amazon Redshift sont toujours en minuscules. Ainsi, lorsque vous utilisez 'auto ignorecase' cette option, les noms de JSON champs correspondants peuvent être en minuscules, en majuscules ou en majuscules.

’s3://jsonpaths_file’

Avec cette option, COPY utilise le JSONPaths fichier nommé pour mapper les éléments de données des données JSON sources aux colonnes de la table cible. L’argument s3://jsonpaths_file doit être une clé d’objet Amazon S3 faisant explicitement référence à un seul fichier. Par exemple : 's3://amzn-s3-demo-bucket/jsonpaths.txt’. L’argument ne peut pas être un préfixe de clé. Pour plus d'informations sur l'utilisation d'un JSONPaths fichier, consultezJSONPathsfichier.

Dans certains cas, le fichier spécifié par jsonpaths_file a le même préfixe que le chemin spécifié par copy_from_s3_objectpath pour les fichiers de données. Si tel est le cas, COPY lit le JSONPaths fichier sous forme de fichier de données et renvoie des erreurs. Supposons, par exemple, que vos fichiers de données utilisent le chemin de l'objet s3://amzn-s3-demo-bucket/my_data.json et que votre JSONPaths fichier le soits3://amzn-s3-demo-bucket/my_data.jsonpaths. Dans ce cas, COPY tente de charger my_data.jsonpaths sous forme de fichier de données.

’noshred’

Avec cette option, Amazon Redshift ne divise pas les attributs des JSON structures en plusieurs colonnes lors du chargement d'un document. JSON

jsonpaths

Nom de l'JSONobjet contenant les AvroPath expressions.

[ … ]

Les crochets entourent le JSON tableau qui contient les éléments du chemin.

$

Le symbole du dollar fait référence à l’élément racine du schéma Avro, qui est le tableau "fields".

"$.id",

La cible de l' AvroPath expression. Dans ce cas, la cible est l’élément dans le tableau "fields" avec le nom "id". Les expressions sont séparées par des virgules.

"$.friends[0].id"

Les crochets indiquent un index de tableau. JSONPathles expressions utilisent une indexation basée sur zéro. Cette expression fait donc référence au premier élément du "friends" tableau portant le nom. "id"

ORC

Charge les données à partir d'un fichier utilisant le format de fichier Optimized Row Columnar (ORC).

PARQUET

Charge les données à partir d’un fichier qui utilise le format de fichier Parquet.