Mapeamentos de modelos de dados para carregamento em lote - Amazon Timestream

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Mapeamentos de modelos de dados para carregamento em lote

O seguinte discute o esquema para mapeamentos de modelos de dados e fornece um exemplo.

Esquema de mapeamentos do modelo de dados

A sintaxe da CreateBatchLoadTask solicitação e um BatchLoadTaskDescription objeto retornado por uma chamada para DescribeBatchLoadTask incluir um DataModelConfiguration objeto que inclui o DataModel para carregamento em lote. DataModelDefine mapeamentos de dados de origem armazenados em CSV formato em um local do S3 para um Timestream de destino para banco de dados e tabela. LiveAnalytics

O TimeColumn campo indica a localização dos dados de origem para o valor a ser mapeado para a time coluna da tabela de destino no Timestream for. LiveAnalytics O TimeUnit especifica a unidade para oTimeColumn, e pode ser uma dasMILLISECONDS, SECONDSMICROSECONDS, ouNANOSECONDS. Também há mapeamentos para dimensões e medidas. Os mapeamentos de dimensões são compostos por colunas de origem e campos de destino.

Para obter mais informações, consulte DimensionMapping. Os mapeamentos para medidas têm duas opções, e. MixedMeasureMappings MultiMeasureMappings

Para resumir, a DataModel contém mapeamentos de uma fonte de dados em um local do S3 para um Timestream de destino para a tabela a seguir. LiveAnalytics

  • Tempo

  • Dimensões

  • Medidas

Se possível, recomendamos que você mapeie os dados de medida para registros de várias medidas no Timestream for. LiveAnalytics Para obter informações sobre os benefícios dos registros de várias medidas, consulteRegistros de várias medidas.

Se várias medidas nos dados de origem forem armazenadas em uma linha, você poderá mapear essas várias medidas para registros de várias medidas no Timestream para uso. LiveAnalytics MultiMeasureMappings Se houver valores que devem ser mapeados para um registro de medida única, você pode usarMixedMeasureMappings.

MixedMeasureMappingse MultiMeasureMappings ambos incluemMultiMeasureAttributeMappings. Registros de várias medidas são suportados, independentemente da necessidade de registros de medida única.

Se somente registros de destino de várias medidas forem necessários no Timestream for LiveAnalytics, você poderá definir mapeamentos de medidas na estrutura a seguir.

CreateBatchLoadTask
    MeasureNameColumn
    MultiMeasureMappings
        TargetMultiMeasureName
        MultiMeasureAttributeMappings array
nota

Recomendamos usar MultiMeasureMappings sempre que possível.

Se forem necessários registros de destino de medida única no Timestream for LiveAnalytics, você poderá definir mapeamentos de medida na estrutura a seguir.

CreateBatchLoadTask
    MeasureNameColumn
    MixedMeasureMappings array
        MixedMeasureMapping
            MeasureName
            MeasureValueType
            SourceColumn
            TargetMeasureName
            MultiMeasureAttributeMappings array

Quando você usaMultiMeasureMappings, a MultiMeasureAttributeMappings matriz é sempre necessária. Quando você usa a MixedMeasureMappings matriz, se MeasureValueType for MULTI para um determinadoMixedMeasureMapping, MultiMeasureAttributeMappings é necessário para issoMixedMeasureMapping. Caso contrário, MeasureValueType indica o tipo de medida para o registro de medida única.

De qualquer forma, há uma variedade de opções MultiMeasureAttributeMapping disponíveis. Você define os mapeamentos para registros de várias medidas em cada umMultiMeasureAttributeMapping, da seguinte forma:

SourceColumn

A coluna nos dados de origem que está localizada no Amazon S3.

TargetMultiMeasureAttributeName

O nome do nome de várias medidas de destino na tabela de destino. Essa entrada é necessária quando não MeasureNameColumn é fornecida. Se MeasureNameColumn for fornecido, o valor dessa coluna será usado como nome de várias medidas.

MeasureValueType

Um dosDOUBLE, BIGINTBOOLEAN,VARCHAR, ouTIMESTAMP.

Mapeamentos de modelos de dados com exemplo MultiMeasureMappings

Este exemplo demonstra o mapeamento para registros de várias medidas, a abordagem preferida, que armazena cada valor de medida em uma coluna dedicada. Você pode baixar uma amostra CSV em amostra CSV. A amostra tem os seguintes cabeçalhos para mapear para uma coluna de destino em um Timestream for table. LiveAnalytics

  • time

  • measure_name

  • region

  • location

  • hostname

  • memory_utilization

  • cpu_utilization

Identifique as measure_name colunas time e no CSV arquivo. Nesse caso, eles são mapeados diretamente para o Timestream para colunas de LiveAnalytics tabelas com os mesmos nomes.

  • timemapas para time

  • measure_namemapeia para measure_name (ou o valor escolhido)

Ao usar oAPI, você especifica time no TimeColumn campo um valor de unidade de tempo compatível, como MILLISECONDS no TimeUnit campo. Eles correspondem ao nome da coluna de origem e à entrada da hora do carimbo de data/hora no console. Você pode agrupar ou particionar registros usando measure_name o que é definido com a MeasureNameColumn chave.

Na amostra,region,location, e hostname são dimensões. As dimensões são mapeadas em uma matriz de DimensionMapping objetos.

Para medidas, o valor se TargetMultiMeasureAttributeName tornará uma coluna na tabela Timestream for LiveAnalytics . Você pode manter o mesmo nome, como neste exemplo. Ou você pode especificar um novo. MeasureValueTypeé um dos DOUBLEBIGINT,BOOLEAN,VARCHAR, ouTIMESTAMP.

{ "TimeColumn": "time", "TimeUnit": "MILLISECONDS", "DimensionMappings": [ { "SourceColumn": "region", "DestinationColumn": "region" }, { "SourceColumn": "location", "DestinationColumn": "location" }, { "SourceColumn": "hostname", "DestinationColumn": "hostname" } ], "MeasureNameColumn": "measure_name", "MultiMeasureMappings": { "MultiMeasureAttributeMappings": [ { "SourceColumn": "memory_utilization", "TargetMultiMeasureAttributeName": "memory_utilization", "MeasureValueType": "DOUBLE" }, { "SourceColumn": "cpu_utilization", "TargetMultiMeasureAttributeName": "cpu_utilization", "MeasureValueType": "DOUBLE" } ] } }
Visual builder interface showing column mappings for timestream data attributes and types.

Mapeamentos de modelos de dados com exemplo MixedMeasureMappings

Recomendamos que você use essa abordagem somente quando precisar mapear registros de medida única no Timestream para. LiveAnalytics