步骤 2：为成功上传数据准备源数据 - Amazon Keyspaces（Apache Cassandra 兼容）

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

步骤 2：为成功上传数据准备源数据

为高效传输准备源数据的过程包含两个步骤。第一步，随机化数据。在第二步中，您将分析数据以确定适当的cqlsh参数值和所需的表设置，以确保数据上传成功。

随机化数据

该cqlsh COPY FROM命令按照CSV文件中显示的顺序读取和写入数据。如果您使用cqlsh COPY TO命令创建源文件，则数据将按键排序顺序写入。CSVAmazon Keyspaces 在内部使用分区键对数据进行分区。尽管 Amazon Keyspaces 具有内置逻辑来帮助对针对同一分区键的请求进行负载均衡，但如果您随机排列顺序，则可以更快、更高效地加载数据。这是因为您可以利用 Amazon Keyspaces 在写入不同分区时会出现的内置负载均衡功能。

要将写入操作均匀地分布在分区中，您必须随机化源文件中的数据。您可以编写一个应用程序来执行此操作，也可以使用开源工具来执行此操作，比如 Shuf。Shuf 在 Linux 发行版、macOS（通过在自制软件中安装 coreutils）和 Windows（使用适用于 Linux 的 Windows 子系统 ()）上免费提供。WSL您还需要执行一个额外步骤来防止包含列名称的标题行在此步骤中被随机排序。

要在保留标题的同时随机化源文件，请输入以下代码。

tail -n +2 keyspaces_sample_table.csv | shuf -o keyspace.table.csv && (head -1 keyspaces_sample_table.csv && cat keyspace.table.csv ) > keyspace.table.csv1 && mv keyspace.table.csv1 keyspace.table.csv

Shuf 将数据重写为一个名为的新CSV文件。keyspace.table.csv现在，您可以删除 keyspaces_sample_table.csv 文件，您不再需要此文件了。

分析数据

通过分析数据来确定平均行大小和最大行大小。

执行此操作出于以下原因：

  • 平均行大小有助于估算要传输的数据总量。

  • 您需要平均行大小来预置上传数据所需的写入容量。

  • 您可以确保每行的大小小于 1MB，这是 Amazon Keyspaces 中的最大行大小。

注意

此限额指的是行大小，而不是分区大小。与 Apache Cassandra 分区不同，Amazon Keyspaces 分区实际上可以不受大小限制。分区键和聚类列需要额外的元数据存储空间，您必须将其加到行的原始大小中。有关更多信息，请参阅 估计 Amazon Keyspaces 中的行大小。

以下代码AWK用于分析CSV文件并打印平均和最大行大小。

awk -F, 'BEGIN {samp=10000;max=-1;}{if(NR>1){len=length($0);t+=len;avg=t/NR;max=(len>max ? len : max)}}NR==samp{exit}END{printf("{lines: %d, average: %d bytes, max: %d bytes}\n",NR,avg,max);}' keyspace.table.csv

运行此代码将生成以下输出。

using 10,000 samples:
{lines: 10000, avg: 123 bytes, max: 225 bytes}

在本教程的下一步中，您将使用平均行大小来预置表的写入容量。