迁移概述 - Amazon Timestream
迁移场景

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

迁移概述

满足先决条件后：

  1. 运行迁移脚本：使用您选择的终端应用程序，运行 Python 脚本将数据从源 InfluxDB 实例传输到目标 InfluxDB 实例。

  2. 提供凭证：提供主机地址和端口作为CLI选项。

  3. 验证数据：通过以下方式确保数据正确传输：

    1. 使用 InfluxDB 用户界面并检查存储桶。

    2. 使用. 列出存储桶。influx bucket list -t <destination token> --host <destination host address> --skip-verify

    3. 正在使用influx v1 shell -t <destination token> --host <destination host address> --skip-verify并运行SELECT * FROM <migrated bucket>.<retention period>.<measurement name> LIMIT 100 to view contents of a bucket or SELECT COUNT(*) FROM <migrated bucket>.<retention period>.<measurment name>来验证是否已迁移了正确数量的记录。

例 运行示例

  1. 打开您选择的终端应用程序，并确保已正确安装所需的先决条件：

    脚本先决条件

  2. 导航到迁移脚本：

    脚本位置

  3. 准备以下信息：

    1. 要迁移的源存储桶的名称。

    2. （可选）为目标服务器中迁移的存储桶选择一个新的存储桶名称。

    3. 源和目标涌入实例的根令牌。

    4. 源和目标涌入实例的主机地址。

    5. （可选）S3 存储桶名称和凭 AWS Command Line Interface 证；应在操作系统环境变量中设置凭证。

      # AWS credentials (for timestream testing)
    export AWS_ACCESS_KEY_ID="xxx"
    export AWS_SECRET_ACCESS_KEY="xxx"

    6. 按如下方式构造命令：

      python3 influx_migration.py --src-bucket [source-bucket-name]  --dest-bucket [dest-bucket-name] --src-host [source host] --dest-host [dest host] --s3-bucket [s3 bucket name](optional) --log-level debug

    7. 执行脚本：

      脚本执行

    8. 等待脚本完成执行。

    9. 检查新迁移的存储桶的数据完整性，performance.txt。该文件位于运行脚本的同一目录下，包含有关每个步骤花费了多长时间的一些基本信息。

迁移场景

例 示例 1：使用本地存储进行简单迁移

您想将单个存储桶（主存储桶）从源服务器迁移(http://localhost:8086)到目标服务器。(http://dest-server-address:8086)

在确保你能TCP访问（HTTP访问）两台托管在端口 8086 上的 InfluxDB 实例的计算机之后，你同时拥有源令牌和目标令牌，并将它们分别存储为环境变量 INFLUX_SRC_TOKENINFLUX_DEST_TOKEN，为了增加安全性：

python3 influx_migration.py --src-bucket primary-bucket --src-host http://localhost:8086 --dest-host http://dest-server-address:8086

该输出值应该类似于以下内容：

INFO: influx_migration.py: Backing up bucket data and metadata using the InfluxDB CLI
2023/10/26 10:47:15 INFO: Downloading metadata snapshot
2023/10/26 10:47:15 INFO: Backing up TSM for shard 1
2023/10/26 10:47:15 INFO: Backing up TSM for shard 8245
2023/10/26 10:47:15 INFO: Backing up TSM for shard 8263
[More shard backups . . .]
2023/10/26 10:47:20 INFO: Backing up TSM for shard 8240
2023/10/26 10:47:20 INFO: Backing up TSM for shard 8268
2023/10/26 10:47:20 INFO: Backing up TSM for shard 2
INFO: influx_migration.py: Restoring bucket data and metadata using the InfluxDB CLI
2023/10/26 10:47:20 INFO: Restoring bucket "96c11c8876b3c016" as "primary-bucket"
2023/10/26 10:47:21 INFO: Restoring TSM snapshot for shard 12772
2023/10/26 10:47:22 INFO: Restoring TSM snapshot for shard 12773
[More shard restores . . .]
2023/10/26 10:47:28 INFO: Restoring TSM snapshot for shard 12825
2023/10/26 10:47:28 INFO: Restoring TSM snapshot for shard 12826
INFO: influx_migration.py: Migration complete

该目录influxdb-backup-<timestamp>将被创建并存储在运行脚本的目录中，其中包含备份文件。

例 示例 2：使用本地存储和调试日志进行完全迁移

与上述相同，唯一的不同是您要迁移所有存储桶、令牌、用户和仪表板，删除目标服务器中的存储桶，以及使用选项在用户确认数据库迁移已完成的情况下继续操作。--confirm-full您还想查看性能衡量标准，以便启用调试日志记录。

python3 influx_migration.py --full --confirm-full --src-host http://localhost:8086 --dest-host http://dest-server-address:8086 --log-level debug

该输出值应该类似于以下内容：

INFO: influx_migration.py: Backing up bucket data and metadata using the InfluxDB CLI
2023/10/26 10:55:27 INFO: Downloading metadata snapshot
2023/10/26 10:55:27 INFO: Backing up TSM for shard 6952
2023/10/26 10:55:27 INFO: Backing up TSM for shard 6953
[More shard backups . . .]
2023/10/26 10:55:36 INFO: Backing up TSM for shard 8268
2023/10/26 10:55:36 INFO: Backing up TSM for shard 2
DEBUG: influx_migration.py: backup started at 2023-10-26 10:55:27 and took 9.41 seconds to run.
INFO: influx_migration.py: Restoring bucket data and metadata using the InfluxDB CLI
2023/10/26 10:55:36 INFO: Restoring KV snapshot
2023/10/26 10:55:38 WARN: Restoring KV snapshot overwrote the operator token, ensure following commands use the correct token
2023/10/26 10:55:38 INFO: Restoring SQL snapshot
2023/10/26 10:55:39 INFO: Restoring TSM snapshot for shard 6952
2023/10/26 10:55:39 INFO: Restoring TSM snapshot for shard 6953
[More shard restores . . .]
2023/10/26 10:55:49 INFO: Restoring TSM snapshot for shard 8268
2023/10/26 10:55:49 INFO: Restoring TSM snapshot for shard 2
DEBUG: influx_migration.py: restore started at 2023-10-26 10:55:36 and took 13.51 seconds to run.
INFO: influx_migration.py: Migration complete

例 示例 3：使用CSV、目标组织和 S3 存储桶进行完全迁移

与前面的示例相同，但使用 Linux 或 Mac 并将文件存储在 S3 存储桶中my-s3-bucket。这样可以避免备份文件使本地存储容量过载。

python3 influx_migration.py --full --src-host http://localhost:8086 --dest-host http://dest-server-address:8086 --csv --dest-org MyOrg --s3-bucket my-s3-bucket

该输出值应该类似于以下内容：

INFO: influx_migration.py: Creating directory influxdb-backups
INFO: influx_migration.py: Mounting influxdb-migration-bucket
INFO: influx_migration.py: Creating directory influxdb-backups/my-s3-bucket/influxdb-backup-1698352128323
INFO: influx_migration.py: Backing up bucket data and metadata using the InfluxDB v2 API
INFO: influx_migration.py: Restoring bucket data and metadata from csv
INFO: influx_migration.py: Restoring bucket some-bucket
INFO: influx_migration.py: Restoring bucket another-bucket
INFO: influx_migration.py: Restoring bucket primary-bucket
INFO: influx_migration.py: Migration complete
INFO: influx_migration.py: Unmounting influxdb-backups
INFO: influx_migration.py: Removing temporary mount directory