使用 Amazon S3 适配器传输文件，以便在 Snow Family 设备之间迁移数据 - AWS Snowball Edge 开发者指南
正在下载并安装 AWS CLI在 Snowball Edge 设备上使用 AWS CLI 和API操作获取并使用本地 Amazon S3 凭证S3 适配器不支持的 Amazon S3 功能

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon S3 适配器传输文件，以便在 Snow Family 设备之间迁移数据

以下是 Amazon S3 适配器的概述，您可以使用该适配器通过 Amazon S3 操作以编程方式将数据传输到设备上已有的 S3 存储桶或从 AWS Snowball Edge 设备上传输数据。REST API此 Amazon S3 REST API 支持仅限于部分操作。您可以将此操作子集与其中一个操作配合使用， AWS SDKs以编程方式传输数据。您还可以对 Amazon S3 使用这一部分受支持的 AWS Command Line Interface （AWS CLI）命令来以编程方式传输数据。

如果您的解决方案使用 1.11.0 或更高 AWS SDK for Java 版本，则必须使用以下版本：S3ClientOptions

  • disableChunkedEncoding()：表示接口不支持分块编码。

  • setPathStyleAccess(true)：将接口配置为针对所有请求使用路径式访问。

有关更多信息，请参阅适用于 Java 的 Amazon 中的 S3 类 ClientOptions .Builder。 AppStream SDK

重要

我们建议您一次只使用一种方法在 AWS Snowball Edge 设备上的本地存储桶中读取和写入数据。同时在同一存储桶上使用文件接口和 Amazon S3 Adapter 会导致读取/写入冲突。

AWS Snowball 边缘配额 详细说明了限制。

要使 AWS 服务在 Snowball Edge 上正常运行，必须允许服务使用端口。有关详细信息，请参阅Snow Family 设备上 AWS 服务的端口要求。

主题

正在下载并安装 1.16.14 AWS CLI 版本以与 Amazon S3 适配器配合使用

目前，Snowball Edge 设备仅支持将 AWS CLI 的版本 1.16.14 及更低版本与 Amazon S3 Adapter 结合使用。较新版本与 Amazon S3 适配器不兼容，因为它们不支持 S3 适配器的所有功能。 AWS CLI

注意

如果您在 Snow 系列设备上使用与 Amazon S3 兼容的存储，则可以使用最新版本的 AWS CLI。要下载和使用最新版本，请参阅 AWS Command Line Interface 用户指南。

在 Linux 操作系统 AWS CLI 上安装

运行以下链式命令：


curl "https://s3.amazonaws.com/aws-cli/awscli-bundle-1.16.14.zip" -o "awscli-bundle.zip";unzip awscli-bundle.zip;sudo ./awscli-bundle/install -i /usr/local/aws -b /usr/local/bin/aws;/usr/local/bin/aws --version;

在 Windows 操作系统 AWS CLI 上安装

为操作系统下载并运行安装程序文件：

在 Snowball Edge 设备上使用 AWS CLI 和API操作

在 Snowball Edge 上使用 AWS CLI 或API操作发IAM出 Amazon S3 和 Amazon EC2 命令时，必须将区域指定为 “” snow。 您可以使用命令本身AWS configure或在命令本身内执行此操作，如以下示例所示。

aws configure --profile abc
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: 1234567
Default region name [None]: snow
Default output format [None]: json

Or

aws s3 ls --profile snowballEdge --endpoint http://192.0.2.0:8080 --region snow

通过 Amazon S3 API 接口进行授权 AWS Snowball

当您使用 Amazon S3 适配器时，默认情况下，每次交互都使用 AWS 签名版本 4 算法进行签名。此授权仅用于验证从数据来源传输到接口的数据。所有加密和解密工作都在设备上完成。未加密的数据从不会存储在设备上。

在使用接口时，请记住以下几点：

  • 要获取用于为向 AWS Snowball Edge 设备发出的请求进行签名的本地 Amazon S3 凭证，请运行 snowballEdge list-access-keys 和 snowballEdge get-secret-access-keys Snowball Edge 客户端命令。有关更多信息，请参阅 配置和使用 Snowball Edge 客户端。这些本地 Amazon S3 凭证包含一对密钥：一个访问密钥和一个私有密钥。这些密钥仅可用于与您的作业关联的设备。它们不能在中使用， AWS Cloud 因为它们没有 AWS Identity and Access Management (IAM) 对应物。

  • 加密密钥不会因您使用的 AWS 凭据而改变。使用签名版本 4 算法的签名仅用于验证从数据来源传输到接口的数据。因此，此签名永远不会影响用于加密 Snowball 上的数据的加密密钥。

在 Snow Family 设备上获取和使用本地 Amazon S3 证书

与 Snowball Edge 的每一次交互都使用签 AWS 名版本 4 算法进行签名。有关算法的更多信息，请参阅《AWS 一般参考》中的签名版本 4 签名流程。

通过运行和 snowballEdge list-access-keys 和 snowballEdge get-secret-access-key Snowball Edge 客户端信息，您可以获取本地 Amazon S3 凭证，以便签署您对 Snowball Edge 客户端 Edge 设备的请求，请参阅获取 Snow Family 设备的凭证。这些本地 Amazon S3 凭证包含一对密钥：一个访问密钥 ID 和一个私有密钥。这些凭证仅可用于与您的作业关联的设备。它们不能在中使用， AWS Cloud 因为它们没有IAM对应物。

您可以将这些凭据添加到服务器上的 AWS 凭据文件中。默认的凭证配置文件通常位于 ~/.aws/credentials，但该位置可能因平台而异。该文件由许多人共享， AWS SDKs并由 AWS CLI. 您可以使用配置文件名称保存本地凭证，如以下示例所示。

[snowballEdge]
aws_access_key_id = AKIAIOSFODNN7EXAMPLE
aws_secret_access_key = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

配置 AWS CLI 为使用 Snow Family 设备上的 S3 适配器作为终端节点

当您使用 AWS CLI 向 AWS Snowball Edge 设备发出命令时，您指定终端节点是 Amazon S3 适配器。您可以选择使用HTTPS终端节点或不安全的终HTTP端节点，如下所示。

HTTPS安全端点

aws s3 ls --profile snowballEdge --endpoint https://192.0.2.0:8443 --ca-bundle path/to/certificate

HTTP不安全的端点

aws s3 ls --profile snowballEdge --endpoint http://192.0.2.0:8080

如果您使用HTTPS终端节点8443，则您的数据将从您的服务器安全地传输到 Snowball Edge。使用 Snowball Edge 在获取新 IP 地址时所生成的证书来确保此加密。在您具有证书后，可以将其保存到本地 ca-bundle.pem 文件。然后，您可以将配置 AWS CLI 文件配置为包含证书路径，如下所述。

将您的证书与接口端点相关联

  1. 为 Snowball Edge 接通电源并将其连接到网络，然后启动它。

  2. 在设备启动完成后，记下其在本地网络上的 IP 地址。

  3. 从您的网络上的终端，确保您可以对 Snowball Edge 执行 ping 操作。

  4. 在您的终端中运行 snowballEdge get-certificate 命令。有关此命令的更多信息，请参阅 在 Snow Family 设备上管理公钥证书。

  5. 将 snowballEdge get-certificate 命令的输出保存到文件，例如 ca-bundle.pem。

  6. 从您的终端运行以下命令。

    aws configure set profile.snowballEdge.ca_bundle /path/to/ca-bundle.pem

完成该过程后，您可以使用这些本地凭证、您的证书和指定的终端节点运行CLI命令，如下例所示。

aws s3 ls --profile snowballEdge --endpoint https://192.0.2.0:8443

Snow Family 设备上不支持亚马逊 S3 适配器的 Amazon S3 功能

使用 Amazon S3 适配器，您可以通过亚马API逊 S3 操作以编程方式在 Snowball Edge 之间传输数据。但是，在使用亚马逊 S3 适配器时，并非所有 Amazon S3 传输功能和API操作都支持在 Snowball Edge 设备上使用。例如，以下特征和操作不支持用于 Snowball Edge：

  • TransferManager— 此实用程序使用SDK适用于 Java 的将文件从本地环境传输到 Amazon S3。请考虑改为在界面上使用支持的API操作或 AWS CLI 命令。

  • GET存储桶（列出对象）版本 2-此GET操作实现返回存储桶中的部分或全部（最多 1,000 个）对象。考虑使用GET存储桶（列出对象）版本 1 操作或 ls AWS CLI 命令。

  • ListBuckets— 不支持 ListBuckets 带有对象端点的。以下命令不适用于 Snow 系列设备上与 Amazon S3 兼容的存储：

    
aws s3 ls --endpoint https://192.0.2.0 --profile profile