分段上传大型档案(分段上传) - Amazon S3 Glacier

此页面仅适用于使用保管库的 S3 Glacier 服务的现有客户以及 2012 年以RESTAPI来的原始客户。

如果您正在寻找档案存储解决方案,我们建议您在亚马逊 S3、S3 Glacier 即时检索、S3 Glacier 灵活检索和 S3 Glacier Deep Archive Dee p Archive 中使用 S3 Glacier 存储类。要了解有关这些存储选项的更多信息,请参阅 Amazon S3 用户指南中的 S3 Glacier 存储类和使用 S3 Glacier 存储类的长期数据存储。这些存储类别使用 Amazon S3API,适用于所有区域,并且可以在 Amazon S3 控制台中进行管理。它们提供存储成本分析、存储镜头、高级可选加密功能等功能。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

分段上传大型档案(分段上传)

分段上传流程

在 Amazon S3 Glacier 中上传档案中所述,我们鼓励 Amazon S3 Glacier (S3 Glacier) 客户使用分段上传来上传大于 100 兆字节 (MiB) 的档案。

  1. 开始分段上传

    当您发送请求以启动分段上传时,S3 Glacier 返回分段上传 ID,它是您分段上传的唯一标识符。后续的任何分段上传操作均需要此 ID。S3 Glacier 完成作业后,此 ID 至少在 24 小时内都不会过期。

    在您启动分段上传的请求中,请指定段大小(以字节数为单位)。除了最后一段以外,您上传的每一段都必须为此大小。

    注意

    使用分段上传时,您不需要知道整个档案大小。这意味着,在开始上传档案时,您可以在不知道档案大小的情况下使用分段上传。您只需在启动分段上传时决定段大小即可。

    此外,在启动分段上传请求中,您还可以提供可选的档案描述。

  2. 上传段

    对于每个段上传请求,您必须包括您在步骤 1 中获取的分段上传 ID。此外,在请求中,您还必须指定标识段在最终档案中的位置的内容范围(以字节为单位)。S3 Glacier 稍后会使用内容范围信息来以适当顺序拼组档案。由于您提供了上传的每一段的内容范围,因此,它会确定段在最终档案汇编中的位置,进而,您可以任何顺序上传段。此外,您还可以并行上传段。如果您使用与之前上传的段相同的内容范围上传新段,则之前上传的段会被覆盖。

  3. 完成(或停止)分段上传

    上传所有档案段后,您可以使用完成操作。此外,您还必须在请求中指定上传 ID。S3 Glacier 将按您提供的内容范围以升序顺序拼组各个分段,从而创建档案。S3 Glacier 对“完成分段上传”请求的响应包括新创建的档案的档案 ID。如果您在“启动分段上传”请求中提供了可选的档案描述,则 S3 Glacier 会将它与拼组的档案相关联。成功完成分段上传后,您无法引用该分段上传 ID。这意味着,您无法访问与该分段上传 ID 相关联的段。

    如果停止分段上传,则您无法使用该分段上传 ID 上传其他任何段。与停止的分段上传相关联的任何段所占用的所有存储都会被释放。如果有任何分段上传正在进行,则即使在您停止后,它们仍然可能会成功或失败。

附加分段上传操作

Amazon S3 Glacier (S3 Glacier) 提供了以下额外的分段上传 API 调用。

  • 列出段—利用此操作,您可以列出特定分段上传的段。它会返回有关您为分段上传上传的段的信息。对于每个“列出段”请求,S3 Glacier 最多返回 1,000 段的信息。如果有更多段要为分段上传列出,则结果会分页,并且响应中会返回一个指示要从其所在位置继续列表的标记。您需要发送附加请求来检索后续的段。请注意,返回的段列表不包括未完成上传的段。

  • 列出分段上传—利用此操作,您可以获取正在进行的分段上传的列表。正在进行的分段上传是已开始但还未完成或停止的上传。对于每个列出分段上传请求,S3 Glacier 最多会返回 1,000 个分段上传。如果有更多分段上传要列出,则结果会分页,并且响应中会返回一个指示要从其所在位置继续列表的标记。您需要发送附加请求来检索剩余的分段上传。

快讯

下表提供了分段上传的核心规范。

Item 规范
最大档案大小 10,000 x 4 吉字节 (GiB)
每次上传的分段的最大数量 10000
分段大小

1 MiB 到 4 GiB,最后一个分段可以小于 1 MiB。您可以指定大小值(以字节为单位)。

分段大小必须为兆字节 (1024 KiB)乘以 2 的幂,例如, 1048576 (1 MiB)、2097152 (2 MiB)、4194304 (4 MiB)、8388608 (8 MiB)。

列出分段请求返回的分段的最大数量 1000
在列出分段上传请求中返回的分段的最大数量 1000