選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

使用任務報告監控資料傳輸

焦點模式
使用任務報告監控資料傳輸 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

任務報告提供有關任務執行期間嘗試傳輸、略過、驗證和刪除哪些 AWS DataSync 項目的詳細資訊。如需詳細資訊,請參閱DataSync 如何傳輸檔案、物件和目錄

任務報告會以 JSON 格式產生。您可以在報告中自訂詳細資訊層級:

  • 僅摘要任務報告會提供您任務執行的必要詳細資訊,例如傳輸的檔案數量,以及 DataSync 是否可以驗證這些檔案的資料完整性。

  • 標準任務報告包含摘要和詳細報告,列出 DataSync 嘗試傳輸、略過、驗證和刪除的每個檔案、物件或資料夾。使用標準任務報告,您也可以指定報告層級,以僅顯示任務執行的錯誤或其成功和錯誤。

使用案例

以下是任務報告可協助您監控和稽核資料傳輸的一些情況:

  • 遷移數百萬個檔案時,請快速識別 DataSync 無法傳輸的檔案。

  • 驗證檔案的chain-of-custody程序。

僅摘要任務報告

僅是任務執行摘要的報告包含下列詳細資訊:

  • AWS 帳戶 執行任務執行的

  • 來源和目的地位置

  • 略過、傳輸、驗證和刪除的檔案、物件和資料夾總數

  • 已傳輸的總位元組數 (邏輯和實體)

  • 如果任務執行已完成、取消或發生錯誤

  • 開始和結束時間 (包括傳輸的總時間)

  • 任務的設定 (例如頻寬限制、資料完整性驗證,以及 DataSync 傳輸的其他選項)

標準任務報告

標準任務報告包含任務執行的摘要,以及 DataSync 嘗試傳輸、略過、驗證和刪除項目的詳細報告。

報告層級

使用標準任務報告,您可以選擇下列其中一個報告層級:

  • 僅限錯誤

  • 成功和錯誤 (基本上是任務執行期間發生的所有事件清單)

例如,您可能想要查看在傳輸期間 DataSync 成功略過哪些檔案,以及哪些檔案未成功略過。DataSync 成功略過的檔案可能是您刻意希望 DataSync 排除的檔案,因為它們已存在於目的地位置。不過,執行個體的略過錯誤可能表示 DataSync 沒有讀取檔案的正確許可。

已傳輸的報告

DataSync 在任務執行期間嘗試傳輸的檔案、物件和目錄清單。傳輸的報告包含下列詳細資訊:

  • 傳輸資料的路徑

  • 傳輸的內容 (內容、中繼資料或兩者)

  • 中繼資料,包括資料類型、內容大小 (僅限物件和檔案) 等

  • 轉移項目的時間

  • 物件版本 (如果目的地是已啟用版本控制的 Amazon S3 儲存貯體)

  • 如果目的地中覆寫了某些項目

  • 是否成功傳輸項目

注意

在 S3 儲存貯體之間移動資料時,您在來源位置指定的字首可能會顯示在報告 (或 Amazon CloudWatch logs) 中,即使該字首不存在為目的地位置中的物件。(在 DataSync 主控台中,您可能也會注意到此字首顯示為略過或已驗證的資料。)

略過的報告

DataSync 在您的來源位置找到但未嘗試傳輸的檔案、物件和目錄清單。DataSync 略過資料的原因可能取決於幾個因素,例如如何設定任務和儲存系統許可。以下是一些範例:

  • 您的來源和目的地位置中存在一個檔案。來源中的 檔案自上一個任務執行以來尚未修改。由於您只傳輸已變更的資料,DataSync 不會在您下次執行任務時傳輸該檔案。

  • 存在於兩個位置的物件都會在來源中變更。當您執行任務時,DataSync 會略過目的地中的此物件,因為您的任務不會覆寫目的地中的資料

  • DataSync 會略過來源中使用封存儲存體類別且未還原的物件。您必須還原封存的物件,DataSync 才能讀取它。

  • DataSync 會略過來源位置中的檔案、物件或目錄,因為它無法讀取。如果發生這種情況,而且不預期會發生這種情況,請檢查儲存體的存取許可,並確保 DataSync 可以讀取略過的內容。

略過的報告包含下列詳細資訊:

  • 略過資料的路徑

  • 略過項目的時間

  • 略過的原因

  • 項目是否已成功略過

注意

略過的報告在包含成功和錯誤時可能很大,您可以設定任務僅傳輸已變更的資料,以及目的地中已存在的來源資料。

已驗證的報告

DataSync 在任務執行期間嘗試驗證 完整性的檔案、物件和目錄清單。已驗證的資料報告包含下列詳細資訊:

  • 已驗證資料的路徑

  • 驗證項目的時間

  • 驗證錯誤的原因 (如果有的話)

  • 來源和目的地 SHA256 檢查總和 (僅限 檔案)

  • 項目是否已成功驗證

請注意以下有關已驗證報告的資訊:

  • 當您將任務設定為僅驗證傳輸的資料時,DataSync 在某些情況下不會驗證目錄,或無法傳輸的檔案或物件。在任何一種情況下,DataSync 都不會在此報告中包含未驗證的資料。

  • 如果您使用的是增強型模式,則如果您要傳輸大型物件,驗證可能需要比平常更長的時間。

已刪除的報告

在任務執行期間刪除的檔案、目錄和物件清單。只有當您設定任務以刪除不在來源的目的地位置中的資料時,DataSync 才會產生此報告。刪除的資料報告包含下列詳細資訊:

  • 已刪除資料的路徑

  • 項目是否已成功刪除

  • 刪除項目的時間

任務報告範例

任務報告中的詳細資訊層級由您決定。以下是具有下列組態的傳輸資料報告範例:

  • 報告類型 – 標準

  • 報告層級 – 成功和錯誤

注意

報告使用 ISO-8601 標準作為時間戳記格式。時間以 UTC 為單位,並以奈秒為單位。此行為與測量其他一些任務報告指標的方式不同。例如,任務執行詳細資訊,例如 TransferDurationVerifyDuration,以毫秒為單位。

增強型模式任務報告使用的結構描述與基本模式任務報告略有不同。以下範例可協助您了解根據使用的任務模式,預期從報告獲得什麼。

成功狀態的傳輸資料報告範例

下列報告顯示名為 之物件的成功傳輸object1.txt

Enhanced mode
{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "object1.txt", "SourceMetadata": { "Type": "Object", "ContentSize": 6, "LastModified": "2024-10-04T14:40:55Z", "SystemMetadata": { "ContentType": "binary/octet-stream", "ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"", "ServerSideEncryption": "AES256" }, "UserMetadata": {}, "Tags": [] }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2024-10-04T14:48:39.748862183Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "SUCCESS" }] }
Basic mode
{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "/object1.txt", "SrcMetadata": { "Type": "Regular", "ContentSize": 6, "Mtime": "2022-01-07T16:59:26.136114671Z", "Atime": "2022-01-07T16:59:26.136114671Z", "Uid": 0, "Gid": 0, "Mode": "0644" }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2022-01-07T16:59:45.747270957Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "SUCCESS" }] }
{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "object1.txt", "SourceMetadata": { "Type": "Object", "ContentSize": 6, "LastModified": "2024-10-04T14:40:55Z", "SystemMetadata": { "ContentType": "binary/octet-stream", "ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"", "ServerSideEncryption": "AES256" }, "UserMetadata": {}, "Tags": [] }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2024-10-04T14:48:39.748862183Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "SUCCESS" }] }
具有錯誤狀態的傳輸資料報告範例

下列報告提供 DataSync 無法傳輸名為 之物件的範例object1.txt

Enhanced mode

此報告顯示 DataSync 無法存取名為 的 AWS KMS 物件,object1.txt因為 的許可問題。(如果您收到這樣的錯誤,請參閱 使用伺服器端加密存取 S3 儲存貯體。)

{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "object1.txt", "SourceMetadata": { "Type": "Object", "ContentSize": 6, "LastModified": "2022-10-07T20:48:32Z", "SystemMetadata": { "ContentType": "binary/octet-stream", "ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"", "ServerSideEncryption": "AES256" }, "UserMetadata": {}, "Tags": [] }, "Overwrite": "False", "TransferTimestamp": "2022-10-09T16:05:11.134040717Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "FAILED", "ErrorCode": "AccessDenied", "ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action" }] }
Basic mode

此報告顯示名為 的物件object1.txt因為 S3 儲存貯體許可問題而未傳輸。(如果您收到這樣的錯誤,請參閱 提供對 S3 儲存貯體的 DataSync 存取權。)

{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "/object1.txt", "SrcMetadata": { "Type": "Regular", "ContentSize": 6, "Mtime": "2022-01-07T16:59:26.136114671Z", "Atime": "2022-01-07T16:59:26.136114671Z", "Uid": 0, "Gid": 0, "Mode": "0644" }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2022-01-07T16:59:45.747270957Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "FAILED", "FailureReason": "S3 Get Object Failed", "FailureCode": 40974 }] }

此報告顯示 DataSync 無法存取名為 的 AWS KMS 物件,object1.txt因為 的許可問題。(如果您收到這樣的錯誤,請參閱 使用伺服器端加密存取 S3 儲存貯體。)

{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "object1.txt", "SourceMetadata": { "Type": "Object", "ContentSize": 6, "LastModified": "2022-10-07T20:48:32Z", "SystemMetadata": { "ContentType": "binary/octet-stream", "ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"", "ServerSideEncryption": "AES256" }, "UserMetadata": {}, "Tags": [] }, "Overwrite": "False", "TransferTimestamp": "2022-10-09T16:05:11.134040717Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "FAILED", "ErrorCode": "AccessDenied", "ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action" }] }

限制

  • 個別任務報告不得超過 5 MB。如果您要複製大量檔案,您的任務報告可能會分割成多個報告。

  • 在某些情況下,建立任務報告可能會影響資料傳輸的效能。例如,當您的網路連線具有高延遲,且您正在傳輸的檔案很小,或您只複製中繼資料變更時,您可能會注意到此情況。

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。