AWS DataSync 転送に関する問題のトラブルシューティング - AWS DataSync
特定の NFS または SMB DataSync バージョンを使用してファイル共有をマウントするように設定する方法を教えてください。エラー:値が無効です。 SyncOption オプション: TransferModePreserveDeletedFiles、値:すべて、削除。EniNotFoundタスクがエラーで失敗し続けるDataSync 現在サーバー側の NFSv4 ID マッピングをサポートしていないというエラーでタスクが失敗しました。タスクステータスが利用不可で、マウントエラーと表示される「メモリを割り当てられません」というエラーでタスクが失敗しました。タスクが入力/出力エラーで失敗しましたタスク実行のステータスが「起動中」になっていますが、何も起きていないようです。私のタスク実行は、長い間「準備中」状態でした。NFS 転送に「権限が拒否されました」というエラーが表示されます。 DataSync 実行したタスクの検証にはどのくらい時間がかかりますか?別のバケットの S3 バケットに転送すると、タスクが失敗します。AWS アカウントGoogle Cloud Storage バケットから転送するとタスクが失敗するタスクがエラーで失敗する Unable to list Azure Blobs on the volume rootタスクの開始時間と終了時間がログの内容と一致しないエラー: SyncTaskDeletedByUserエラー: NoMemエラー: FsS3UnableToConnectToEndpointエラー: FsS3HeadBucketFailedタスクレポートエラー

2023 年 12 月 7 日より、バージョン 1 DataSync のエージェントは廃止されます。 DataSync コンソールの [エージェント] ページをチェックして、影響を受けるエージェントがいないか確認してください。その場合は、データ転送やストレージ検出の中断を避けるため、その前にそれらのエージェントを交換してください。さらにサポートが必要な場合は、お問い合わせくださいAWS Support

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS DataSync 転送に関する問題のトラブルシューティング

以下のトピックでは、AWS DataSync ロケーションとタスクに共通する問題とその解決方法について説明します。

特定の NFS または SMB DataSync バージョンを使用してファイル共有をマウントするように設定する方法を教えてください。

ネットワークファイルシステム (NFS) またはサーバーメッセージブロック (SMB) をサポートする場所では、 DataSync デフォルトでプロトコルバージョンが自動的に選択されます。 DataSync コンソールまたは API を使用してバージョンを自分で指定することもできます。

実行するアクション (DataSync コンソール)

NFS または SMB ロケーションを作成するときは、使用するプロトコルバージョンを設定します。 DataSync 詳細については、NFS AWS DataSync ファイルサーバによる転送の設定またはSMB AWS DataSync ファイルサーバーによる転送の設定) を参照してください。

実行するアクション (DataSync API)

NFS または SMB ロケーションを作成または更新するときは、パラメータを指定します。Versionたとえば、CreateLocationNfs または CreateLocationSmb を参照します。

AWS CLI次のコマンド例は、NFS バージョン 4.0 DataSync を使用してマウントする NFS ロケーションを作成します。

$ aws datasync create-location-nfs --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory nfs-export-path \ --mount-options Version="NFS4_0"

AWS CLI次のコマンド例は、SMB バージョン 3 DataSync を使用してマウントする SMB ロケーションを作成します。

$ aws datasync create-location-smb --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory smb-export-path \ --mount-options Version="SMB3"

エラー:値が無効です。 SyncOption オプション: TransferModePreserveDeletedFiles、値:すべて、削除。

このエラーは、 DataSync タスクを作成または編集しているときに [すべてのデータを転送] オプションを選択し、[削除したファイルを保持] オプションを選択解除したときに発生します。すべてのデータを転送すると、 DataSync 転送先の場所がスキャンされず、何を削除すればよいかわからなくなります。

EniNotFoundタスクがエラーで失敗し続ける

このエラーは、仮想プライベートクラウド (VPC) 内のタスクのネットワークインターフェースのいずれかを削除した場合に発生します。タスクがスケジュールされているかキューに入っている場合、データの転送に必要なネットワークインターフェースがないと、タスクは失敗します

実行するアクション

この問題を回避するには、以下の方法があります。

  • タスクを手動で再開する。 DataSync これを行うと、タスクを実行するのに必要なネットワークインターフェースがすべて作成されます。

  • VPC 内のリソースをクリーンアップする必要がある場合は、 DataSync まだ使用中のタスクに関連するネットワークインターフェースを削除しないようにしてください。

    タスクに割り当てられたネットワークインターフェースを確認するには、次のいずれかを実行してください。

    • DescribeTask 操作を使用します。ネットワークインターフェースは、SourceNetworkInterfaceArnsDestinationNetworkInterfaceArnsおよびレスポンス要素で確認できます。

    • Amazon EC2 コンソールで、タスク ID (などtask-f012345678abcdef0) を検索してネットワークインターフェイスを見つけます。

  • タスクは自動的に実行されないことを検討してください。これには、タスクキューイングやスケジューリング ( DataSync またはカスタムオートメーションによる) の無効化が含まれる場合があります。

DataSync 現在サーバー側の NFSv4 ID マッピングをサポートしていないというエラーでタスクが失敗しました

このエラーは、転送に関係するファイルシステムが NFS バージョン 4 の ID マッピングをサポートしていない場合に発生することがあります。 DataSync

実行するアクション

この問題を回避する方法はいくつかあります。

  • NFS バージョン 3 DataSync を使用するファイルシステムの新しい場所を作成します。

  • ファイルシステムの NFS バージョン 4 ID マッピングを無効にします。

転送を再試行してください。どちらの方法でも問題は解決するはずです。

タスクステータスが利用不可で、マウントエラーと表示される

DataSync エージェントが NFS ロケーションをマウントできない場合、タスクは利用できないと表示されます。

実行するアクション

まず、指定した NFS サーバーとエクスポートの両方が有効であることを確認します。そうでない場合は、タスクを削除し、正しい NFS サーバーを使用する新しいタスクを作成してからエクスポートします。詳細については、「NFS AWS DataSync ファイルサーバによる転送の設定」を参照してください。

NFS サーバーとエクスポートが両方有効である場合、通常 2 つのうちのいずれかです。エージェントが NFS サーバーをマウントするのをファイアウォールが妨げているか、エージェントがマウントできるように NFS サーバーが設定されていません。

エージェントと NFS サーバーの間にファイアウォールがないことを確認してください。次に、NFS サーバーが、タスクで指定されたエクスポートのマウントをエージェントに許可するよう設定されていることを確認します。ネットワークおよびファイアウォールの要件については、AWS DataSyncネットワーク要件を参照してください。

これらのアクションを実行してもエージェントがNFSサーバーをマウントしてエクスポートできない場合は、Support でサポートチャネルを開いてください。AWSサポートチャネルを開く方法の詳細については、「からエージェントのサポートを受ける AWS Support」を参照してください。

メモリを割り当てられません」というエラーでタスクが失敗しました。

DataSync タスクが 「メモリを割り当てられません」というエラーで失敗した場合、いくつかの原因が考えられます。

実行するアクション

問題が解消されるまで、次のことを試してください。

タスクが入力/出力エラーで失敗しました

ストレージシステムがエージェントからの I/O 要求に失敗すると、入出力エラーメッセージが表示されることがあります。 DataSync 一般的な原因には、サーバのディスク障害、ファイアウォール構成の変更、ネットワークルータの障害などがあります。

エラーが NFS サーバーまたは Hadoop 分散ファイルシステム (HDFS) クラスターに関係している場合は、以下の手順に従ってエラーを解決してください。

実行すべきアクション (NFS)

まず、NFS サーバーのログとメトリクスを確認して、NFS サーバーに起因する問題かどうかを判断します。「はい」の場合は、その問題を解決してください。

次に、ネットワーク設定が変更されていないことを確認します。NFS サーバーが正しく設定されていて、 DataSync サーバーにアクセスできるかどうかを確認するには、次の操作を行います。

  1. エージェントと同じネットワークサブネットに別の NFS クライアントをセットアップします。

  2. そのクライアントに共有をマウントします。

  3. クライアントが共有に正常に読み書きできることを確認します。

実行するアクション (HDFS)

HDFS クラスターで、 NameNode DataNode エージェントがクラスターとポートと通信できることを確認してください。ほとんどのクラスターでは、クラスターが使用するポート番号は以下の設定ファイルにあります。

  1. NameNode ポートを見つけるには、fs.default or core-site.xml fs.default.name プロパティの下にあるファイルを調べてください (Hadoop ディストリビューションによって異なります)。

  2. DataNode ポートを見つけるには、hdfs-site.xmldfs.datanode.addressプロパティの下にあるファイルを調べてください。

タスク実行のステータスが「起動中」になっていますが、何も起きていないようです。

通常、エージェントの電源がオフになっているか、ネットワーク接続が切断されていることが原因で、 DataSync タスクが Launching ステータスで停止することがあります。

実行するアクション

エージェントのステータスがオンラインであることを確認してください。エージェントが OFFLINE の場合は、エージェントの電源が入っていることを確認します。

エージェントの電源が入っていて、タスクが Launching のままの場合は、エージェントと間のネットワーク接続に問題がある可能性がありますAWS。ネットワーク接続をテストする方法については、「エージェントとの接続をテストします。AWS」を参照してください。

この問題が解消されない場合は、を参照してくださいからエージェントのサポートを受ける AWS Support

私のタスク実行は、長い間「準備中」状態でした。

DataSync 転送タスクが「準備中」ステータスになる時間は、転送元と転送先のデータ量、およびそれらのストレージシステムのパフォーマンスによって異なります。

タスクが開始されると、 DataSync 再帰的なディレクトリリストを作成して、転送元と転送先のすべてのファイル、オブジェクト、ディレクトリ、メタデータを検出します。 DataSyncこれらのリストを使用して、ストレージシステム間の違いを特定し、何をコピーするかを決定します。このプロセスには数分から数時間かかることがあります。

実行するアクション

何もする必要はないはずです。タスクのステータスが [転送中] に変わるまで待ち続けてください。それでもステータスが変わらない場合は、AWS Supportセンターにお問い合わせください

NFS 転送に「権限が拒否されました」というエラーが表示されます。

NFS root_squash ファイルサーバにまたはを設定しても、all_squashすべてのファイルに読み取りアクセス権がないと、「アクセスが拒否されました」というエラーメッセージが表示されることがあります。

実行するアクション

この問題を解決するには、NFS no_root_squash エクスポートを設定するか、転送するすべてのファイルの権限がすべてのユーザーに読み取りアクセスを許可するようにしてください。

DataSync ディレクトリにアクセスするには、全実行アクセスも有効にする必要があります。ディレクトリをマウントできることを確認するには、まずエージェントと同じネットワーク構成がある任意のコンピュータに接続します。次に、次の CLI コマンドを実行します。

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-you-specified> <new-test-folder-on-your-computer>

それでも問題が解決しない場合は、AWS Supportセンターにお問い合わせください

DataSync 実行したタスクの検証にはどのくらい時間がかかりますか?

デフォルトでは、 DataSync 転送終了時にデータの整合性を検証します。検証にかかる時間はさまざまな要因によって異なります。ファイルまたはオブジェクトの数、ソースとデスティネーションのストレージシステム内のデータの総量、およびこれらのシステムのパフォーマンスは、検証にかかる時間に影響します。検証には、すべてのファイルコンテンツの SHA256 チェックサムと、すべてのファイルメタデータの正確な比較が含まれます。

実行するアクション

何もする必要はないはずです。それでもタスクのステータスが「成功」または「エラー」に変わらない場合は、AWS Supportセンターにお問い合わせください

別のバケットの S3 バケットに転送すると、タスクが失敗します。AWS アカウント

DataSync 同じリソース間の転送とは異なりAWS アカウント、別のリソースの S3 バケットにデータをコピーするには、AWS アカウントいくつかの追加手順が必要です。

  • S3 DataSync バケットの権限に関連するエラーでタスクが失敗する場合 — タスクを作成するときは、コピー先の S3 バケットのポリシーで指定したのと同じ IAM ロールでにログインしていることを確認してください。AWS Management Console(このロールは S3 DataSync バケットへの書き込み権限を与える IAM ロールではありません)。

  • AWS リージョンデータを別のバケットにもコピーしていて S3 エンドポイント接続エラーが発生した場合 — コピー先の S3 DataSync バケットと同じリージョンにタスクを作成します。

Amazon S3 でのクロスアカウント転送の詳細な手順については、以下のチュートリアルを参照してください。

Google Cloud Storage バケットから転送するとタスクが失敗する

は Amazon S3 API を使用して Google Cloud Storage DataSync と通信するため、 DataSync オブジェクトタグをコピーしようとすると転送が失敗する可能性があるという制限があります。 CloudWatch この問題に関する次のメッセージがログに表示されます。

[警告] ファイル /your-bucket/your-object のメタデータを読み取れませんでした:S3 オブジェクトタグ取得失敗:タグ付けせずに続行中

これを防ぐには、転送タスクの設定時に [オブジェクトタグをコピー] オプションの選択を解除してください。

タスクがエラーで失敗する Unable to list Azure Blobs on the volume root

DataSync Unable to list Azure Blobs on the volume root転送タスクがエラーで失敗した場合は、共有アクセス署名 (SAS) Azure トークンまたはストレージアカウントのネットワークに問題がある可能性があります。

実行するアクション

次のことを試して、問題が解決するまでタスクをもう一度実行してください。

  • お使いの SAS トークンに、へのアクセスに必要な適切な権限があることを確認してくださいMicrosoft Azure Blob Storage。

  • DataSync でエージェントを実行している場合はAzure、エージェントが存在する仮想ネットワークからのアクセスを許可するようにストレージアカウントを設定します。

  • Amazon EC2 でエージェントを実行している場合は、エージェントのパブリック IP Azure アドレスからのアクセスを許可するようにストレージファイアウォールを設定します。

Azureストレージアカウントのネットワークを設定する方法については、Azure Blob Storageドキュメントを参照してください

タスクの開始時間と終了時間がログの内容と一致しない

DataSync コンソールに表示されるタスク実行の開始時刻と終了時刻は、転送に関連する他の場所に表示されるタイムスタンプと異なる場合があります。これは、タスク実行が起動状態またはキュー状態にある時間をコンソールが考慮しないためです。

たとえば、Amazon CloudWatch のログには、タスクの実行がコンソールに表示されている時間よりも遅く終了したことが記録されている場合があります。 DataSync 以下の領域でも同様の相違があることに気付くかもしれません。

  • 転送に関係するファイルシステムまたはオブジェクトストレージシステムのログ

  • DataSync に書き込みを行った Amazon S3 オブジェクトの最終更新日

  • DataSync エージェントからのネットワークトラフィック。

  • Amazon EventBridge イベント

エラー: SyncTaskDeletedByUser

一部のワークフローを自動化すると、このエラーが予期せず表示されることがあります。 DataSync たとえば、タスクの実行が終了する前、またはキューに入る前にタスクを削除するスクリプトがあるかもしれません。

この問題を解決するには、これらの種類のアクションが重複しないようにオートメーションを再構成してください。

エラー: NoMem

転送しようとしているデータセットは大きすぎる可能性があります。 DataSyncこのエラーが表示された場合は、AWS Support Center ( センター) にお問い合わせください。

エラー: FsS3UnableToConnectToEndpoint

DataSync Amazon S3 ロケーションに接続できません。これは、ロケーションの S3 バケットにアクセスできないか、ロケーションが正しく設定されていない可能性があります。

問題が解決するまで、次のことを行ってください。

エラー: FsS3HeadBucketFailed

DataSync 転送先または転送元の S3 バケットにアクセスできない。Amazon S3 DataSync HeadBucketオペレーションを使用してバケットにアクセスする権限があるかどうかを確認します。

タスクレポートエラー

DataSyncタスクレポートで転送を監視しようとすると、以下のいずれかのエラーが発生する可能性があります。

エラーメッセージ 回避方法

ファイルパスが最大長の 4,096 文字を超えています。タスクレポートには書き込めません。

N/A (4,096 DataSync バイトを超えるパスのファイルは転送できない)

詳細については、「ストレージシステム、ファイル、オブジェクトの制限値」を参照してください。

バケットまたは IAM ロールが無効なため、タスクレポートを S3 にアップロードできませんでした

DataSync IAM ロールに S3 バケットにタスクレポートをアップロードするための適切な権限があることを確認してください。

タスクレポートを生成する前に実行エラーが発生しました。

CloudWatch ログをチェックして、タスクの実行が失敗した理由を特定してください。