Memecahkan masalah dengan transfer AWS DataSync - AWS DataSync
Bagaimana cara mengonfigurasi DataSync untuk menggunakan SMB versi tertentu NFS atau untuk me-mount berbagi file saya?Kesalahan: Nilai tidak valid SyncOption . Opsi: TransferMode,PreserveDeletedFiles, Nilai:ALL,REMOVE.Tugas saya terus gagal dengan kesalahan EniNotFoundTugas saya gagal dengan NFS kesalahan izin ditolakTugas saya gagal dengan kesalahan NFS pemasanganTugas saya gagal dengan kesalahan EFS pemasangan AmazonKepemilikan file tidak dipertahankan dengan NFS transferTugas saya gagal dengan kesalahan Tidak dapat mengalokasikan memoriTugas saya gagal dengan kesalahan input/outputEksekusi tugas saya memiliki status peluncuran tetapi sepertinya tidak ada yang terjadiEksekusi tugas saya tampaknya macet dalam status persiapanBerapa lama waktu yang dibutuhkan DataSync untuk memverifikasi tugas yang telah saya jalankan?Tugas saya berhenti sebelum transfer selesaiTugas saya gagal saat mentransfer dari bucket Google Cloud StorageWaktu mulai dan akhir tugas saya tidak cocok dengan apa yang ada di logKesalahan: SyncTaskDeletedByUserKesalahan: NoMemKesalahan: FsS3UnableToConnectToEndpointKesalahan: FsS3HeadBucketFailedTugas saya gagal dengan Unable to list Azure Blobs on the volume root kesalahanObjek gagal ditransfer Azure Blob Storage dengan user metadata key kesalahanKesalahan: FsAzureBlobVolRootListBlobsFailedKesalahan: SrcLocHitAccessKesalahan: SyncTaskErrorLocationNotAddedKesalahan laporan tugasTugas dengan Amazon S3 gagal dengan HeadObject atau kesalahan GetObjectTaggingMengapa ada /.aws-datasync folder di lokasi tujuan saya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memecahkan masalah dengan transfer AWS DataSync

Topik berikut menjelaskan masalah umum untuk AWS DataSync lokasi dan tugas dan bagaimana Anda dapat menyelesaikannya.

Bagaimana cara mengonfigurasi DataSync untuk menggunakan SMB versi tertentu NFS atau untuk me-mount berbagi file saya?

Untuk lokasi yang mendukung Network File System (NFS) atau Server Message Block (SMB), secara DataSync default memilih versi protokol untuk Anda. Anda juga dapat menentukan versi sendiri dengan menggunakan DataSync konsol atauAPI.

Tindakan yang harus diambil (DataSync konsol)

Saat membuat NFS atau SMB lokasi Anda, konfigurasikan versi protokol yang DataSync ingin Anda gunakan. Untuk informasi lebih lanjut, lihat Mengkonfigurasi AWS DataSync transfer dengan server NFS file atauMengkonfigurasi AWS DataSync transfer dengan server SMB file).

Tindakan untuk mengambil (DataSync API)

Saat membuat atau memperbarui SMB lokasi NFS atau Anda, tentukan Version parameternya. Misalnya, lihat CreateLocationNfs atauCreateLocationSmb.

Contoh AWS CLI perintah berikut membuat NFS lokasi yang DataSync dipasang dengan menggunakan NFS versi 4.0.

$ aws datasync create-location-nfs --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory nfs-export-path \ --mount-options Version="NFS4_0"

AWS CLI Perintah contoh berikut membuat SMB lokasi yang DataSync dipasang dengan menggunakan SMB versi 3.

$ aws datasync create-location-smb --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory smb-export-path \ --mount-options Version="SMB3"

Kesalahan: Nilai tidak valid SyncOption . Opsi: TransferMode,PreserveDeletedFiles, Nilai:ALL,REMOVE.

Kesalahan ini terjadi saat Anda membuat atau mengedit DataSync tugas Anda dan Anda memilih opsi Transfer semua data dan membatalkan pilihan Simpan file yang dihapus. Ketika Anda mentransfer semua data, DataSync tidak memindai lokasi tujuan Anda dan tidak tahu apa yang harus dihapus.

Tugas saya terus gagal dengan kesalahan EniNotFound

Kesalahan ini terjadi jika Anda menghapus salah satu antarmuka jaringan tugas Anda di cloud pribadi virtual (VPC). Jika tugas Anda dijadwalkan atau diantrian, tugas akan gagal jika tidak ada antarmuka jaringan yang diperlukan untuk mentransfer data Anda.

Tindakan yang harus dilakukan

Anda memiliki opsi berikut untuk mengatasi masalah ini:

  • Mulai ulang tugas secara manual. Ketika Anda melakukan ini, DataSync akan membuat antarmuka jaringan yang hilang yang dibutuhkan untuk menjalankan tugas.

  • Jika Anda perlu membersihkan sumber dayaVPC, pastikan Anda tidak menghapus antarmuka jaringan yang terkait dengan DataSync tugas yang masih Anda gunakan.

    Untuk melihat antarmuka jaringan yang dialokasikan untuk tugas Anda, lakukan salah satu hal berikut:

    • Gunakan DescribeTaskoperasi. Anda dapat melihat antarmuka jaringan di elemen SourceNetworkInterfaceArns dan DestinationNetworkInterfaceArns respons.

    • Di EC2 konsol Amazon, cari ID tugas Anda (sepertitask-f012345678abcdef0) untuk menemukan antarmuka jaringannya.

  • Pertimbangkan untuk tidak menjalankan tugas Anda secara otomatis. Ini bisa termasuk menonaktifkan antrian tugas atau penjadwalan (melalui DataSync atau otomatisasi khusus).

Tugas saya gagal dengan NFS kesalahan izin ditolak

Anda bisa mendapatkan pesan kesalahan “izin ditolak” jika Anda mengonfigurasi server NFS file Anda dengan root_squash atau all_squash dan file Anda tidak semuanya memiliki akses baca.

Tindakan yang harus diambil

Untuk memperbaiki masalah ini, konfigurasikan NFS ekspor Anda dengan no_root_squash atau pastikan bahwa izin untuk semua file yang ingin Anda transfer memungkinkan akses baca untuk semua pengguna.

DataSync Untuk mengakses direktori, Anda juga harus mengaktifkan akses all-execute. Guna memastikan bahwa direktori dapat dipasang, pertama-tama hubungkan ke komputer mana pun yang memiliki konfigurasi jaringan yang sama dengan agen Anda. Kemudian jalankan CLI perintah berikut:

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-you-specified> <new-test-folder-on-your-computer>

Jika masalah masih belum teratasi, hubungi AWS Support Pusat.

Tugas saya gagal dengan kesalahan NFS pemasangan

Anda mungkin melihat kesalahan berikut saat menjalankan DataSync tugas yang melibatkan lokasi server NFS file:

Tugas gagal mengakses lokasi loc-1111222233334444a: x40016: mount.nfs: Waktu koneksi habis

Tindakan yang harus dilakukan

Lakukan hal berikut sampai kesalahan teratasi.

  1. Pastikan server NFS file dan ekspor yang Anda tentukan di DataSync lokasi Anda valid. Jika tidak, hapus lokasi dan tugas Anda, lalu buat lokasi dan tugas baru yang menggunakan server NFS file yang valid dan ekspor. Untuk informasi selengkapnya, lihat Menggunakan DataSync konsol.

  2. Periksa konfigurasi firewall Anda antara agen dan server NFS file Anda. Untuk informasi selengkapnya, lihat Persyaratan jaringan untuk penyimpanan lokal, dikelola sendiri, cloud lainnya, dan edge.

  3. Pastikan agen Anda dapat mengakses server NFS file dan memasang ekspor. Untuk informasi selengkapnya, lihat Menyediakan DataSync akses ke server NFS file.

  4. Jika Anda masih melihat kesalahan, buka saluran dukungan dengan AWS Support. Untuk informasi selengkapnya, lihat Saya tidak tahu apa yang terjadi dengan agen saya. Dapatkah seseorang membantu saya?.

Tugas saya gagal dengan kesalahan EFS pemasangan Amazon

Anda mungkin melihat kesalahan berikut saat menjalankan DataSync tugas yang melibatkan EFS lokasi Amazon:

Tugas gagal mengakses lokasi loc-1111222233334444a: x40016: Gagal terhubung ke target mount dengan IP: 10.10.1.0. EFS

Ini dapat terjadi jika jalur pemasangan sistem EFS file Amazon yang Anda konfigurasikan dengan lokasi Anda diperbarui atau dihapus. DataSync tidak menyadari perubahan ini dalam sistem file.

Tindakan yang harus diambil

Hapus lokasi dan tugas Anda dan buat EFS lokasi Amazon baru dengan jalur pemasangan baru.

Kepemilikan file tidak dipertahankan dengan NFS transfer

Setelah transfer, Anda mungkin melihat bahwa file di lokasi DataSync tujuan Anda memiliki user IDs (UIDs) atau group IDs (GIDs) yang berbeda dari file yang sama di lokasi sumber Anda. Misalnya, file di tujuan Anda mungkin memiliki UID file65534,99, ataunobody.

Ini dapat terjadi jika sistem file yang terlibat dalam transfer Anda menggunakan pemetaan ID NFS versi 4, fitur yang DataSync tidak mendukung.

Tindakan yang harus diambil

Anda memiliki beberapa opsi untuk mengatasi masalah ini:

  • Buat lokasi baru untuk sistem file yang menggunakan NFS versi 3, bukan versi 4.

  • Nonaktifkan pemetaan ID NFS versi 4 pada sistem file.

Coba lagi transfer. Salah satu opsi harus menyelesaikan masalah.

Tugas saya gagal dengan kesalahan Tidak dapat mengalokasikan memori

Ketika DataSync tugas Anda gagal dengan kesalahan Tidak dapat mengalokasikan memori, itu bisa berarti beberapa hal yang berbeda.

Tindakan yang harus diambil

Coba yang berikut ini sampai Anda tidak lagi melihat masalahnya:

Tugas saya gagal dengan kesalahan input/output

Anda bisa mendapatkan pesan kesalahan input/output jika sistem penyimpanan Anda gagal permintaan I/O dari agen. DataSync Alasan umum untuk ini termasuk kegagalan disk server, perubahan konfigurasi firewall Anda, atau kegagalan router jaringan.

Jika kesalahan melibatkan server NFS file atau cluster Hadoop Distributed File System (HDFS), gunakan langkah-langkah berikut untuk mengatasi kesalahan.

Tindakan untuk mengambil (NFS)

Pertama, periksa log dan metrik server NFS file Anda untuk menentukan apakah masalah dimulai di NFS server. Jika ya, selesaikan masalah itu.

Selanjutnya, periksa bahwa konfigurasi jaringan Anda tidak berubah. Untuk memeriksa apakah server NFS file dikonfigurasi dengan benar dan yang DataSync dapat mengaksesnya, lakukan hal berikut:

  1. Siapkan NFS klien lain di subnet jaringan yang sama dengan agen.

  2. Pasang berbagi Anda di klien tersebut.

  3. Validasi bahwa klien dapat berhasil membaca dan menulis ke berbagi.

Tindakan untuk mengambil (HDFS)

Lakukan hal berikut sampai Anda menyelesaikan kesalahan:

  1. Pastikan bahwa HDFS klaster Anda memungkinkan DataSync agen Anda untuk berkomunikasi dengan cluster NameNode dan DataNode port.

    Di sebagian besar cluster, Anda dapat menemukan nomor port yang digunakan cluster dalam file konfigurasi berikut:

    • Untuk menemukan NameNode port, lihat core-site.xml file di bawah fs.default.name properti fs.default or (tergantung pada distribusi Hadoop).

    • Untuk menemukan DataNode port, lihat hdfs-site.xml file di bawah dfs.datanode.address properti.

  2. Dalam hdfs-site.xml file Anda, verifikasi bahwa dfs.data.transfer.protection properti Anda hanya memiliki satu nilai. Sebagai contoh:

    <property> <name>dfs.data.transfer.protection</name> <value>privacy</value> </property>

Eksekusi tugas saya memiliki status peluncuran tetapi sepertinya tidak ada yang terjadi

DataSync Tugas Anda dapat macet dengan status Peluncuran biasanya karena agen dimatikan atau kehilangan konektivitas jaringan.

Tindakan yang harus diambil

Pastikan status agen Anda ONLINE. Jika agennya OFFLINE, pastikan itu dinyalakan.

Jika agen dinyalakan dan tugas masih Diluncurkan, maka kemungkinan ada masalah koneksi jaringan antara agen Anda dan AWS. Untuk informasi tentang cara menguji konektivitas jaringan, lihat Menguji koneksi agen Anda ke AWS.

Jika Anda masih mengalami masalah ini, lihatSaya tidak tahu apa yang terjadi dengan agen saya. Dapatkah seseorang membantu saya?.

Eksekusi tugas saya tampaknya macet dalam status persiapan

Waktu tugas DataSync transfer Anda memiliki status Mempersiapkan tergantung pada jumlah data di sumber dan tujuan transfer Anda dan kinerja sistem penyimpanan tersebut.

Saat tugas dimulai, DataSync lakukan daftar direktori rekursif untuk menemukan semua file, objek, direktori, dan metadata di sumber dan tujuan Anda. DataSyncmenggunakan daftar ini untuk mengidentifikasi perbedaan antara sistem penyimpanan dan menentukan apa yang harus disalin. Proses ini bisa memakan waktu beberapa menit atau bahkan beberapa jam.

Tindakan yang harus diambil

Anda tidak perlu melakukan apa pun. Terus tunggu status tugas berubah menjadi Transfer. Jika status masih tidak berubah, hubungi AWS Support Pusat.

Berapa lama waktu yang dibutuhkan DataSync untuk memverifikasi tugas yang telah saya jalankan?

Secara default, DataSync memverifikasi integritas data di akhir transfer. Berapa lama verifikasi tergantung pada sejumlah faktor. Jumlah file atau objek, jumlah total data dalam sistem penyimpanan sumber dan tujuan, dan kinerja sistem ini mempengaruhi berapa lama verifikasi berlangsung. Verifikasi mencakup SHA256 checksum pada semua konten file dan perbandingan yang tepat dari semua metadata file.

Tindakan yang harus diambil

Anda tidak perlu melakukan apa pun. Jika status tugas masih tidak berubah menjadi Sukses atau Kesalahan, hubungi AWS Support Pusat.

Tugas saya berhenti sebelum transfer selesai

Jika eksekusi DataSync tugas Anda berhenti lebih awal, konfigurasi tugas Anda mungkin menyertakan Wilayah AWS yang dinonaktifkan di Anda Akun AWS.

Tindakan yang harus dilakukan

Lakukan hal berikut untuk menjalankan tugas Anda lagi:

  1. Periksa status keikutsertaan Wilayah tugas Anda dan pastikan mereka diaktifkan.

  2. Mulai tugas lagi.

Tugas saya gagal saat mentransfer dari bucket Google Cloud Storage

Karena DataSync berkomunikasi dengan Google Cloud Storage menggunakan Amazon API S3, ada batasan yang dapat menyebabkan transfer DataSync Anda gagal jika Anda mencoba menyalin tag objek. Pesan berikut yang terkait dengan masalah ini muncul di CloudWatch log Anda:

[WARN] Gagal membaca metadata untuk file/your-bucket/your-object: S3 Dapatkan Penandaan Objek Gagal: melanjutkan tanpa menandai

Untuk mencegah hal ini, batalkan pilihan opsi Salin tag objek saat mengonfigurasi pengaturan tugas transfer Anda.

Waktu mulai dan akhir tugas saya tidak cocok dengan apa yang ada di log

Waktu mulai dan akhir eksekusi tugas yang Anda lihat di DataSync konsol mungkin berbeda antara stempel waktu yang Anda lihat di tempat lain yang terkait dengan transfer Anda. Ini karena konsol tidak memperhitungkan waktu yang dihabiskan eksekusi tugas dalam status peluncuran atau antrian.

Misalnya, CloudWatch log Amazon Anda dapat menunjukkan bahwa eksekusi tugas Anda berakhir lebih lambat dari apa yang ditampilkan di DataSync konsol. Anda mungkin melihat perbedaan serupa di bidang-bidang berikut:

  • Log untuk sistem file atau sistem penyimpanan objek yang terlibat dalam transfer Anda

  • Tanggal modifikasi terakhir pada objek Amazon S3 yang DataSync menulis ke

  • Lalu lintas jaringan yang berasal dari DataSync agen

  • EventBridge Acara Amazon

Kesalahan: SyncTaskDeletedByUser

Anda mungkin melihat kesalahan ini secara tak terduga saat mengotomatiskan beberapa alur kerja. DataSync Misalnya, mungkin Anda memiliki skrip yang menghapus tugas Anda sebelum eksekusi tugas selesai atau dalam antrian.

Untuk memperbaiki masalah ini, konfigurasikan ulang otomatisasi Anda sehingga jenis tindakan ini tidak tumpang tindih.

Kesalahan: NoMem

Kumpulan data yang Anda coba transfer mungkin terlalu besar DataSync. Jika Anda melihat kesalahan ini, hubungi AWS Support Pusat.

Kesalahan: FsS3UnableToConnectToEndpoint

DataSync tidak dapat terhubung ke lokasi Amazon S3 Anda. Ini bisa berarti bucket S3 lokasi tidak dapat dijangkau atau lokasi tidak dikonfigurasi dengan benar.

Lakukan hal berikut sampai Anda menyelesaikan masalah:

Kesalahan: FsS3HeadBucketFailed

DataSync tidak dapat mengakses bucket S3 yang Anda transfer ke atau dari. Periksa apakah DataSync memiliki izin untuk mengakses bucket dengan menggunakan operasi Amazon S3 HeadBucket. Jika Anda perlu menyesuaikan izin Anda, lihatMenyediakan DataSync akses ke bucket S3.

Tugas saya gagal dengan Unable to list Azure Blobs on the volume root kesalahan

Jika tugas DataSync transfer Anda gagal karena Unable to list Azure Blobs on the volume root kesalahan, mungkin ada masalah dengan token tanda tangan akses bersama (SAS) atau jaringan akun Azure penyimpanan Anda.

Tindakan yang harus dilakukan

Coba yang berikut ini dan jalankan tugas Anda lagi sampai Anda memperbaiki masalah:

  • Pastikan SAStoken Anda memiliki izin yang tepat untuk mengakses AndaMicrosoft Azure Blob Storage.

  • Jika Anda menjalankan DataSync agen AndaAzure, konfigurasikan akun penyimpanan Anda untuk mengizinkan akses dari jaringan virtual tempat agen Anda berada.

  • Jika Anda menjalankan agen Anda di AmazonEC2, konfigurasikan firewall Azure penyimpanan Anda untuk mengizinkan akses dari alamat IP publik agen.

Untuk informasi tentang cara mengonfigurasi jaringan akun Azure penyimpanan Anda, lihat Azure Blob Storagedokumentasi.

Objek gagal ditransfer Azure Blob Storage dengan user metadata key kesalahan

Saat mentransfer dari bucket S3 keAzure Blob Storage, Anda mungkin melihat kesalahan berikut:

[ERROR] Failed to transfer file /user-metadata/file1: Azure Blob user metadata key must be a CSharp identifier

Ini berarti /user-metadata/file1 mencakup metadata pengguna yang tidak menggunakan pengidentifikasi C# yang valid. Untuk informasi selengkapnya, lihat dokumentasi Microsoft.

Kesalahan: FsAzureBlobVolRootListBlobsFailed

Token tanda tangan akses bersama (SAS) yang DataSync digunakan untuk mengakses Anda Microsoft Azure Blob Storage tidak memiliki izin Daftar.

Untuk mengatasi masalah ini, perbarui lokasi Anda dengan token yang memiliki izin Daftar dan coba jalankan tugas Anda lagi.

Kesalahan: SrcLocHitAccess

DataSync tidak dapat mengakses lokasi sumber Anda. Periksa apakah DataSync memiliki izin untuk mengakses lokasi dan coba jalankan tugas Anda lagi.

Kesalahan: SyncTaskErrorLocationNotAdded

DataSync tidak dapat mengakses lokasi Anda. Periksa apakah DataSync memiliki izin untuk mengakses lokasi dan coba jalankan tugas Anda lagi.

Kesalahan laporan tugas

Anda mungkin mengalami salah satu kesalahan berikut saat mencoba memantau DataSync transfer Anda dengan laporan tugas.

Pesan kesalahan Solusi

Jalur file melebihi panjang maksimum 4.096 karakter. Tidak dapat menulis ke Laporan Tugas

N/A (tidak DataSync dapat mentransfer file dengan jalur yang melebihi 4.096 byte)

Untuk informasi selengkapnya, lihat Sistem penyimpanan, file, dan batas objek.

Gagal mengunggah Laporan Tugas ke S3 karena bucket atau peran tidak valid IAM

Pastikan DataSync IAMperan tersebut memiliki izin yang tepat untuk mengunggah laporan tugas ke bucket S3 Anda.

Kesalahan eksekusi terjadi sebelum membuat Laporan Tugas

Periksa CloudWatch log Anda untuk mengidentifikasi mengapa eksekusi tugas Anda gagal.

Tugas dengan Amazon S3 gagal dengan HeadObject atau kesalahan GetObjectTagging

Jika Anda mentransfer objek dengan versi tertentu IDs dari bucket S3, Anda mungkin melihat kesalahan terkait HeadObject dengan atau. GetObjectTagging Misalnya, inilah kesalahan yang terkait denganGetObjectTagging:

[WARN] Failed to read metadata for file /picture1.png (versionId: 111111): S3 Get Object Tagging Failed [ERROR] S3 Exception: op=GetObjectTagging photos/picture1.png, code=403, type=15, exception=AccessDenied, msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml, date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked, x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723

Jika Anda melihat salah satu kesalahan ini, validasi bahwa IAM peran yang DataSync digunakan untuk mengakses lokasi sumber S3 Anda memiliki izin berikut:

  • s3:GetObjectVersion

  • s3:GetObjectVersionTagging

Jika Anda perlu memperbarui peran Anda dengan izin ini, lihatMembuat IAM peran DataSync untuk mengakses lokasi Amazon S3 Anda.

Mengapa ada /.aws-datasync folder di lokasi tujuan saya?

DataSync membuat folder yang dipanggil /.aws-datasync di lokasi tujuan Anda untuk membantu memfasilitasi transfer data Anda.

Meskipun DataSync biasanya menghapus folder ini setelah transfer Anda, mungkin ada situasi di mana ini tidak terjadi.

Tindakan yang harus diambil

Hapus folder ini kapan saja selama Anda tidak memiliki eksekusi tugas yang sedang berjalan menyalin ke lokasi itu.