Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memecahkan masalah dengan transfer AWS DataSync
Topik berikut menjelaskan masalah umum untuk AWS DataSync lokasi dan tugas dan bagaimana Anda dapat menyelesaikannya.
Bagaimana cara mengonfigurasi DataSync untuk menggunakan SMB versi tertentu NFS atau untuk me-mount berbagi file saya?
Untuk lokasi yang mendukung Network File System (NFS) atau Server Message Block (SMB), secara DataSync default memilih versi protokol untuk Anda. Anda juga dapat menentukan versi sendiri dengan menggunakan DataSync konsol atauAPI.
Tindakan yang harus diambil (DataSync konsol)
Saat membuat NFS atau SMB lokasi Anda, konfigurasikan versi protokol yang DataSync ingin Anda gunakan. Untuk informasi lebih lanjut, lihat Mengkonfigurasi AWS DataSync transfer dengan server NFS file atauMengkonfigurasi AWS DataSync transfer dengan server SMB file).
Tindakan untuk mengambil (DataSync API)
Saat membuat atau memperbarui SMB lokasi NFS atau Anda, tentukan Version
parameternya. Misalnya, lihat CreateLocationNfs atauCreateLocationSmb.
Contoh AWS CLI perintah berikut membuat NFS lokasi yang DataSync dipasang dengan menggunakan NFS versi 4.0.
$ aws datasync create-location-nfs --server-hostname
your-server-address
\ --on-prem-config AgentArns=your-agent-arns
\ --subdirectorynfs-export-path
\ --mount-options Version="NFS4_0"
AWS CLI Perintah contoh berikut membuat SMB lokasi yang DataSync dipasang dengan menggunakan SMB versi 3.
$ aws datasync create-location-smb --server-hostname
your-server-address
\ --on-prem-config AgentArns=your-agent-arns
\ --subdirectorysmb-export-path
\ --mount-options Version="SMB3"
Kesalahan: Nilai tidak valid SyncOption . Opsi: TransferMode,PreserveDeletedFiles, Nilai:ALL,REMOVE.
Kesalahan ini terjadi saat Anda membuat atau mengedit DataSync tugas Anda dan Anda memilih opsi Transfer semua data dan membatalkan pilihan Simpan file yang dihapus. Ketika Anda mentransfer semua data, DataSync tidak memindai lokasi tujuan Anda dan tidak tahu apa yang harus dihapus.
Tugas saya terus gagal dengan kesalahan EniNotFound
Kesalahan ini terjadi jika Anda menghapus salah satu antarmuka jaringan tugas Anda di cloud pribadi virtual (VPC). Jika tugas Anda dijadwalkan atau diantrian, tugas akan gagal jika tidak ada antarmuka jaringan yang diperlukan untuk mentransfer data Anda.
Tindakan yang harus dilakukan
Anda memiliki opsi berikut untuk mengatasi masalah ini:
-
Mulai ulang tugas secara manual. Ketika Anda melakukan ini, DataSync akan membuat antarmuka jaringan yang hilang yang dibutuhkan untuk menjalankan tugas.
-
Jika Anda perlu membersihkan sumber dayaVPC, pastikan Anda tidak menghapus antarmuka jaringan yang terkait dengan DataSync tugas yang masih Anda gunakan.
Untuk melihat antarmuka jaringan yang dialokasikan untuk tugas Anda, lakukan salah satu hal berikut:
-
Gunakan DescribeTaskoperasi. Anda dapat melihat antarmuka jaringan di elemen
SourceNetworkInterfaceArns
danDestinationNetworkInterfaceArns
respons. -
Di EC2 konsol Amazon, cari ID tugas Anda (seperti
task-f012345678abcdef0
) untuk menemukan antarmuka jaringannya.
-
-
Pertimbangkan untuk tidak menjalankan tugas Anda secara otomatis. Ini bisa termasuk menonaktifkan antrian tugas atau penjadwalan (melalui DataSync atau otomatisasi khusus).
Tugas saya gagal dengan NFS kesalahan izin ditolak
Anda bisa mendapatkan pesan kesalahan “izin ditolak” jika Anda mengonfigurasi server NFS file Anda dengan root_squash
atau all_squash
dan file Anda tidak semuanya memiliki akses baca.
Tindakan yang harus diambil
Untuk memperbaiki masalah ini, konfigurasikan NFS ekspor Anda dengan no_root_squash
atau pastikan bahwa izin untuk semua file yang ingin Anda transfer memungkinkan akses baca untuk semua pengguna.
DataSync Untuk mengakses direktori, Anda juga harus mengaktifkan akses all-execute. Guna memastikan bahwa direktori dapat dipasang, pertama-tama hubungkan ke komputer mana pun yang memiliki konfigurasi jaringan yang sama dengan agen Anda. Kemudian jalankan CLI perintah berikut:
mount -t nfs -o
nfsvers=<
your-nfs-server-version
>
<your-nfs-server-name
>:<nfs-export-path-you-specified
>
<new-test-folder-on-your-computer
>
Jika masalah masih belum teratasi, hubungi AWS Support Pusat
Tugas saya gagal dengan kesalahan NFS pemasangan
Anda mungkin melihat kesalahan berikut saat menjalankan DataSync tugas yang melibatkan lokasi server NFS file:
Tugas gagal mengakses lokasi loc-1111222233334444a: x40016: mount.nfs: Waktu koneksi habis
Tindakan yang harus dilakukan
Lakukan hal berikut sampai kesalahan teratasi.
-
Pastikan server NFS file dan ekspor yang Anda tentukan di DataSync lokasi Anda valid. Jika tidak, hapus lokasi dan tugas Anda, lalu buat lokasi dan tugas baru yang menggunakan server NFS file yang valid dan ekspor. Untuk informasi selengkapnya, lihat Menggunakan DataSync konsol.
-
Periksa konfigurasi firewall Anda antara agen dan server NFS file Anda. Untuk informasi selengkapnya, lihat Persyaratan jaringan untuk penyimpanan lokal, dikelola sendiri, cloud lainnya, dan edge.
-
Pastikan agen Anda dapat mengakses server NFS file dan memasang ekspor. Untuk informasi selengkapnya, lihat Menyediakan DataSync akses ke server NFS file.
-
Jika Anda masih melihat kesalahan, buka saluran dukungan dengan AWS Support. Untuk informasi selengkapnya, lihat Saya tidak tahu apa yang terjadi dengan agen saya. Dapatkah seseorang membantu saya?.
Tugas saya gagal dengan kesalahan EFS pemasangan Amazon
Anda mungkin melihat kesalahan berikut saat menjalankan DataSync tugas yang melibatkan EFS lokasi Amazon:
Tugas gagal mengakses lokasi loc-1111222233334444a: x40016: Gagal terhubung ke target mount dengan IP: 10.10.1.0. EFS
Ini dapat terjadi jika jalur pemasangan sistem EFS file Amazon yang Anda konfigurasikan dengan lokasi Anda diperbarui atau dihapus. DataSync tidak menyadari perubahan ini dalam sistem file.
Tindakan yang harus diambil
Hapus lokasi dan tugas Anda dan buat EFS lokasi Amazon baru dengan jalur pemasangan baru.
Kepemilikan file tidak dipertahankan dengan NFS transfer
Setelah transfer, Anda mungkin melihat bahwa file di lokasi DataSync tujuan Anda memiliki user IDs (UIDs) atau group IDs (GIDs) yang berbeda dari file yang sama di lokasi sumber Anda. Misalnya, file di tujuan Anda mungkin memiliki UID file65534
,99
, ataunobody
.
Ini dapat terjadi jika sistem file yang terlibat dalam transfer Anda menggunakan pemetaan ID NFS versi 4, fitur yang DataSync tidak mendukung.
Tindakan yang harus diambil
Anda memiliki beberapa opsi untuk mengatasi masalah ini:
-
Buat lokasi baru untuk sistem file yang menggunakan NFS versi 3, bukan versi 4.
-
Nonaktifkan pemetaan ID NFS versi 4 pada sistem file.
Coba lagi transfer. Salah satu opsi harus menyelesaikan masalah.
Tugas saya gagal dengan kesalahan Tidak dapat mengalokasikan memori
Ketika DataSync tugas Anda gagal dengan kesalahan Tidak dapat mengalokasikan memori
, itu bisa berarti beberapa hal yang berbeda.
Tindakan yang harus diambil
Coba yang berikut ini sampai Anda tidak lagi melihat masalahnya:
-
Jika transfer Anda melibatkan agen, pastikan agen tersebut memenuhi persyaratan mesin virtual (VM) atau EC2instans Amazon.
-
Pisahkan transfer Anda menjadi beberapa tugas dengan menggunakan filter. Mungkin saja Anda mencoba mentransfer lebih banyak file atau objek daripada yang dapat ditangani oleh satu DataSync tugas.
-
Jika Anda masih melihat masalahnya, hubungi AWS Support
.
Tugas saya gagal dengan kesalahan input/output
Anda bisa mendapatkan pesan kesalahan input/output jika sistem penyimpanan Anda gagal permintaan I/O dari agen. DataSync Alasan umum untuk ini termasuk kegagalan disk server, perubahan konfigurasi firewall Anda, atau kegagalan router jaringan.
Jika kesalahan melibatkan server NFS file atau cluster Hadoop Distributed File System (HDFS), gunakan langkah-langkah berikut untuk mengatasi kesalahan.
Tindakan untuk mengambil (NFS)
Pertama, periksa log dan metrik server NFS file Anda untuk menentukan apakah masalah dimulai di NFS server. Jika ya, selesaikan masalah itu.
Selanjutnya, periksa bahwa konfigurasi jaringan Anda tidak berubah. Untuk memeriksa apakah server NFS file dikonfigurasi dengan benar dan yang DataSync dapat mengaksesnya, lakukan hal berikut:
-
Siapkan NFS klien lain di subnet jaringan yang sama dengan agen.
-
Pasang berbagi Anda di klien tersebut.
-
Validasi bahwa klien dapat berhasil membaca dan menulis ke berbagi.
Tindakan untuk mengambil (HDFS)
Lakukan hal berikut sampai Anda menyelesaikan kesalahan:
Pastikan bahwa HDFS klaster Anda memungkinkan DataSync agen Anda untuk berkomunikasi dengan cluster NameNode dan DataNode port.
Di sebagian besar cluster, Anda dapat menemukan nomor port yang digunakan cluster dalam file konfigurasi berikut:
-
Untuk menemukan NameNode port, lihat
core-site.xml
file di bawahfs.default.name
propertifs.default
or (tergantung pada distribusi Hadoop). -
Untuk menemukan DataNode port, lihat
hdfs-site.xml
file di bawahdfs.datanode.address
properti.
-
-
Dalam
hdfs-site.xml
file Anda, verifikasi bahwadfs.data.transfer.protection
properti Anda hanya memiliki satu nilai. Sebagai contoh:<property> <name>dfs.data.transfer.protection</name> <value>privacy</value> </property>
Eksekusi tugas saya memiliki status peluncuran tetapi sepertinya tidak ada yang terjadi
DataSync Tugas Anda dapat macet dengan status Peluncuran biasanya karena agen dimatikan atau kehilangan konektivitas jaringan.
Tindakan yang harus diambil
Pastikan status agen Anda ONLINE. Jika agennya OFFLINE, pastikan itu dinyalakan.
Jika agen dinyalakan dan tugas masih Diluncurkan, maka kemungkinan ada masalah koneksi jaringan antara agen Anda dan AWS. Untuk informasi tentang cara menguji konektivitas jaringan, lihat Menguji koneksi agen Anda ke AWS.
Jika Anda masih mengalami masalah ini, lihatSaya tidak tahu apa yang terjadi dengan agen saya. Dapatkah seseorang membantu saya?.
Eksekusi tugas saya tampaknya macet dalam status persiapan
Waktu tugas DataSync transfer Anda memiliki status Mempersiapkan tergantung pada jumlah data di sumber dan tujuan transfer Anda dan kinerja sistem penyimpanan tersebut.
Saat tugas dimulai, DataSync lakukan daftar direktori rekursif untuk menemukan semua file, objek, direktori, dan metadata di sumber dan tujuan Anda. DataSyncmenggunakan daftar ini untuk mengidentifikasi perbedaan antara sistem penyimpanan dan menentukan apa yang harus disalin. Proses ini bisa memakan waktu beberapa menit atau bahkan beberapa jam.
Tindakan yang harus diambil
Anda tidak perlu melakukan apa pun. Terus tunggu status tugas berubah menjadi Transfer. Jika status masih tidak berubah, hubungi AWS Support Pusat
Berapa lama waktu yang dibutuhkan DataSync untuk memverifikasi tugas yang telah saya jalankan?
Secara default, DataSync memverifikasi integritas data di akhir transfer. Berapa lama verifikasi tergantung pada sejumlah faktor. Jumlah file atau objek, jumlah total data dalam sistem penyimpanan sumber dan tujuan, dan kinerja sistem ini mempengaruhi berapa lama verifikasi berlangsung. Verifikasi mencakup SHA256 checksum pada semua konten file dan perbandingan yang tepat dari semua metadata file.
Tindakan yang harus diambil
Anda tidak perlu melakukan apa pun. Jika status tugas masih tidak berubah menjadi Sukses atau Kesalahan, hubungi AWS Support Pusat
Tugas saya berhenti sebelum transfer selesai
Jika eksekusi DataSync tugas Anda berhenti lebih awal, konfigurasi tugas Anda mungkin menyertakan Wilayah AWS yang dinonaktifkan di Anda Akun AWS.
Tindakan yang harus dilakukan
Lakukan hal berikut untuk menjalankan tugas Anda lagi:
-
Periksa status keikutsertaan Wilayah tugas Anda dan pastikan mereka diaktifkan.
-
Mulai tugas lagi.
Tugas saya gagal saat mentransfer dari bucket Google Cloud Storage
Karena DataSync berkomunikasi dengan Google Cloud Storage menggunakan Amazon API S3, ada batasan yang dapat menyebabkan transfer DataSync Anda gagal jika Anda mencoba menyalin tag objek. Pesan berikut yang terkait dengan masalah ini muncul di CloudWatch log Anda:
[WARN] Gagal membaca metadata untuk file/
your-bucket
/your-object
: S3 Dapatkan Penandaan Objek Gagal: melanjutkan tanpa menandai
Untuk mencegah hal ini, batalkan pilihan opsi Salin tag objek saat mengonfigurasi pengaturan tugas transfer Anda.
Waktu mulai dan akhir tugas saya tidak cocok dengan apa yang ada di log
Waktu mulai dan akhir eksekusi tugas yang Anda lihat di DataSync konsol mungkin berbeda antara stempel waktu yang Anda lihat di tempat lain yang terkait dengan transfer Anda. Ini karena konsol tidak memperhitungkan waktu yang dihabiskan eksekusi tugas dalam status peluncuran atau antrian.
Misalnya, CloudWatch log Amazon Anda dapat menunjukkan bahwa eksekusi tugas Anda berakhir lebih lambat dari apa yang ditampilkan di DataSync konsol. Anda mungkin melihat perbedaan serupa di bidang-bidang berikut:
-
Log untuk sistem file atau sistem penyimpanan objek yang terlibat dalam transfer Anda
-
Tanggal modifikasi terakhir pada objek Amazon S3 yang DataSync menulis ke
-
Lalu lintas jaringan yang berasal dari DataSync agen
-
EventBridge Acara Amazon
Kesalahan: SyncTaskDeletedByUser
Anda mungkin melihat kesalahan ini secara tak terduga saat mengotomatiskan beberapa alur kerja. DataSync Misalnya, mungkin Anda memiliki skrip yang menghapus tugas Anda sebelum eksekusi tugas selesai atau dalam antrian.
Untuk memperbaiki masalah ini, konfigurasikan ulang otomatisasi Anda sehingga jenis tindakan ini tidak tumpang tindih.
Kesalahan: NoMem
Kumpulan data yang Anda coba transfer mungkin terlalu besar DataSync. Jika Anda melihat kesalahan ini, hubungi AWS Support Pusat
Kesalahan: FsS3UnableToConnectToEndpoint
DataSync tidak dapat terhubung ke lokasi Amazon S3 Anda. Ini bisa berarti bucket S3 lokasi tidak dapat dijangkau atau lokasi tidak dikonfigurasi dengan benar.
Lakukan hal berikut sampai Anda menyelesaikan masalah:
-
Periksa apakah DataSync dapat mengakses bucket S3 Anda.
-
Pastikan lokasi Anda dikonfigurasi dengan benar menggunakan DataSync konsol atau operasi DescribeLocationS3.
Kesalahan: FsS3HeadBucketFailed
DataSync tidak dapat mengakses bucket S3 yang Anda transfer ke atau dari. Periksa apakah DataSync memiliki izin untuk mengakses bucket dengan menggunakan operasi Amazon S3 HeadBucket. Jika Anda perlu menyesuaikan izin Anda, lihatMenyediakan DataSync akses ke bucket S3.
Tugas saya gagal dengan Unable to list Azure Blobs on the volume root
kesalahan
Jika tugas DataSync transfer Anda gagal karena Unable to list Azure Blobs on the
volume root
kesalahan, mungkin ada masalah dengan token tanda tangan akses bersama (SAS) atau jaringan akun Azure penyimpanan Anda.
Tindakan yang harus dilakukan
Coba yang berikut ini dan jalankan tugas Anda lagi sampai Anda memperbaiki masalah:
-
Pastikan SAStoken Anda memiliki izin yang tepat untuk mengakses AndaMicrosoft Azure Blob Storage.
-
Jika Anda menjalankan DataSync agen AndaAzure, konfigurasikan akun penyimpanan Anda untuk mengizinkan akses dari jaringan virtual tempat agen Anda berada.
-
Jika Anda menjalankan agen Anda di AmazonEC2, konfigurasikan firewall Azure penyimpanan Anda untuk mengizinkan akses dari alamat IP publik agen.
Untuk informasi tentang cara mengonfigurasi jaringan akun Azure penyimpanan Anda, lihat Azure Blob Storagedokumentasi
Objek gagal ditransfer Azure Blob Storage dengan user metadata key
kesalahan
Saat mentransfer dari bucket S3 keAzure Blob Storage, Anda mungkin melihat kesalahan berikut:
[ERROR] Failed to transfer file
/user-metadata/file1
: Azure Blob user metadata key must be a CSharp identifier
Ini berarti
mencakup metadata pengguna yang tidak menggunakan pengidentifikasi C# yang valid. Untuk informasi selengkapnya, lihat dokumentasi Microsoft/user-metadata/file1
Kesalahan: FsAzureBlobVolRootListBlobsFailed
Token tanda tangan akses bersama (SAS) yang DataSync digunakan untuk mengakses Anda Microsoft Azure Blob Storage tidak memiliki izin Daftar.
Untuk mengatasi masalah ini, perbarui lokasi Anda dengan token yang memiliki izin Daftar dan coba jalankan tugas Anda lagi.
Kesalahan: SrcLocHitAccess
DataSync tidak dapat mengakses lokasi sumber Anda. Periksa apakah DataSync memiliki izin untuk mengakses lokasi dan coba jalankan tugas Anda lagi.
Kesalahan: SyncTaskErrorLocationNotAdded
DataSync tidak dapat mengakses lokasi Anda. Periksa apakah DataSync memiliki izin untuk mengakses lokasi dan coba jalankan tugas Anda lagi.
Kesalahan laporan tugas
Anda mungkin mengalami salah satu kesalahan berikut saat mencoba memantau DataSync transfer Anda dengan laporan tugas.
Pesan kesalahan | Solusi |
---|---|
|
N/A (tidak DataSync dapat mentransfer file dengan jalur yang melebihi 4.096 byte) Untuk informasi selengkapnya, lihat Sistem penyimpanan, file, dan batas objek. |
|
Pastikan DataSync IAMperan tersebut memiliki izin yang tepat untuk mengunggah laporan tugas ke bucket S3 Anda. |
|
Periksa CloudWatch log Anda untuk mengidentifikasi mengapa eksekusi tugas Anda gagal. |
Tugas dengan Amazon S3 gagal dengan HeadObject
atau kesalahan GetObjectTagging
Jika Anda mentransfer objek dengan versi tertentu IDs dari bucket S3, Anda mungkin melihat kesalahan terkait HeadObject
dengan atau. GetObjectTagging
Misalnya, inilah kesalahan yang terkait denganGetObjectTagging
:
[WARN] Failed to read metadata for file
/picture1.png
(versionId:111111
): S3 Get Object Tagging Failed [ERROR] S3 Exception: op=GetObjectTaggingphotos/picture1.png
, code=403, type=15, exception=AccessDenied, msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml, date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked, x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723
Jika Anda melihat salah satu kesalahan ini, validasi bahwa IAM peran yang DataSync digunakan untuk mengakses lokasi sumber S3 Anda memiliki izin berikut:
-
s3:GetObjectVersion
-
s3:GetObjectVersionTagging
Jika Anda perlu memperbarui peran Anda dengan izin ini, lihatMembuat IAM peran DataSync untuk mengakses lokasi Amazon S3 Anda.
Mengapa ada /.aws-datasync
folder di lokasi tujuan saya?
DataSync membuat folder yang dipanggil /.aws-datasync
di lokasi tujuan Anda untuk membantu memfasilitasi transfer data Anda.
Meskipun DataSync biasanya menghapus folder ini setelah transfer Anda, mungkin ada situasi di mana ini tidak terjadi.
Tindakan yang harus diambil
Hapus folder ini kapan saja selama Anda tidak memiliki eksekusi tugas yang sedang berjalan menyalin ke lokasi itu.