Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data dari host jarak jauh

Anda dapat menggunakan COPY perintah untuk memuat data secara paralel dari satu atau lebih host jarak jauh, seperti EC2 instans Amazon atau komputer lain. COPYterhubung ke host jarak jauh menggunakan SSH dan menjalankan perintah pada host jarak jauh untuk menghasilkan output teks.

Host jarak jauh dapat berupa instance Amazon EC2 Linux atau komputer Unix atau Linux lain yang dikonfigurasi untuk menerima SSH koneksi. Panduan ini mengasumsikan host jarak jauh Anda adalah EC2 instance Amazon. Di mana prosedurnya berbeda untuk komputer lain, panduan akan menunjukkan perbedaannya.

Amazon Redshift dapat terhubung ke beberapa host, dan dapat membuka beberapa SSH koneksi ke setiap host. Amazon Redshifts mengirimkan perintah unik melalui setiap koneksi untuk menghasilkan output teks ke output standar host, yang kemudian dibaca Amazon Redshift seperti halnya file teks.

Sebelum Anda mulai

Sebelum Anda mulai, Anda harus memiliki yang berikut:

Memuat proses data

Bagian ini memandu Anda melalui proses memuat data dari host jarak jauh. Bagian berikut memberikan rincian yang harus Anda capai di setiap langkah.

Langkah 1: Ambil kunci publik cluster dan alamat IP node cluster

Anda akan menggunakan alamat IP untuk setiap node cluster untuk mengonfigurasi grup keamanan host untuk mengizinkan akses dari cluster Amazon Redshift Anda menggunakan alamat IP ini.

Untuk mengambil kunci publik klaster dan alamat IP node cluster untuk klaster Anda menggunakan Amazon CLI Redshift, jalankan perintah deskripsikan klaster.

Sebagai contoh:

aws redshift describe-clusters --cluster-identifier <cluster-identifier> 

Respons akan mencakup ClusterPublicKey dan daftar alamat IP pribadi dan publik, mirip dengan yang berikut ini:

{
    "Clusters": [
        {
            "VpcSecurityGroups": [], 
            "ClusterStatus": "available", 
            "ClusterNodes": [
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "LEADER", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-0", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-1", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }
            ], 
            "AutomatedSnapshotRetentionPeriod": 1, 
            "PreferredMaintenanceWindow": "wed:05:30-wed:06:00", 
            "AvailabilityZone": "us-east-1a", 
            "NodeType": "dc2.large", 
            "ClusterPublicKey": "ssh-rsa AAAABexamplepublickey...Y3TAl Amazon-Redshift", 
             ...
             ...
}

Untuk mengambil kunci publik klaster dan alamat IP node cluster untuk klaster Anda menggunakan Amazon API Redshift, gunakan DescribeClusters tindakan. Untuk informasi selengkapnya, lihat deskripsikan klaster di Panduan Amazon Redshift atau CLIdi Panduan Amazon Redshift. DescribeClustersAPI

Langkah 2: Tambahkan kunci publik klaster Amazon Redshift ke file kunci resmi host

Anda menambahkan kunci publik klaster ke file kunci resmi masing-masing host sehingga host akan mengenali Amazon Redshift dan menerima koneksi. SSH

Langkah 3: Konfigurasikan host untuk menerima semua alamat IP cluster Amazon Redshift

Jika Anda bekerja dengan EC2 instans Amazon atau EMR kluster Amazon, tambahkan aturan Inbound ke grup keamanan host untuk mengizinkan lalu lintas dari setiap node cluster Amazon Redshift. Untuk Type, pilih SSH dengan TCP protokol pada Port 22. Untuk Sumber, masukkan alamat IP node cluster Amazon Redshift yang Anda ambil. Langkah 1: Ambil kunci publik cluster dan alamat IP node cluster Untuk informasi tentang menambahkan aturan ke grup EC2 keamanan Amazon, lihat Mengotorisasi Lalu Lintas Masuk untuk Instans Anda di Panduan Pengguna Amazon EC2.

Gunakan alamat IP pribadi saat:

Jika tidak, gunakan alamat IP publik.

Untuk informasi selengkapnya tentang menggunakan Amazon Redshift di aVPC, lihat Mengelola Cluster di Virtual Private Cloud (VPC) di Panduan Manajemen Amazon Redshift.

Langkah 4: Dapatkan kunci publik untuk tuan rumah

Anda dapat memberikan kunci publik host secara opsional dalam file manifes sehingga Amazon Redshift dapat mengidentifikasi host. COPYPerintah tidak memerlukan kunci publik host tetapi, untuk alasan keamanan, kami sangat menyarankan menggunakan kunci publik untuk membantu mencegah serangan man-in-the-middle ''.

Anda dapat menemukan kunci publik tuan rumah di lokasi berikut, di <ssh_host_rsa_key_name> mana nama unik untuk kunci publik tuan rumah:

:  /etc/ssh/<ssh_host_rsa_key_name>.pub

Saat Anda membuat file manifes di Langkah 5, Anda akan menempelkan teks kunci publik ke bidang “Kunci Publik” di entri file manifes.

Langkah 5: Buat file manifes

COPYPerintah dapat terhubung ke beberapa host menggunakanSSH, dan dapat membuat beberapa SSH koneksi ke setiap host. COPYmenjalankan perintah melalui setiap koneksi host, dan kemudian memuat output dari perintah secara paralel ke dalam tabel. File manifes adalah file teks dalam JSON format yang digunakan Amazon Redshift untuk terhubung ke host. File manifes menentukan titik akhir SSH host dan perintah yang dijalankan pada host untuk mengembalikan data ke Amazon Redshift. Secara opsional, Anda dapat menyertakan kunci publik host, nama pengguna login, dan bendera wajib untuk setiap entri.

Buat file manifes di komputer lokal Anda. Pada langkah selanjutnya, Anda mengunggah file ke Amazon S3.

File manifes dalam format berikut:

{ 
   "entries": [ 
     {"endpoint":"<ssh_endpoint_or_IP>", 
       "command": "<remote_command>",
       "mandatory":true, 
       "publickey": "<public_key>", 
       "username": "<host_user_name>"}, 
     {"endpoint":"<ssh_endpoint_or_IP>", 
       "command": "<remote_command>",
       "mandatory":true, 
       "publickey": "<public_key>", 
       "username": "host_user_name"} 
    ] 
}

File manifes berisi satu konstruksi “entri” untuk setiap SSH koneksi. Setiap entri mewakili satu SSH koneksi. Anda dapat memiliki beberapa koneksi ke satu host atau beberapa koneksi ke beberapa host. Tanda kutip ganda diperlukan seperti yang ditunjukkan, baik untuk nama bidang maupun nilainya. Satu-satunya nilai yang tidak memerlukan tanda kutip ganda adalah nilai Boolean true atau false untuk bidang wajib.

Berikut ini menjelaskan bidang dalam file manifes.

Contoh berikut menunjukkan manifes lengkap untuk membuka empat koneksi ke host yang sama dan menjalankan perintah yang berbeda melalui setiap koneksi:

{ 
  "entries": [ 
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata1.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"}, 
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata2.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"},
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata3.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"},
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata4.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"}
     ] 
}

Langkah 6: Unggah file manifes ke bucket Amazon S3

Unggah file manifes ke bucket Amazon S3. Jika bucket Amazon S3 tidak berada di AWS Wilayah yang sama dengan cluster Amazon Redshift, Anda harus menggunakan REGION opsi untuk menentukan AWS Wilayah tempat manifes berada. Untuk informasi tentang membuat bucket Amazon S3 dan mengunggah file, lihat Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Langkah 7: Jalankan COPY perintah untuk memuat data

Jalankan COPY perintah untuk menyambung ke host dan memuat data ke dalam tabel Amazon Redshift. Dalam COPY perintah, tentukan jalur objek Amazon S3 eksplisit untuk file manifes dan sertakan SSH opsi. Misalnya,

COPY sales
FROM 's3://amzn-s3-demo-bucket/ssh_manifest'  
IAM_ROLE 'arn:aws:iam::0123456789012:role/MyRedshiftRole'
DELIMITER '|'
SSH;