Amazon Redshift tidak akan lagi mendukung penggunaan Python UDF setelah 30 Juni 2026. Kami akan mulai menegakkannya secara bertahap. Untuk informasi lebih lanjut tentang detail opsi akhir masa pakai dan migrasi Python, lihat posting blog yang diterbitkan pada 30 Juni 2025.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data dari host jarak jauh

Anda dapat menggunakan perintah COPY untuk memuat data secara paralel dari satu atau beberapa host jarak jauh, seperti instans Amazon EC2 atau komputer lain. COPY terhubung ke host jarak jauh menggunakan SSH dan menjalankan perintah pada host jarak jauh untuk menghasilkan output teks.

Host jarak jauh dapat berupa instance Amazon EC2 Linux atau komputer Unix atau Linux lain yang dikonfigurasi untuk menerima koneksi SSH. Panduan ini mengasumsikan host jarak jauh Anda adalah instans Amazon EC2. Jika prosedurnya berbeda untuk komputer lain, panduan akan menunjukkan perbedaannya.

Amazon Redshift dapat terhubung ke beberapa host, dan dapat membuka beberapa koneksi SSH ke setiap host. Amazon Redshift mengirimkan perintah unik melalui setiap koneksi untuk menghasilkan output teks ke output standar host, yang kemudian dibaca oleh Amazon Redshift seperti file teks.

Sebelum Anda mulai

Sebelum Anda mulai, Anda harus memiliki yang berikut:

Proses pemuatan data

Bagian ini memandu Anda melalui proses memuat data dari host jarak jauh. Bagian berikut memberikan rincian yang harus Anda capai di setiap langkah.

Langkah 1: Ambil kunci publik cluster dan alamat IP node cluster

Anda akan menggunakan alamat IP untuk setiap node cluster untuk mengonfigurasi grup keamanan host untuk mengizinkan akses dari cluster Amazon Redshift Anda menggunakan alamat IP ini.

Untuk mengambil kunci publik cluster dan alamat IP node cluster untuk cluster Anda menggunakan Amazon Redshift CLI, jalankan perintah describe-cluster.

Contoh:

aws redshift describe-clusters --cluster-identifier <cluster-identifier> 

Tanggapan akan mencakup ClusterPublicKey dan daftar alamat IP pribadi dan publik, mirip dengan berikut ini:

{
    "Clusters": [
        {
            "VpcSecurityGroups": [], 
            "ClusterStatus": "available", 
            "ClusterNodes": [
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "LEADER", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-0", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-1", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }
            ], 
            "AutomatedSnapshotRetentionPeriod": 1, 
            "PreferredMaintenanceWindow": "wed:05:30-wed:06:00", 
            "AvailabilityZone": "us-east-1a", 
            "NodeType": "dc2.large", 
            "ClusterPublicKey": "ssh-rsa AAAABexamplepublickey...Y3TAl Amazon-Redshift", 
             ...
             ...
}

Untuk mengambil kunci publik cluster dan alamat IP node cluster untuk cluster Anda menggunakan Amazon Redshift API, gunakan DescribeClusters tindakan tersebut. Untuk informasi selengkapnya, lihat deskripsi-cluster di Panduan Amazon Redshift CLI atau DescribeClusters di Panduan API Amazon Redshift.

Langkah 2: Tambahkan kunci publik cluster Amazon Redshift ke file kunci resmi host

Anda menambahkan kunci publik cluster ke file kunci resmi masing-masing host sehingga host akan mengenali Amazon Redshift dan menerima koneksi SSH.

Langkah 3: Konfigurasikan host untuk menerima semua alamat IP cluster Amazon Redshift

Jika Anda bekerja dengan instans Amazon EC2 atau cluster Amazon EMR, tambahkan aturan masuk ke grup keamanan host untuk mengizinkan lalu lintas dari setiap node cluster Amazon Redshift. Untuk Jenis, pilih SSH dengan protokol TCP pada Port 22. Untuk Sumber, masukkan alamat IP node cluster Amazon Redshift yang Anda ambil. Langkah 1: Ambil kunci publik cluster dan alamat IP node cluster Untuk informasi tentang menambahkan aturan ke grup keamanan Amazon EC2, lihat Mengotor isasi Lalu Lintas Masuk untuk Instans Anda di Panduan Pengguna Amazon EC2.

Gunakan alamat IP pribadi saat:

Jika tidak, gunakan alamat IP publik.

Untuk informasi selengkapnya tentang menggunakan Amazon Redshift di VPC, lihat M engelola Cluster di Virtual Private Cloud (VPC) di Panduan Manajemen Amazon Redshift.

Langkah 4: Dapatkan kunci publik untuk tuan rumah

Secara opsional, Anda dapat memberikan kunci publik host dalam file manifes sehingga Amazon Redshift dapat mengidentifikasi host. Perintah COPY tidak memerlukan kunci publik host tetapi, untuk alasan keamanan, kami sangat menyarankan menggunakan kunci publik untuk membantu mencegah serangan “man-in-the-middle”.

Anda dapat menemukan kunci publik host di lokasi berikut, di <ssh_host_rsa_key_name> mana nama unik untuk kunci publik host:

:  /etc/ssh/<ssh_host_rsa_key_name>.pub

Saat Anda membuat file manifes Anda di Langkah 5, Anda akan menempelkan teks kunci publik ke bidang “Kunci Publik” di entri file manifes.

Langkah 5: Buat file manifes

Perintah COPY dapat terhubung ke beberapa host menggunakan SSH, dan dapat membuat beberapa koneksi SSH ke setiap host. COPY menjalankan perintah melalui setiap koneksi host, dan kemudian memuat output dari perintah secara paralel ke dalam tabel. File manifes adalah file teks dalam format JSON yang digunakan Amazon Redshift untuk terhubung ke host. File manifes menentukan titik akhir host SSH dan perintah yang dijalankan pada host untuk mengembalikan data ke Amazon Redshift. Secara opsional, Anda dapat menyertakan kunci publik host, nama pengguna login, dan tanda wajib untuk setiap entri.

Buat file manifes di komputer lokal Anda. Pada langkah selanjutnya, Anda mengunggah file ke Amazon S3.

File manifes dalam format berikut:

{ 
   "entries": [ 
     {"endpoint":"<ssh_endpoint_or_IP>", 
       "command": "<remote_command>",
       "mandatory":true, 
       "publickey": "<public_key>", 
       "username": "<host_user_name>"}, 
     {"endpoint":"<ssh_endpoint_or_IP>", 
       "command": "<remote_command>",
       "mandatory":true, 
       "publickey": "<public_key>", 
       "username": "host_user_name"} 
    ] 
}

File manifes berisi satu konstruksi “entri” untuk setiap koneksi SSH. Setiap entri mewakili koneksi SSH tunggal. Anda dapat memiliki beberapa koneksi ke satu host atau beberapa koneksi ke beberapa host. Tanda kutip ganda diperlukan seperti yang ditunjukkan, baik untuk nama bidang maupun nilainya. Satu-satunya nilai yang tidak memerlukan tanda kutip ganda adalah nilai Boolean true atau false untuk bidang wajib.

Berikut ini menjelaskan bidang dalam file manifes.

Contoh berikut menunjukkan manifes lengkap untuk membuka empat koneksi ke host yang sama dan menjalankan perintah yang berbeda melalui setiap koneksi:

{ 
  "entries": [ 
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata1.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"}, 
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata2.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"},
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata3.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"},
       {"endpoint":"ec2-184-72-204-112.compute-1.amazonaws.com", 
          "command": "cat loaddata4.txt", 
          "mandatory":true, 
          "publickey": "ec2publickeyportionoftheec2keypair", 
          "username": "ec2-user"}
     ] 
}

Langkah 6: Unggah file manifes ke bucket Amazon S3

Unggah file manifes ke bucket Amazon S3. Jika bucket Amazon S3 tidak berada di Wilayah yang sama AWS dengan cluster Amazon Redshift Anda, Anda harus menggunakan REGION opsi untuk menentukan Wil AWS ayah tempat manifes berada. Untuk informasi tentang membuat bucket Amazon S3 dan mengunggah file, lihat Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Langkah 7: Jalankan perintah COPY untuk memuat data

Jalan MENYONTEK kan perintah untuk terhubung ke host dan memuat data ke tabel Amazon Redshift. Dalam perintah COPY, tentukan jalur objek Amazon S3 eksplisit untuk file manifes dan sertakan opsi SSH. Misalnya,

COPY sales
FROM 's3://amzn-s3-demo-bucket/ssh_manifest'  
IAM_ROLE 'arn:aws:iam::0123456789012:role/MyRedshiftRole'
DELIMITER '|'
SSH;