Menggunakan Oozie dengan database remote di Amazon RDS

Mode fokus

Menggunakan Oozie dengan database remote di Amazon RDS - Amazon EMR

Secara default, informasi pengguna Oozie dan sejarah query disimpan dalam database MySQL lokal pada node master. Atau, Anda dapat membuat satu atau lebih cluster OZie-enabled menggunakan konfigurasi yang disimpan di Amazon S3 dan database MySQL di Amazon Relational Database Service (Amazon RDS). Hal ini memungkinkan Anda untuk mempertahankan informasi pengguna dan riwayat permintaan yang dibuat oleh Oozie tanpa menjaga cluster Amazon EMR Anda berjalan. Kami merekomendasikan menggunakan enkripsi sisi server Amazon S3 untuk menyimpan file konfigurasi.

First, membuat database remote untuk Oozie.

Untuk membuat basis data MySQL eksternal

Buka konsol Amazon RDS di https://console.aws.amazon.com/rds/.
Pilih Luncurkan Instans DB.
Pilih MySQL dan kemudian pilih Select.
Tinggalkan pilihan default Multi-AZ Deployment dan Provisioned IOPS Storage dan pilih Next.
Biarkan Spesifikasi Instance pada defaultnya, tentukan Pengaturan, dan pilih Berikutnya.
Pada halaman Konfigurasi Pengaturan Lanjutan, pilih grup keamanan yang tepat dan nama databases. Grup keamanan yang Anda gunakan setidaknya harus mengizinkan Inbound Akses TCP untuk port 3306 dari node master cluster Anda. Jika Anda belum membuat cluster Anda pada saat ini, Anda dapat mengizinkan semua host untuk menyambung ke port 3306 dan menyesuaikan grup keamanan setelah Anda telah meluncurkan cluster. Pilih Luncurkan Instans DB.
Dari Dasbor RDS, pilih Instans dan pilih instans yang baru saja Anda buat. Ketika basis data Anda tersedia, buat catatan dari dbname, nama pengguna, kata sandi, dan hostname instans RDS. Anda menggunakan informasi ini ketika membuat dan mengonfigurasi klaster Anda.

Untuk menentukan database MySQL eksternal untuk Oozie saat meluncurkan cluster menggunakan AWS CLI

Untuk menentukan database MySQL eksternal untuk Oozie saat meluncurkan cluster menggunakan AWS CLI, gunakan informasi yang Anda catat saat membuat instance RDS Anda untuk mengkonfigurasi dengan objek konfigurasi. oozie-site

catatan

Anda dapat membuat beberapa cluster yang menggunakan database eksternal yang sama, tetapi setiap cluster akan berbagi riwayat permintaan dan informasi pengguna.

Menggunakan AWS CLI, buat cluster dengan Oozie diinstal, menggunakan database eksternal yang Anda buat, dan referensi file konfigurasi dengan klasifikasi konfigurasi untuk Oozie yang menentukan properti database. Contoh berikut membuat cluster dengan Oozie diinstal, referensi file konfigurasi di Amazon S3, myConfig.json, yang menentukan konfigurasi database.

catatan
Karakter kelanjutan baris Linux (\) disertakan untuk memudahkan pembacaan. Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).
```
aws emr create-cluster --release-label emr-7.8.0 --applications Name=Oozie Name=Spark Name=Hive \
--instance-type m5.xlarge --instance-count 3 \
--configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json --use-default-roles
```
Contoh isi myConfig.json file ditampilkan di bawah ini. GantiJDBC URL,username, dan password dengan URL JDBC, nama pengguna, dan kata sandi instans RDS Anda.

penting
JDBC URL harus menyertakan nama database sebagai akhiran. Misalnya, jdbc:mysql://.xxxxxxxxxx.us-east-1.rds.amazonaws.com:3306/ dbname. oozie-external-db
```
[{
  "Classification": "oozie-site",
    "Properties": {
        "oozie.service.JPAService.jdbc.driver": "org.mariadb.jdbc.Driver",
        "oozie.service.JPAService.jdbc.url": "JDBC URL",                               
        "oozie.service.JPAService.jdbc.username": "username",
        "oozie.service.JPAService.jdbc.password": "password"
    },
    "Configurations": []
}]
```