Buat notebook Studio dengan Kinesis Data Streams

Buat Tabel

1. Masuk ke AWS Management Console dan buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

2. Jika Anda belum memiliki AWS Glue database, pilih Database dari bilah navigasi kiri. Pilih Add database (Tambahkan basis data). Di jendela Add database (Tambahkan basis data), masukkan default untuk Database name (Nama basis data). Pilih Create (Buat).

3. Di bilah navigasi sebelah kiri, pilih Tables (Tabel). Di halaman Tabel, pilih Add tables (Tambahkan tabel), Add table manually (Tambahkan tabel secara manual).

4. Di halaman Set up your table's properties (Siapkan properti tabel Anda), masukkan stock untuk Table name (Nama tabel). Pastikan Anda memilih basis data yang Anda buat sebelumnya. Pilih Berikutnya.

5. Di halaman Tambahkan penyimpanan data, pilih Kinesis. Untuk Stream name (Nama aliran), masukkan ExampleInputStream. Untuk sumber Kinesis URL, pilih enter. https://kinesis.us-east-1.amazonaws.com Jika Anda menyalin dan menempelkan sumber Kinesis URL, pastikan untuk menghapus spasi utama atau belakang. Pilih Berikutnya.

6. Di halaman Klasifikasi, pilih JSON. Pilih Berikutnya.

7. Di halaman Tentukan skema, pilih Add Column (Tambahkan kolom) untuk menambahkan kolom. Tambahkan kolom dengan properti berikut:

   Nama kolom	Tipe data
   ticker	string
   price	double

   Pilih Berikutnya.

8. Di halaman berikutnya, verifikasi pengaturan Anda, dan pilih Finish (Selesai).

9. Pilih tabel yang baru dibuat dari daftar tabel.

10. Pilih Edit table (Edit tabel) dan tambahkan properti dengan kunci managed-flink.proctime dan nilai proctime.

11. Pilih Apply (Terapkan).

1. Buka Layanan Terkelola untuk konsol Apache Flink di https://console.aws.amazon.com/managed-flink/ rumah? region=us-east-1#/aplikasi/dasbor.

2. Di halaman Managed Service for Apache Flink Apache Applications, pilih tab Studio. Pilih Create Studio notebook (Buat notebook Studio).

   catatan

   Anda juga dapat membuat notebook Studio dari konsol Amazon MSK atau Kinesis Data Streams dengan memilih cluster MSK Amazon input atau aliran data Kinesis, dan memilih Memproses data secara real time.

3. Di halaman Buat notebook Studio, berikan informasi berikut:

   • Masukkan MyNotebook untuk nama notebook.

   • Pilih default untuk Basis data AWS Glue.

   Pilih Create Studio notebook (Buat notebook Studio).

4. Di MyNotebookhalaman, pilih Jalankan. Tunggu Status hingga menampilkan Running (Berjalan). Biaya berlaku saat notebook berjalan.

1. Verifikasi ID akun Anda. Anda memerlukan nilai ini untuk membuat aplikasi Anda.

2. Buat peran arn:aws:iam::AccountID:role/ZeppelinRole dan tambahkan izin berikut ke peran yang dibuat secara otomatis oleh konsol.

   "kinesis:GetShardIterator",

   "kinesis:GetRecords",

   "kinesis:ListShards"

3. Buat file bernama create.json dengan konten berikut. Ganti nilai placeholder dengan informasi Anda.

   {
       "ApplicationName": "MyNotebook",
       "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
       "ApplicationMode": "INTERACTIVE",
       "ServiceExecutionRole": "arn:aws:iam::AccountID:role/ZeppelinRole",
       "ApplicationConfiguration": {
           "ApplicationSnapshotConfiguration": {
               "SnapshotsEnabled": false
           },
           "ZeppelinApplicationConfiguration": {
               "CatalogConfiguration": {
                   "GlueDataCatalogConfiguration": {
                       "DatabaseARN": "arn:aws:glue:us-east-1:AccountID:database/default"
                   }
               }
           }
       }
   }
   

4. Jalankan perintah berikut untuk membuat aplikasi Anda.

   aws kinesisanalyticsv2 create-application --cli-input-json file://create.json 
   

5. Setelah perintah selesai, Anda melihat output yang menampilkan detail untuk notebook Studio baru Anda. Berikut adalah contoh output.

   {
       "ApplicationDetail": {
           "ApplicationARN": "arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook",
           "ApplicationName": "MyNotebook",
           "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
           "ApplicationMode": "INTERACTIVE",
           "ServiceExecutionRole": "arn:aws:iam::012345678901:role/ZeppelinRole",
   ...
   

6. Jalankan perintah berikut untuk memulai aplikasi Anda. Ganti nilai sampel dengan ID akun Anda.

   aws kinesisanalyticsv2 start-application --application-arn arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook\
   

1. Buka Kinesis Data Generator.

2. Pilih Buat Pengguna Cognito dengan. CloudFormation

3. AWS CloudFormation Konsol terbuka dengan template Kinesis Data Generator. Pilih Berikutnya.

4. Di halaman Tentukan detail tumpukan, masukkan nama pengguna dan kata sandi pengguna Cognito Anda. Pilih Berikutnya.

5. Di halaman Konfigurasikan opsi tumpukan, pilih Next (Berikutnya).

6. Di halaman Review Kinesis-Data-Generator-Cognito-User, pilih yang saya akui yang mungkin membuat sumber daya. AWS CloudFormation IAM kotak centang. Pilih Buat tumpukan.

7. Tunggu AWS CloudFormation tumpukan selesai dibuat. Setelah tumpukan selesai, buka tumpukan Kinesis-Data-Generator-Cognito-User di konsol, dan pilih tab Output. AWS CloudFormation Buka yang URL terdaftar untuk nilai KinesisDataGeneratorUrloutput.

8. Di halaman Amazon Kinesis Data Generator, masuk dengan kredensial yang Anda buat di langkah 4.

9. Di halaman berikutnya, berikan nilai berikut:

   Wilayah	us-east-1
   Aliran/Aliran Firehose	ExampleInputStream
   Rekaman per detik	1

   Untuk Record Template (Templat Catatan), tempel kode berikut:

   {
       "ticker": "{{random.arrayElement(
           ["AMZN","MSFT","GOOG"]
       )}}",
       "price": {{random.number(
           {
               "min":10,
               "max":150
           }
       )}}
   }
   

10. Pilih Send data (Kirim data).

11. Generator akan mengirimkan data ke Kinesis data stream Anda.

    Biarkan generator berjalan sewaktu Anda menyelesaikan bagian berikutnya.

1. Buka Layanan Terkelola untuk konsol Apache Flink di https://console.aws.amazon.com/managed-flink/ rumah? region=us-east-1#/aplikasi/dasbor.

2. Pada halaman Managed Service for Apache Flink Apache Applications, pilih tab notebook Studio. Pilih MyNotebook.

3. Di MyNotebookhalaman, pilih Buka di Apache Zeppelin.

   Antarmuka Apache Zeppelin terbuka di tab baru.

4. Di halaman Selamat Datang di Zeppelin!, pilih Zeppelin Note (Catatan Zeppelin).

5. Di halaman Zeppelin Note (Catatan Zeppelin), masukkan kueri berikut ke dalam catatan baru:

   %flink.ssql(type=update)
   select * from stock

   Pilih ikon jalankan.

   Setelah beberapa saat, catatan menampilkan data dari Kinesis data stream.