Untuk proyek baru, kami menyarankan Anda menggunakan Managed Service baru untuk Apache Flink Studio melalui Kinesis Data Analytics for Applications. SQL Layanan Terkelola untuk Apache Flink Studio menggabungkan kemudahan penggunaan dengan kemampuan analitis tingkat lanjut, memungkinkan Anda membangun aplikasi pemrosesan aliran yang canggih dalam hitungan menit.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengonfigurasi Input Aplikasi

Aplikasi Amazon Kinesis Data Analytics Anda dapat menerima input dari satu sumber streaming dan, secara opsional, menggunakan satu sumber data referensi. Untuk informasi selengkapnya, lihat Amazon Kinesis Data Analytics untuk Aplikasi SQL: Cara Kerjanya. Bagian dalam topik ini menjelaskan sumber input aplikasi.

Mengonfigurasi Sumber Streaming

Ketika Anda membuat aplikasi, Anda menentukan sumber streaming. Anda juga dapat memodifikasi input setelah Anda membuat aplikasi. Amazon Kinesis Data Analytics mendukung sumber streaming berikut untuk aplikasi Anda:

Kinesis Data Analytics terus melakukan polling terhadap sumber streaming untuk data baru dan menyerapnya di aliran dalam aplikasi sesuai dengan konfigurasi input.

Kode aplikasi Anda dapat mengkueri aliran dalam aplikasi. Sebagai bagian dari konfigurasi input, Anda memberikan yang berikut ini:

Anda dapat membuat aplikasi dan mengonfigurasi input di konsol Amazon Kinesis Data Analytics. Konsol kemudian membuat panggilan API yang diperlukan. Anda dapat mengonfigurasi input aplikasi ketika Anda membuat API aplikasi baru atau menambahkan konfigurasi input ke aplikasi yang ada. Lihat informasi yang lebih lengkap di CreateApplication dan AddApplicationInput. Berikut adalah bagian konfigurasi input dari isi permintaan API Createapplication:

 "Inputs": [
        {
            "InputSchema": {
                "RecordColumns": [
                    {
                        "Mapping": "string",
                        "Name": "string",
                        "SqlType": "string"
                    }
                ],
                "RecordEncoding": "string",
                "RecordFormat": {
                    "MappingParameters": {
                        "CSVMappingParameters": {
                            "RecordColumnDelimiter": "string",
                            "RecordRowDelimiter": "string"
                        },
                        "JSONMappingParameters": {
                            "RecordRowPath": "string"
                        }
                    },
                    "RecordFormatType": "string"
                }
            },
            "KinesisFirehoseInput": {
                "ResourceARN": "string",
                "RoleARN": "string"
            },
            "KinesisStreamsInput": {
                "ResourceARN": "string",
                "RoleARN": "string"
            },
            "Name": "string"
        }
    ]

Mengonfigurasi Sumber Referensi

Anda juga dapat menambahkan sumber data referensi ke aplikasi yang ada untuk memperkaya data yang masuk dari sumber streaming. Anda harus menyimpan data referensi sebagai objek di bucket Amazon S3. Ketika aplikasi dimulai, Amazon Kinesis Data Analytics membaca objek Amazon S3 dan membuat tabel referensi dalam aplikasi. Kode aplikasi Anda selanjutnya dapat menggabungkannya dengan aliran dalam aplikasi.

Anda menyimpan data referensi di objek Amazon S3 menggunakan format yang didukung (CSV, JSON). Misalnya, aplikasi Anda melakukan analitik pada pesanan stok. Asumsikan format catatan berikut pada sumber streaming:

Ticker, SalePrice, OrderId

AMZN     $700        1003
XYZ      $250        1004
...

Dalam hal ini, Anda selanjutnya dapat mempertimbangkan untuk mempertahankan sumber data referensi untuk memberikan detail pada setiap ticker saham, seperti nama perusahaan.

Ticker, Company
AMZN, Amazon
XYZ, SomeCompany
...

Anda dapat menambahkan sumber data referensi aplikasi baik dengan API maupun dengan konsol. Amazon Kinesis Data Analytics menyediakan tindakan API berikut untuk mengelola sumber data referensi:

Untuk informasi selengkapnya tentang menambahkan data referensi menggunakan konsol, lihat Contoh: Menambahkan Data Referensi ke Aplikasi Kinesis Data Analytics.

Perhatikan hal berikut:

Misalkan Anda ingin me-refresh data setelah Kinesis Data Analytics membuat tabel referensi dalam aplikasi. Mungkin Anda memperbarui objek Amazon S3, atau Anda ingin menggunakan objek Amazon S3 yang berbeda. Dalam hal ini, Anda dapat secara eksplisit memanggil UpdateApplication, atau pilih Action (Tindakan), Synchronize reference data table (Sinkronkan tabel data referensi) di konsol. Kinesis Data Analytics tidak me-refresh tabel referensi dalam aplikasi secara otomatis.

Ada batas pada ukuran objek Amazon S3 yang dapat Anda buat sebagai sumber data referensi. Untuk informasi selengkapnya, lihat Batas. Jika ukuran objek melebihi batas, Kinesis Data Analytics tidak dapat memuat data. Status aplikasi muncul sebagai berjalan, tetapi data tidak sedang dibaca.

Ketika Anda menambahkan sumber data referensi, Anda memberikan informasi berikut:

Berikut ini menunjukkan isi permintaan dalam permintaan API AddApplicationReferenceDataSource.

{
    "applicationName": "string",
    "CurrentapplicationVersionId": number,
    "ReferenceDataSource": {
        "ReferenceSchema": {
            "RecordColumns": [
                {
                    "IsDropped": boolean,
                    "Mapping": "string",
                    "Name": "string",
                    "SqlType": "string"
                }
            ],
            "RecordEncoding": "string",
            "RecordFormat": {
                "MappingParameters": {
                    "CSVMappingParameters": {
                        "RecordColumnDelimiter": "string",
                        "RecordRowDelimiter": "string"
                    },
                    "JSONMappingParameters": {
                        "RecordRowPath": "string"
                    }
                },
                "RecordFormatType": "string"
            }
        },
        "S3ReferenceDataSource": {
            "BucketARN": "string",
            "FileKey": "string",
            "ReferenceRoleARN": "string"
        },
        "TableName": "string"
    }
}