View a markdown version of this page

API pengklasifikasi - AWS Lem

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

API pengklasifikasi

Classifier API menjelaskan tipe data AWS Glue pengklasifikasi, dan menyertakan API untuk membuat, menghapus, memperbarui, dan mencantumkan pengklasifikasi.

Jenis Data

Struktur pengklasifikasi

Pengklasifikasi dipicu selama tugas melakukan perayapan. Sebuah pengklasifikasi memeriksa apakah file yang diberikan dalam format yang dapat ditanganinya. Jika ya, maka pengklasifikasi menciptakan sebuah skema dalam bentuk objek StructType yang cocok dengan format data tersebut.

Anda dapat menggunakan pengklasifikasi standar yang AWS Glue disediakan, atau Anda dapat menulis pengklasifikasi Anda sendiri untuk mengkategorikan sumber data Anda dengan sebaik-baiknya dan menentukan skema yang sesuai untuk digunakan untuk mereka. Sebuah pengklasifikasi dapat berupa pengklasifikasi grok, pengklasifikasi XML, pengklasifikasi JSON, atau pengklasifikasi CSV kustom, sebagaimana ditentukan dalam salah satu bidang di objek Classifier.

Bidang
  • GrokClassifier — Sebuah objek GrokClassifier.

    Sebuah pengklasifikasi yang menggunakan grok.

  • XMLClassifier — Sebuah objek XMLClassifier.

    Sebuah pengklasifikasi untuk konten XML.

  • JsonClassifier — Sebuah objek JsonClassifier.

    Sebuah pengklasifikasi untuk konten JSON.

  • CsvClassifier — Sebuah objek CsvClassifier.

    Pengklasifikasi untuk nilai yang dipisahkan koma (CSV).

GrokClassifier struktur

Pengklasifikasi yang menggunakan pola grok.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • Classification- Diperlukan: UTF-8 string.

    Pengenal format data yang cocok dengan pengklasifikasi, seperti Twitter, JSON, log Omniture, dan sebagainya.

  • CreationTime — Stempel waktu.

    Waktu pada daat pengklasifikasi ini didaftarkan.

  • LastUpdated — Stempel waktu.

    Waktu pada saat pengklasifikasi ini terakhir diperbarui.

  • Version — Nomor (panjang).

    Versi dari pengklasifikasi ini.

  • GrokPattern- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 2048 byte, cocok denganA Logstash Grok string pattern.

    Pola grok diterapkan ke penyimpanan data oleh pengklasifikasi ini. Untuk informasi selengkapnya, lihat pola bawaan dalam Menulis Pengklasifikasi Kustom.

  • CustomPatterns— UTF-8 string, panjangnya tidak lebih dari 16000 byte, cocok dengan. URI address multi-line string pattern

    Pola grok kustom opsional ditentukan oleh pengklasifikasi ini. Untuk informasi selengkapnya, lihat pola kustom dalam Menulis Pengklasifikasi Kustom.

Struktur XMLClassifier

Sebuah pengklasifikasi untuk konten XML.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • Classification- Diperlukan: UTF-8 string.

    Sebuah pengenal format data yang cocok dengan pengklasifikasi.

  • CreationTime — Stempel waktu.

    Waktu pada daat pengklasifikasi ini didaftarkan.

  • LastUpdated — Stempel waktu.

    Waktu pada saat pengklasifikasi ini terakhir diperbarui.

  • Version — Nomor (panjang).

    Versi dari pengklasifikasi ini.

  • RowTag— UTF-8 tali.

    Tag XML menunjuk elemen yang berisi setiap catatan dalam dokumen XML yang diurai. Ini tidak dapat mengidentifikasi elemen penutup diri (ditutup oleh />). Elemen baris kosong yang hanya berisi atribut dapat diurai selama itu berakhir dengan tag penutup (misalnya, <row item_a="A" item_b="B"></row> baik-baik saja, tapi <row item_a="A" item_b="B" /> tidak).

JsonClassifier struktur

Sebuah pengklasifikasi untuk konten JSON.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • CreationTime — Stempel waktu.

    Waktu pada daat pengklasifikasi ini didaftarkan.

  • LastUpdated — Stempel waktu.

    Waktu pada saat pengklasifikasi ini terakhir diperbarui.

  • Version — Nomor (panjang).

    Versi dari pengklasifikasi ini.

  • JsonPath- Diperlukan: UTF-8 string.

    Sebuah JsonPath string yang mendefinisikan data JSON untuk pengklasifikasi untuk diklasifikasikan. AWS Glue mendukung subset JsonPath, seperti yang dijelaskan dalam Menulis Pengklasifikasi https://docs.aws.amazon.com/glue/latest/dg/custom-classifier.html#custom-classifier-json K JsonPath ustom.

CsvClassifier struktur

Pengklasifikasi untuk konten CSV kustom.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • CreationTime — Stempel waktu.

    Waktu pada daat pengklasifikasi ini didaftarkan.

  • LastUpdated — Stempel waktu.

    Waktu pada saat pengklasifikasi ini terakhir diperbarui.

  • Version — Nomor (panjang).

    Versi dari pengklasifikasi ini.

  • Delimiter— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 1 byte, cocok denganCustom string pattern #31.

    Sebuah simbol kustom untuk menunjukkan apa yang memisahkan setiap entri kolom di baris.

  • QuoteSymbol— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 1 byte, cocok denganCustom string pattern #31.

    Sebuah simbol kustom untuk menunjukkan apa yang menggabungkan konten ke dalam nilai kolom tunggal. Ini harus berbeda dari pembatas kolom.

  • ContainsHeader— UTF-8 string (nilai valid: UNKNOWN | PRESENT |ABSENT).

    Menunjukkan apakah file CSV berisi header.

  • Header— Sebuah array UTF-8 string.

    Sebuah daftar string yang mewakili nama kolom.

  • DisableValueTrimming – Boolean.

    Menentukan tidak akan memotong nilai sebelum mengidentifikasi jenis nilai kolom. Nilai default-nya adalah true.

  • AllowSingleColumn – Boolean.

    Memungkinkan pemrosesan file yang hanya berisi satu kolom.

  • CustomDatatypeConfigured – Boolean.

    Mengaktifkan tipe data kustom untuk dikonfigurasi.

  • CustomDatatypes— Sebuah array UTF-8 string.

    Daftar tipe data khusus termasuk “BINARY”, “BOOLEAN”, “DATE”, “DECIMAL”, “DOUBLE”, “FLOAT”, “INT”, “LONG”, “SHORT”, “STRING”, “TIMESTAMP”.

  • Serde— UTF-8 string (nilai valid: OpenCSVSerDe | LazySimpleSerDe |None).

    Menetapkan SerDe untuk memproses CSV di pengklasifikasi, yang akan diterapkan di Katalog Data. Nilai yang valid adalah OpenCSVSerDe, LazySimpleSerDe, dan None. Anda dapat menentukan None nilai saat Anda ingin crawler melakukan deteksi.

CreateGrokClassifierRequest struktur

Menentukan pengklasifikasi grok untuk CreateClassifier yang akan dibuat.

Bidang
  • Classification- Diperlukan: UTF-8 string.

    Pengidentifikasi format data yang cocok dengan pengklasifikasi, seperti Twitter, JSON, log Omniture, Amazon CloudWatch Logs, dan sebagainya.

  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi baru.

  • GrokPattern- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 2048 byte, cocok denganA Logstash Grok string pattern.

    Pola grok yang digunakan oleh pengklasifikasi ini.

  • CustomPatterns— UTF-8 string, panjangnya tidak lebih dari 16000 byte, cocok dengan. URI address multi-line string pattern

    Pola grok kustom opsional yang digunakan oleh pengklasifikasi ini.

UpdateGrokClassifierRequest struktur

Menentukan pengklasifikasi grok untuk memperbarui ketika diberikan ke UpdateClassifier.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama GrokClassifier.

  • Classification— UTF-8 tali.

    Pengidentifikasi format data yang cocok dengan pengklasifikasi, seperti Twitter, JSON, log Omniture, Amazon CloudWatch Logs, dan sebagainya.

  • GrokPattern— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 2048 byte, cocok denganA Logstash Grok string pattern.

    Pola grok yang digunakan oleh pengklasifikasi ini.

  • CustomPatterns— UTF-8 string, panjangnya tidak lebih dari 16000 byte, cocok dengan. URI address multi-line string pattern

    Pola grok kustom opsional yang digunakan oleh pengklasifikasi ini.

CreateXMLClassifierRequest struktur

Menentukan pengklasifikasi XML untuk CreateClassifier yang akan dibuat.

Bidang
  • Classification- Diperlukan: UTF-8 string.

    Pengidentifikasi format data yang cocok yang dengan pengklasifikasi.

  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • RowTag— UTF-8 tali.

    Tag XML menunjuk elemen yang berisi setiap catatan dalam dokumen XML yang diurai. Ini tidak dapat mengidentifikasi elemen penutup diri (ditutup oleh />). Elemen baris kosong yang hanya berisi atribut dapat diurai selama itu berakhir dengan tag penutup (misalnya, <row item_a="A" item_b="B"></row> baik-baik saja, tapi <row item_a="A" item_b="B" /> tidak).

UpdateXMLClassifierRequest struktur

Menentukan pengklasifikasi XML yang akan diperbarui.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • Classification— UTF-8 tali.

    Pengidentifikasi format data yang cocok yang dengan pengklasifikasi.

  • RowTag— UTF-8 tali.

    Tag XML menunjuk elemen yang berisi setiap catatan dalam dokumen XML yang diurai. Ini tidak dapat mengidentifikasi elemen penutup mandiri (ditutup oleh />). Elemen baris kosong yang hanya berisi atribut dapat diurai selama diakhiri berakhir dengan tag penutup (misalnya, <row item_a="A" item_b="B"></row> tidak apa-apa, tapi <row item_a="A" item_b="B" /> tidak boleh).

CreateJsonClassifierRequest struktur

Menentukan pengklasifikasi JSON untuk CreateClassifier yang akan dibuat.

Bidang

UpdateJsonClassifierRequest struktur

Menentukan pengklasifikasi JSON yang akan diperbarui.

Bidang

CreateCsvClassifierRequest struktur

Menentukan pengklasifikasi CSV kustom untuk CreateClassifier yang akan dibuat.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • Delimiter— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 1 byte, cocok denganCustom string pattern #31.

    Sebuah simbol kustom untuk menunjukkan apa yang memisahkan setiap entri kolom di baris.

  • QuoteSymbol— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 1 byte, cocok denganCustom string pattern #31.

    Sebuah simbol kustom untuk menunjukkan apa yang menggabungkan konten ke dalam satu nilai kolom tunggal. Harus berbeda dari pembatas kolom.

  • ContainsHeader— UTF-8 string (nilai valid: UNKNOWN | PRESENT |ABSENT).

    Menunjukkan apakah file CSV berisi header.

  • Header— Sebuah array UTF-8 string.

    Sebuah daftar string yang mewakili nama kolom.

  • DisableValueTrimming – Boolean.

    Menentukan tidak akan memotong nilai sebelum mengidentifikasi jenis nilai kolom. Nilai default-nya adalah BETUL.

  • AllowSingleColumn – Boolean.

    Memungkinkan pemrosesan file yang hanya berisi satu kolom.

  • CustomDatatypeConfigured – Boolean.

    Mengaktifkan konfigurasi tipe data kustom.

  • CustomDatatypes— Sebuah array UTF-8 string.

    Membuat daftar tipe data kustom yang didukung.

  • Serde— UTF-8 string (nilai valid: OpenCSVSerDe | LazySimpleSerDe |None).

    Menetapkan SerDe untuk memproses CSV di pengklasifikasi, yang akan diterapkan di Katalog Data. Nilai yang valid adalah OpenCSVSerDe, LazySimpleSerDe, dan None. Anda dapat menentukan None nilai saat Anda ingin crawler melakukan deteksi.

UpdateCsvClassifierRequest struktur

Menentukan pengklasifikasi CSV kustom yang akan diperbarui.

Bidang
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi.

  • Delimiter— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 1 byte, cocok denganCustom string pattern #31.

    Sebuah simbol kustom untuk menunjukkan apa yang memisahkan setiap entri kolom di baris.

  • QuoteSymbol— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 1 byte, cocok denganCustom string pattern #31.

    Sebuah simbol kustom untuk menunjukkan apa yang menggabungkan konten ke dalam nilai kolom tunggal. Ini harus berbeda dari pembatas kolom.

  • ContainsHeader— UTF-8 string (nilai valid: UNKNOWN | PRESENT |ABSENT).

    Menunjukkan apakah file CSV berisi header.

  • Header— Sebuah array UTF-8 string.

    Sebuah daftar string yang mewakili nama kolom.

  • DisableValueTrimming – Boolean.

    Menentukan tidak akan memotong nilai sebelum mengidentifikasi jenis nilai kolom. Nilai default-nya adalah BETUL.

  • AllowSingleColumn – Boolean.

    Memungkinkan pemrosesan file yang hanya berisi satu kolom.

  • CustomDatatypeConfigured – Boolean.

    Menentukan konfigurasi tipe data kustom.

  • CustomDatatypes— Sebuah array UTF-8 string.

    Menentukan daftar tipe data kustom yang didukung.

  • Serde— UTF-8 string (nilai valid: OpenCSVSerDe | LazySimpleSerDe |None).

    Menetapkan SerDe untuk memproses CSV di pengklasifikasi, yang akan diterapkan di Katalog Data. Nilai yang valid adalah OpenCSVSerDe, LazySimpleSerDe, dan None. Anda dapat menentukan None nilai saat Anda ingin crawler melakukan deteksi.

Operasi

CreateClassifier tindakan (Python: create_classfier)

Menciptakan pengklasifikasi di akun pengguna. Bisa berupa sebuah GrokClassifier, sebuah XMLClassifier, sebuah JsonClassifier, atau CsvClassifier, tergantung pada bidang permintaan yang ada.

Permintaan
  • GrokClassifier — Sebuah objek CreateGrokClassifierRequest.

    Sebuah objek GrokClassifier yang menentukan pengklasifikasi yang akan dibuat.

  • XMLClassifier — Sebuah objek CreateXMLClassifierRequest.

    Sebuah objek XMLClassifier yang menentukan pengklasifikasi yang akan dibuat.

  • JsonClassifier — Sebuah objek CreateJsonClassifierRequest.

    Sebuah objek JsonClassifier yang menentukan pengklasifikasi yang akan dibuat.

  • CsvClassifier — Sebuah objek CreateCsvClassifierRequest.

    Sebuah objek CsvClassifier yang menentukan pengklasifikasi yang akan dibuat.

Respons
  • Tidak ada parameter Respons.

Kesalahan
  • AlreadyExistsException

  • InvalidInputException

  • OperationTimeoutException

DeleteClassifier tindakan (Python: delete_klasifikasi)

Menghapus sebuah pengklasifikasi dari Katalog Data.

Permintaan
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi yang akan dihapus.

Respons
  • Tidak ada parameter Respons.

Kesalahan
  • EntityNotFoundException

  • OperationTimeoutException

GetClassifier tindakan (Python: get_classfier)

Mengambil sebuah pengklasifikasi berdasarkan nama.

Permintaan
  • Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

    Nama pengklasifikasi yang akan diambil.

Respons
  • Classifier — Sebuah objek Pengklasifikasi.

    Pengklasifikasi yang diminta.

Kesalahan
  • EntityNotFoundException

  • OperationTimeoutException

GetClassifiers tindakan (Python: get_classfiers)

Mencantumkan semua objek pengklasifikasi dalam Katalog Data.

Permintaan
  • MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

    Ukuran daftar untuk yang akan dikembalikan (opsional).

  • NextToken— UTF-8 tali.

    Sebuah token kelanjutan opsional.

Respons
  • Classifiers – Susunan objek Pengklasifikasi.

    Daftar objek pengklasifikasi yang diminta.

  • NextToken— UTF-8 tali.

    Sebuah token kelanjutan.

Kesalahan
  • OperationTimeoutException

UpdateClassifier tindakan (Python: update_classfier)

Memodifikasi pengklasifikasi yang ada (sebuah GrokClassifier, sebuah XMLClassifier, sebuah JsonClassifier, atau CsvClassifier, tergantung pada bidang mana yang ada).

Permintaan
Respons
  • Tidak ada parameter Respons.

Kesalahan
  • InvalidInputException

  • VersionMismatchException

  • EntityNotFoundException

  • OperationTimeoutException