Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi Skema Analisis Teks untuk Amazon CloudSearch

Amazon CloudSearch memungkinkan Anda mengonfigurasi skema analisis khusus bahasa untuk masing-masing bidangtext. text-array Skema analisis mengontrol bagaimana isi bidang diproses selama pengindeksan. Meskipun default untuk setiap bahasa bekerja dengan baik dalam banyak kasus, menyempurnakan opsi analisis memungkinkan Anda untuk mengoptimalkan hasil pencarian berdasarkan pengetahuan Anda tentang data yang Anda cari. Untuk daftar bahasa yang didukung, lihat Bahasa yang Didukung.

Skema analisis menentukan bahasa teks yang akan diproses dan opsi analisis berikut:

Selama pemrosesan teks, nilai bidang dan istilah pencarian diubah menjadi huruf kecil (dilipat huruf kecil), sehingga kata kunci, batang, dan sinonim tidak peka huruf besar/kecil. Untuk informasi selengkapnya tentang cara Amazon CloudSearch memproses teks selama pengindeksan dan saat menangani permintaan penelusuran, lihatPemrosesan Teks di Amazon CloudSearch.

Anda harus menentukan bahasa untuk setiap skema analisis dan mengkonfigurasi skema analisis untuk masing-masing text text-array bidang. Saat Anda mengonfigurasi bidang melalui CloudSearch konsol Amazon, skema analisis default ke skema analisis. _en_default_ Jika Anda tidak menentukan opsi analisis untuk skema analisis, Amazon CloudSearch menggunakan opsi default untuk bahasa yang ditentukan. Untuk informasi tentang default untuk setiap bahasa, lihat. Pengaturan Khusus Bahasa

Cara termudah untuk menentukan skema analisis adalah melalui halaman Skema Analisis di CloudSearch konsol Amazon. Anda harus menerapkan skema analisis ke bidang agar dapat diterapkan. Anda dapat menerapkan skema analisis ke bidang dari halaman Opsi Pengindeksan. Anda juga dapat menentukan skema analisis dan mengonfigurasi skema analisis untuk setiap bidang melalui alat baris perintah dan AWS SDKs.

Saat menerapkan skema analisis baru ke bidang indeks atau memodifikasi skema analisis yang sedang digunakan, Anda harus secara eksplisit rebuild the index agar perubahan tersebut tercermin dalam hasil penelusuran.

Berasal di Amazon CloudSearch

Stemming adalah proses pemetaan kata-kata terkait ke batang umum. Batang biasanya merupakan akar atau kata dasar dari mana varian diturunkan. Misalnya, lari adalah batang berlari dan berlari. Stemming dilakukan selama pengindeksan serta pada waktu kueri. Stemming mengurangi jumlah istilah yang disertakan dalam indeks, dan memfasilitasi kecocokan ketika istilah pencarian adalah varian dari istilah yang muncul dalam konten yang dicari. Misalnya, jika Anda memetakan istilah yang berjalan ke stem run dan kemudian mencari running, permintaan tersebut cocok dengan dokumen yang berisi run serta running.

Amazon CloudSearch mendukung kamus stemming algoritmik dan stemming eksplisit. Anda mengonfigurasi stemming algoritmik dengan menentukan tingkat stemming yang ingin Anda gunakan. Tingkat pembatalan algoritmik yang tersedia bervariasi tergantung pada bahasanya:

Selain mengontrol tingkat pembatalan algoritmik yang dilakukan, Anda dapat menentukan kamus stemming yang memetakan kata-kata terkait tertentu ke batang umum. Anda menentukan kamus sebagai objek JSON yang berisi kumpulan pasangan string:value yang memetakan istilah ke batangnya, misalnya,. {"term1": "stem1", "term2": "stem2", "term3": "stem3"} Kamus stemming diterapkan selain stemming algoritmik apa pun. Ini memungkinkan Anda untuk mengesampingkan hasil pembatalan algoritmik untuk memperbaiki kasus-kasus tertentu dari overstemming atau understemming. Ukuran maksimum kamus stemming adalah 500 KB. Entri kamus stemming harus huruf kecil.

Anda menggunakan StemmingDictionary kunci untuk menentukan kamus stemming kustom dalam skema analisis. Karena Anda meneruskan kamus ke Amazon CloudSearch sebagai string, Anda harus menghindari semua tanda kutip ganda dalam string. Misalnya, skema analisis berikut mendefinisikan batang untuk berlari dan melompat:

{
    "AnalysisSchemeName": "myscheme",
    "AnalysisSchemeLanguage": "en",
    "AnalysisOptions": {
        "AlgorithmicStemming": "light",
        "StemmingDictionary": "{\"running\": \"run\",\"jumping\": \"jump\"}"
    }
} 

Jika Anda tidak menentukan tingkat stemming algoritmik atau kamus stemming dalam skema analisis Anda, Amazon CloudSearch menggunakan tingkat pembatalan algoritmik default untuk bahasa yang ditentukan. Meskipun stemming dapat membantu pengguna menemukan dokumen yang relevan yang mungkin dikecualikan dari hasil pencarian, overstemming dapat mengakibatkan terlalu banyak kecocokan dengan relevansi yang dipertanyakan. Tingkat default stemming algoritmik yang dikonfigurasi untuk setiap bahasa berfungsi dengan baik untuk sebagian besar kasus penggunaan. Secara umum, yang terbaik adalah memulai dengan default dan kemudian membuat penyesuaian untuk mengoptimalkan relevansi hasil pencarian untuk kasus penggunaan Anda. Untuk informasi tentang default untuk setiap bahasa, lihat. Pengaturan Khusus Bahasa

Stopwords di Amazon CloudSearch

Stopwords adalah kata-kata yang biasanya harus diabaikan baik selama pengindeksan dan pada waktu pencarian karena mereka tidak signifikan atau sangat umum sehingga memasukkannya akan menghasilkan sejumlah besar kecocokan.

Selama pengindeksan, Amazon CloudSearch menggunakan kamus stopword saat memproses text dan text-array bidang. Dalam kebanyakan kasus, stopword tidak termasuk dalam indeks. Kamus stopword juga digunakan untuk memfilter permintaan pencarian.

Kamus stopwords adalah array istilah JSON, misalnya,. ["a", "an", "the", "of"] Kamus stopwords harus secara eksplisit mencantumkan setiap kata yang ingin Anda abaikan. Wildcard dan ekspresi reguler tidak didukung.

Anda menggunakan Stopwords kunci untuk menentukan kamus stopwords kustom dalam skema analisis. Karena Anda meneruskan kamus ke Amazon CloudSearch sebagai string, Anda harus menghindari semua tanda kutip ganda dalam string. Misalnya, skema analisis berikut mengkonfigurasi stopwords a, an, dan:

{
    "AnalysisSchemeName": "myscheme",
    "AnalysisSchemeLanguage": "en",
    "AnalysisOptions": {
        "Stopwords": "[\"a\",\"an\",\"the\"]"
    }
} 

Jika Anda tidak menentukan kamus stopwords dalam skema analisis Anda, Amazon CloudSearch menggunakan kamus stopword default untuk bahasa yang ditentukan. Stopword default yang dikonfigurasi untuk setiap bahasa berfungsi dengan baik untuk sebagian besar kasus penggunaan. Secara umum, yang terbaik adalah memulai dengan default dan kemudian membuat penyesuaian untuk mengoptimalkan relevansi hasil pencarian untuk kasus penggunaan Anda. Untuk informasi tentang default untuk setiap bahasa, lihat. Pengaturan Khusus Bahasa

Sinonim di Amazon CloudSearch

Anda dapat mengonfigurasi sinonim untuk istilah yang muncul di data yang Anda cari. Dengan begitu, jika pengguna mencari sinonim daripada istilah yang diindeks, hasilnya akan menyertakan dokumen yang berisi istilah yang diindeks. Misalnya, Anda dapat menentukan sinonim kustom untuk melakukan hal berikut:

Ketika Anda mendefinisikan sinonim, sinonim ditambahkan ke indeks di mana pun token dasar terjadi. Misalnya, jika Anda mendefinisikan fish sebagai sinonim daribarracuda, istilah fish ditambahkan ke setiap dokumen yang berisi istilah. barracuda Menambahkan sejumlah besar sinonim dapat meningkatkan ukuran indeks serta latensi kueri — sinonim meningkatkan jumlah kecocokan dan semakin banyak kecocokan, semakin lama waktu yang dibutuhkan untuk memproses hasilnya.

Kamus sinonim digunakan selama pengindeksan untuk mengonfigurasi pemetaan untuk istilah yang terjadi di bidang teks. Tidak ada pemrosesan sinonim yang dilakukan pada permintaan pencarian. Secara default, Amazon CloudSearch tidak mendefinisikan sinonim apa pun.

Anda dapat menentukan sinonim dengan dua cara:

Kamus sinonim ditentukan sebagai objek JSON yang mendefinisikan kelompok sinonim dan alias. groupsNilainya adalah array array, di mana setiap sub-array adalah grup konflasi. aliasesNilai adalah objek yang berisi kumpulan pasangan string:value di mana string menentukan istilah dan array nilai menentukan masing-masing sinonim untuk istilah itu. Contoh berikut mencakup grup konflasi dan alias:

{
    "groups": [["1st", "first", "one"], ["2nd", "second", "two"]],
    "aliases": { "youth": ["child", "kid", "boy", "girl"], 
                 "adult": ["men", "women"] }
}

Kedua grup dan alias mendukung sinonim multiword. Dalam contoh berikut, sinonim multiword digunakan dalam grup konflasi serta alias:

{
    "groups": [["tool box", "toolbox"], ["band saw", "bandsaw"]],
    "aliases": { "workbench": ["work bench"]}
}

Anda menggunakan Synonyms kunci untuk menentukan kamus sinonim kustom dalam skema analisis. Karena Anda meneruskan kamus ke Amazon CloudSearch sebagai string, Anda harus menghindari semua tanda kutip ganda dalam string. Misalnya, skema analisis berikut mengonfigurasi alias untuk istilah pemuda:

{
    "AnalysisSchemeName": "myscheme",
    "AnalysisSchemeLanguage": "en",
    "AnalysisOptions": {
        "Synonyms": "{\"aliases\": {\"youth\": [\"child\",\"kid\"]}}"
    }
}

Mengkonfigurasi Skema Analisis Menggunakan Konsol Amazon CloudSearch

Anda dapat menentukan skema analisis dari panel Skema Analisis di CloudSearch konsol Amazon.

Mengkonfigurasi Skema Analisis Menggunakan AWS CLI

Anda menggunakan aws cloudsearch define-analysis-scheme perintah untuk menentukan opsi pemrosesan teks khusus bahasa, termasuk opsi stemming, stopword, dan sinonim. Untuk informasi tentang menginstal dan menyiapkan AWS CLI, lihat Panduan AWS Command Line Interface Pengguna.

Anda menentukan skema analisis sebagai bagian dari konfigurasi masing-masing text atau text-array bidang. Untuk informasi selengkapnya, lihat configure indexing options.

Mengkonfigurasi Skema Analisis Menggunakan AWS SDKs

AWS SDKs (kecuali Android dan iOS SDKs) mendukung semua CloudSearch tindakan Amazon yang ditentukan dalam API CloudSearch Konfigurasi Amazon, termasukDefineAnalysisScheme. Untuk informasi selengkapnya tentang menginstal dan menggunakan AWS SDKs, lihat AWS Software Development Kits.

Pengindeksan Bigram untuk China, Jepang, dan Korea di Amazon CloudSearch

Tionghoa, Jepang, dan Korea tidak memiliki batasan kata yang eksplisit. Cukup mengindeks karakter individu (unigram) dapat menghasilkan kecocokan yang tidak terlalu relevan dengan kueri penelusuran. Salah satu solusinya adalah mengindeks bigram. Bigram adalah setiap urutan dari dua karakter yang berdekatan dalam sebuah string. Misalnya, contoh berikut menunjukkan bigram untuk string :

我的  的氣  氣墊  墊船  船裝  裝滿  滿了  了鱔  鱔魚

Meskipun pengindeksan bigram dapat meningkatkan kualitas hasil pencarian, perlu diingat bahwa itu dapat secara signifikan meningkatkan ukuran indeks Anda.

Saat Anda menetapkan skema analisis yang menetapkan bahasa bidangmul, Amazon CloudSearch secara otomatis menghasilkan bigram untuk semua teks Mandarin, Jepang, dan Korea dalam bidang tersebut.

Untuk informasi selengkapnya tentang membuat dan menggunakan skema analisis, lihatMengkonfigurasi Skema Analisis.

Jika Anda mengindeks konten Jepang, Anda mungkin juga tertarik untuk menggunakan kamus tokenisasi kustom dengan prosesor bahasa Jepang standar. Untuk informasi selengkapnya, lihat Menyesuaikan Tokenisasi Jepang.

Menyesuaikan Tokenisasi Jepang di Amazon CloudSearch

Jika Anda memerlukan kontrol lebih besar atas cara Amazon CloudSearch memberi token bahasa Jepang, Anda dapat menambahkan kamus tokenisasi Jepang khusus ke skema analisis Anda. Mengkonfigurasi kamus tokenisasi kustom memungkinkan Anda untuk mengganti bagaimana entri tertentu diberi token oleh prosesor bahasa Jepang standar. Ini dapat meningkatkan akurasi hasil pencarian dalam beberapa kasus, terutama ketika Anda perlu mengindeks dan mengambil frase khusus domain.

Kamus tokenisasi adalah kumpulan entri di mana setiap entri menentukan satu set karakter, bagaimana karakter harus diberi token, bagaimana setiap token harus diucapkan (bacaan), dan tag. part-of-speech Anda menentukan kamus sebagai array, dan setiap entri kamus adalah array string. Entri adalah dari bentuk berikut:

["<text>","<token 1> ... <token n>","<reading 1> ... <reading n>","<part-of-speech tag>"]

Anda harus menentukan bacaan untuk setiap token dan part-of-speech tag untuk entri. Lihat bagian Part-of-SpeechTag Jepang tag ucapan yang diperlakukan sebagai stopword.

Anda menggunakan JapaneseTokenizationDictionary kunci untuk menentukan kamus tokenisasi kustom dalam skema analisis. Karena Anda meneruskan kamus tokenisasi ke Amazon CloudSearch sebagai string, Anda harus menghindari semua tanda kutip ganda dalam string. Misalnya, kamus dalam skema analisis berikut menentukan penggantian segmentasi untuk senyawa Kanji dan Katakana, dan pembacaan khusus untuk nama yang tepat:

{       
    "AnalysisSchemeName": "jascheme",
    "AnalysisSchemeLanguage": "ja",
    "AnalysisOptions": {
        "Stopwords": "[\"a\", \"the\"]",
        "AlgorithmicStemming": "full",
        "JapaneseTokenizationDictionary": "[ [\"日本経済新聞\",\"日本 経済 新聞\",\"ニホン ケイザイ シンブン\",\"カスタム名詞\"],[\"トートバッグ\",\"トート バッグ\",\"トート バッグ\",\"かずカナ名詞\"],[\"朝青龍\",\"朝青龍\",\"アサショウリュウ\",\"カスタム人名\"] ]"
    }
}

Saat mengonfigurasi skema analisis dengan AWS CLI, Anda dapat menyimpan skema analisis dalam file teks dan menentukan file itu sebagai --analysis-scheme nilainya. Ini memungkinkan Anda untuk memformat skema sehingga lebih mudah dibaca. Misalnya, jika Anda menyimpan skema jascheme analisis dalam file bernamajascheme.txt, Anda dapat meneruskan file itu saat Anda meneleponaws cloudsearch define-analysis-scheme:

aws cloudsearch define-analysis-scheme --region us-east-1 --domain-name
mydomain --analysis-scheme file://jascheme.txt

Untuk informasi selengkapnya tentang membuat dan menggunakan skema analisis, lihatMengkonfigurasi Skema Analisis.

Part-of-SpeechTag Jepang di Amazon CloudSearch

Saat Anda menggunakan kamus tokenisasi khusus untuk bahasa Jepang, Anda menentukan part-of-speech tag untuk setiap entri. Jika part-of-speech tag cocok dengan salah satu tag yang dikonfigurasi sebagai tag berhenti, entri diperlakukan sebagai stopword.

Tabel berikut menunjukkan bagian dari tag ucapan yang dikonfigurasi sebagai tag berhenti di Amazon CloudSearch.