View a markdown version of this page

カスタムクエリのチュートリアル - Amazon Textract
前提条件アダプターを作成するデータセットの作成注釈と検証トレーニングアダプターのパフォーマンスの評価アダプターの改善推測アダプタ管理

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

カスタムクエリのチュートリアル

このチュートリアルでは、アダプターを作成、トレーニング、評価、使用、管理する方法について説明します。

アダプターを使用すると、Amazon Textract API オペレーションの精度を向上させ、独自のニーズやユースケースに合わせてモデルの動作をカスタマイズできます。このチュートリアルでアダプターを作成したら、AnalyzeDocument API オペレーションで独自のドキュメントを分析するときにアダプターを使用し、将来の改善のためにアダプターを再トレーニングすることもできます。

このチュートリアルでは以下の方法を学びます。

  • を使用してアダプターを作成します AWS マネジメントコンソール。

  • アダプターをトレーニングするためのデータセットを作成します。

  • トレーニングデータに注釈を付けます。

  • トレーニングデータセットでアダプターをトレーニングします。

  • アダプターのパフォーマンスを確認します。

  • アダプターを再トレーニングします。

  • ドキュメント分析にはアダプターを使用します。

  • アダプターを削除します。

前提条件

開始する前に、 を読むことをお勧めしますアダプターの作成。

また、 AWS アカウントを設定し、 AWS SDK をインストールして設定する必要があります。SDK のセットアップ手順については、「」を参照してくださいステップ 2: AWS CLI と AWS SDKs。

アダプターを作成する

アダプターをトレーニングまたは使用する前に、アダプターを作成する必要があります。アダプターを作成するには:

  1. にサインイン AWS マネジメントコンソール し、Amazon Textract コンソールを開きます。

  2. 左側のペインで、カスタムクエリを選択します。Amazon Textract Custom Queries のランディングページが表示されます。

    ビジネスドキュメントの情報抽出精度を向上させる Amazon Textract Custom Queries 機能を示すセルフサービスインターフェイス。アダプターの作成、サンプルのアップロード、ラベル付け、モデルトレーニング、パフォーマンスメトリクスの確認などの利点とワークフローステップを示すアイコンがあります。

  3. カスタムクエリのランディングページには、すべてのアダプターのリストが表示され、アダプターを作成するボタンもあります。アダプターの作成を選択してアダプターを作成します。1 か月あたりに実行できる成功したトレーニングの数は、 AWS アカウントごとに制限されます。制限の詳細についてはAmazon Textract でクォータを設定する、「」を参照してください。

    アダプターリストが空で、「アダプターなし」メッセージと「アダプターの作成」ボタンがあります。

  4. 次のページで、アダプター名を入力し、アダプターを自動的に更新するかどうかを選択し、オプションでタグを追加します。次に、アダプターの作成を選択します。「自動更新」を選択すると、Amazon Textract は事前トレーニング済みのクエリ機能が更新されるとアダプターを自動的に更新します。

アダプターを作成すると、アダプター名やアダプター ID など、そのアダプターの詳細を確認できます。これらの詳細が存在する場合は、アダプターが正常に作成されたことを確認します。

アダプターのトレーニングとテストに使用されるデータセットを作成できるようになりました。

データセットの作成

このステップでは、ローカルコンピュータまたは Amazon S3 バケットからイメージをアップロードして、トレーニングデータセットとテストデータセットを作成します。データセットの詳細については、「」を参照してください。 テキストの検出 トレーニングデータセットとテストデータセットの準備

ローカルコンピュータからイメージをアップロードする場合、一度に最大 30 個のイメージをアップロードできます。アップロードするイメージが多数ある場合は、Amazon S3 バケットからイメージをインポートしてデータセットを作成することを検討してください。

  1. データセットの作成を開始するには、アダプターのリストからアダプターを選択し、データセットの作成を選択します。

    データセットの作成、クエリ、ドキュメントの検証、アダプターのトレーニング、パフォーマンスメトリクスの確認、アダプターの改善の手順を示す my-test-adapter の「カスタムクエリを抽出する」ページ。

  2. データセット設定セクションで、手動分割または自動分割を選択します。手動分割では、トレーニングデータセットとテストデータセットの一部として個々のイメージを指定できます。Autosplit を選択すると、すべてのイメージをアップロードするときにトレーニングセットとテストセットが自動的に定義されます。手動分割は、アダプターを初めてトレーニングするユーザーに推奨されます。現時点では、Autosplit を選択します。

    Amazon Textract のデータセットを作成するオプションを示すインターフェイス - トレーニングセットとテストセットを自分で提供する手動分割、または Textract がトレーニングセットとテストセットに自動的に分割できるようにする自動分割。S3 バケットまたはローカルファイルからドキュメントをインポートします。

  3. トレーニングデータセットの詳細セクションで、コンピュータからドキュメントをアップロードするか、S3 バケットからドキュメントをインポートするかを選択できます。Amazon S3 バケットからドキュメントをインポートする場合は、トレーニングイメージを含むバケットとフォルダへのパスを指定します。コンピュータから直接ドキュメントをアップロードする場合、一度にアップロードできるドキュメントは 30 個のみです。このチュートリアルでは、コンピュータからドキュメントをアップロードを選択します。

  4. データセットの詳細のテストセクションで、コンピュータからドキュメントをアップロードするか、S3 バケットからドキュメントをインポートするかを選択できます。このチュートリアルでは、コンピュータからドキュメントをアップロードを選択します。

  5. [データセットを作成] を選択します。

  6. データセットを作成すると、データセットの詳細ページが表示されます。データセットの詳細ページには、データセット全体内のすべてのドキュメントのリストと、ドキュメントが割り当てられているデータセットのどの部分 (トレーニングまたはテスト) が表示されます。これを 列に割り当てられたデータセットで表示します。以下を表示することもできます。

    • ドキュメント名

    • ドキュメントのステータス

    • ドキュメント内のページ数

    • [Document type (ドキュメントタイプ)]

    • ドキュメントサイズ

    • ドキュメントがトレーニングセットまたはテストセットの一部である場合

  7. データセットにドキュメントを追加を選択し、トレーニングデータセットとテストデータセットの両方に少なくとも 5 つのドキュメントを追加します。以前に Autosplit を選択した場合は、すべてのドキュメントを一度に追加できます。

  8. データセットにドキュメントを追加する場合は、ドキュメントの追加メニューを使用して追加します。

アダプターのトレーニングを開始する前に、トレーニングドキュメントにクエリで注釈を付ける必要があります。これは、マニフェストファイルの「annotations-ref」エントリを作成するために必要です。トレーニングセットまたはテストセットにすべてのドキュメントを追加したら、注釈プロセスを開始できます。

注釈と検証

このステップでは、トレーニングデータセットとテストデータセットにアップロードした各ドキュメントにクエリとラベルを割り当てます。 AWS マネジメントコンソール 注釈ツールを使用して、クエリをドキュメントページの関連する回答にリンクします。

クエリと回答をドキュメントに割り当てるには:

  1. Adapter ランディングページからクエリの作成を選択します。

    ドキュメントに自動注釈を付けるには、「クエリの作成」ボタンを選択して、Textract の事前トレーニング済みモデルで使用するクエリを作成します。

  2. テキストボックスに入力してクエリを追加します。

    Amazon Textract でクエリを作成するためのインターフェイス。「Textract が必要な情報を抽出するために使用できるクエリを指定」というテキストボックスが付いています。表示されるクエリの例は、「チェック金額はいくらですか？」です。

  3. さらにクエリを追加するには、新しいクエリの追加を選択します。クエリには「raw text」レスポンスまたは「binary - Yes/No」レスポンスを使用できます。バイナリレスポンスを使用してクエリを作成するには、詳細設定を使用します。

    ドキュメントファイルでテキスト抽出クエリを作成するためのインターフェイス。クエリプロンプトごとに raw テキストまたはバイナリ (はい/いいえ) レスポンスタイプの指定を許可します。インターフェイスには、クエリテキストの入力、レスポンスタイプの選択、新しいクエリの追加を行うためのフィールドがあります。

  4. クエリを作成したら、ドキュメントにラベルを割り当てる必要があります。ドキュメントのラベルを設定するには、自動ラベル付けまたは手動ラベル付けを選択します。アダプターを初めてトレーニングする場合は、自動ラベル付けをお勧めします。自動ラベル付けオプションを選択し、自動ラベル付けの開始を選択します。

    推奨バッジと自動ラベル付けの開始ボタンで選択された自動ラベル付けオプション。

  5. 自動ラベル付けプロセスが完了するまでに時間がかかります。完了すると、「自動ラベル付けが完了しました」という通知が表示されます。ラベリングプロセスが完了したら、ラベリングの精度を検証する必要があります。詳細ページの「アダプターの詳細」パネルで「ドキュメントの検証」を選択し、「データセット」ページから「レビューの開始」を選択します。

    データセット分割の概要。合計 16 件のドキュメントが表示され、10 件がトレーニングセット、6 件がテストセットです。無効なファイルはありません。ステータスは、データセットがレビューできる状態であることを示します。

  6. 注釈ツールでは、個々のドキュメントを選択し、それらのドキュメント内の個々のページを表示できます。「レスポンスの確認」セクションで、ドキュメントページに割り当てられたクエリを選択します。クエリに対する回答が正しくない場合は、クエリの編集ボタンをクリックしてレスポンスを編集できます。

    顧客名 John Doe の例を示すレスポンス画面を確認し、償却タイプを入力するように求めます。適用ボタンとキャンセルボタンが含まれます。

    はい/いいえ の回答があるクエリの場合は、はい、いいえ、または空を選択します。次に、適用 を選択します。

    クエリに割り当てられたラベルの OCR を編集するときは、提供されたレスポンスを選択し、ドキュメントイメージの一部の周囲に境界ボックスを描画します。そのためには、注釈ツールの下部にあるツールバーの「B」ショートカットキーまたは境界ボックスツールを使用します。次に、適用 を選択します。

    クエリに複数のレスポンス要素 (応答) が必要な場合は、レスポンスを追加できます。これを行うには、クエリを選択し、レスポンスの追加を選択します。次に、回答があるドキュメントの領域に境界ボックスを描画するように求められます。境界ボックスのラベルが正しいことを確認します。

    ドキュメントページに新しいクエリを追加するには、クエリの追加を選択します。クエリを追加する場合は、追加するクエリを指定し、クエリラベルの境界ボックスを描画する必要があります。

    完了したら、送信を選択し、次に続くドキュメントとクエリとレスポンスのセットに進みます。すべてのクエリとレスポンスを確認するまで繰り返します。

    すべてのクエリとレスポンスを確認して評価したら、送信して閉じるを選択します。

トレーニング

すべてのドキュメントをトレーニングセットまたはテストセットに追加し、クエリに対して生成されたレスポンスを確認したら、アダプターをトレーニングできます。

Amazon Textract アダプターデータセットの概要では、合計 16 個のドキュメント、トレーニングセットで 10 個、テストセットで 6 個、無効なファイルはありません。データセットのステータスは注釈のレビューが完了しました。

アダプターをトレーニングするには:

  1. まず、データセット管理ページの Train Adapter をクリックします。

    「トレーニングアダプター」ボタンを使用して、アダプターをトレーニングするのに十分なドキュメントがデータセットにあることを示す通知。

  2. トレーニングプロセスを開始するときに、アダプタートレーニングジョブの出力を含む Amazon S3 バケットを指定できます。まだ存在しない Amazon S3 バケットの場所を指定すると、バケットパスが自動的に作成されます。アダプターにタグを追加して追跡し、暗号化設定をカスタマイズすることもできます。ニーズに合わせてアダプタートレーニングをカスタマイズし、Train Adapter を選択します。

  3. 次のページで、トレーニングアダプターを選択して、トレーニングプロセスを開始することを確認します。これにより、アダプターの最初のバージョンが作成されます。

トレーニングプロセスの開始後、 Adapter ランディングページでトレーニングプロセスのステータスをモニタリングできます。

トレーニングプロセスが完了すると通知されます。次に、メトリクスを調べることでアダプターのパフォーマンスを評価できます。

アダプターのパフォーマンスの評価

モデルのパフォーマンスを評価するには、左側のナビゲーションペインを使用して、評価するアダプターバージョンを選択します。

F1 スコア、精度、リコールがすべて 94.4% であることを示すアダプターパフォーマンスメトリクス。

アダプターのメトリクスを調べることで、データセット内のドキュメントと定義したクエリに対するアダプターの動作を判断できます。アダプターの F1 スコア、精度、リコールは、クエリ、ドキュメント、ページなど、トレーニングデータのさまざまな要素で確認できます。これらの要素のパフォーマンスを切り替えるには、メトリクス表示ペインの下にあるさまざまなタブを選択します。

ベースラインメトリクスに切り替えるスイッチを切り替えて、いつでもベースラインメトリクスを表示することもできます。

アダプターバージョンのパフォーマンスの概要には、アダプターのパフォーマンスを向上させる方法に関するヒントも含まれています。これらのヒントは、アダプターを改善するためにいつでも確認できます。アダプターを管理および改善する方法の詳細については、「」を参照してくださいアダプターの評価と改善。

アダプターをデモし、ドキュメントでそのパフォーマンスを確認するには:

  1. Try Adapter を選択します。

    Adapter ボタンと Ver. 1 ドロップダウンメニューを試してください。

  2. アダプターを試すページで、アダプターを使用して分析するドキュメントを選択できます。ドキュメントの選択ボタンを選択し、デバイス上のドキュメントの場所を参照します。または、ドキュメントをアップロードするペインにドキュメントをドラッグアンドドロップします。

ドキュメントをアップロードすると、Try Adapter ページが更新され、クエリ、クエリ回答、信頼レベルなど、アダプターの分析結果が表示されます。アダプターのパフォーマンスに満足している場合は、AnalyzeDocument または StartDocumentAnalysis の呼び出しでアダプターを使用して推論に進むことができます。それ以外の場合は、追加のドキュメントでアダプターを再トレーニングすることで、アダプターのパフォーマンスを向上させることができます。

アダプターの改善

アダプターのパフォーマンスを向上させるには:

  1. アダプターの詳細ページでデータセットの変更を選択します。

    テキスト抽出用のカスタムデータセットを作成、検証、トレーニング、改善するステップを示すワークフロー図: 1。データセットを作成する、2。クエリの作成、3。ドキュメントの確認、4。トレーニングアダプター、5。パフォーマンスメトリクスを確認する、6。アダプターを改善します。

  2. データセットの概要ページで、ドキュメントの追加を選択します。アダプターを再トレーニングするには、トレーニングデータセットに少なくとも 5 つのドキュメントを追加します。

  3. ドキュメントがデータセットに追加されたことが通知されます。自動ラベル付けプロセスの結果を確認するには、レビューを開始するを選択します。

  4. クエリとレスポンスを確認します。追加したドキュメントのすべての注釈を確認して承認したら、送信して閉じるを選択します。

  5. データセット管理ページで、トレーニングアダプターを選択して、新しいトレーニングドキュメントを含むトレーニングデータセット内のすべてのデータでアダプターのトレーニングを開始します。

実行するトレーニングジョブごとに、アダプターの新しいバージョンが作成されます。新しいアダプターバージョンの名前を書き留めて、適切なアダプターバージョンのパフォーマンスを評価していることを確認します。

推測

アダプターを作成すると、カスタムアダプターの ID が提供されます。この ID は、同期ドキュメント分析の場合は AnalyzeDocument オペレーションに、非同期分析の場合は StartDocumentAnalysis オペレーションに指定できます。

Adapter ID を指定すると、アダプターが分析プロセスに自動的に統合され、それを使用してドキュメントの予測が強化されます。これにより、AnalyzeDocument の機能を活用しながら、ニーズに合わせてカスタマイズできます。

アダプターと AnalyzeDocument API オペレーションを使用して推論を実行する方法の例については、「」を参照してくださいAmazon Textract を使用したドキュメントテキストの分析。

同じドキュメント内の異なるページに複数のアダプターを適用する必要がある場合は、API リクエストの一部として 1 つ以上のアダプター (複数可) とそれぞれのアダプターバージョンを指定できます。Page パラメータを使用して、アダプターを適用するページを指定できます。

次の点に注意してください。

これは、クエリの Pageパラメータの仕組みに似ています。次の点に注意してください。

  • ページが指定されていない場合、["1"]デフォルトで に設定されます。

  • パラメータ文字列では、次の文字が有効です: 1 2 3 4 5 6 7 8 9 - *。空白は無効です。

  • * を使用してすべてのページを指定する場合、リスト内の唯一の要素である必要があります。

  • Page パラメータはアダプター間で重複しません。ページに適用できるアダプターは 1 つだけです。

アダプタ管理

次の手順は (アダプターの初期トレーニング後に) 繰り返し繰り返されます。

  • Amazon Textract コンソールのアダプターの詳細ページでデータセットの変更を選択します。

  • ドキュメントの追加 を選択します。

  • 少なくとも 5 つのドキュメントをトレーニングデータセットに追加して、アダプターを再トレーニングします。

  • ドキュメントがデータセットに追加されたことが通知されます。自動ラベル付けプロセスの結果を確認するには、レビューを開始するを選択します。

  • クエリとレスポンスを確認します。新しいドキュメントのすべての注釈を確認して承認したら、Train Adapter を選択します。

  • アダプターが新しいトレーニングラウンドを完了するのを待ってから、新しいアダプターバージョンのパフォーマンスメトリクスを確認します。

モデルをターゲットパフォーマンスレベルにトレーニングしたら、アダプターを使用してアプリケーションで推論できます。

不要になったアダプターバージョンは必ず削除してください。アダプターを削除するには:

  • Adapters ランディングページに移動し、アダプターを選択し、Delete を選択します。

  • テキストボックスに「削除」と入力し、「削除」を選択します。