考慮事項 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

考慮事項

Amazon で Hue を使用する場合は、次の制限事項を考慮してくださいEMR。

大規模な Hue メタデータテーブルでのパフォーマンス

Hue メタデータデータベースが大きすぎると、パフォーマンスが低下する可能性があります。テーブルのサイズを確認するには、まず を使用して Amazon EMR on Amazon EC2クラスターのプライマリノードに接続SSHし、 コマンドを実行して MySQL sudo mysql -u rootを起動しますCLI。テーブルのサイズを取得するには、クエリ SELECT COUNT(*) FROM hue.<table_name> を実行します。可能な内容については、以下を参照してください<table_name>

  • desktop_document

  • desktop_document2

  • oozie_job

  • beeswax_savedquery

  • beeswax_session

  • beeswax_queryhistory

そのクエリを実行すると 100,000 を超えるカウントが返される場合は、次のクリーンアップコマンドを実行して古いレコードを削除する必要があります。

cd /opt/cloudera/parcels/CDH/lib/hue # Hue home directory ./build/env/bin/hue desktop_document_cleanup

データベースのクリーンアップの詳細については、Hue ドキュメントのリファレンスページを参照してください。

Hue はテーブルを自動的にクリーンアップしませんが、Amazon EMRリリース 5.12.0 以降では、テーブル内の古いドキュメントを削除する方法が用意されています。次のシェルスクリプトを作成し、メタデータデータベースにドキュメントを保持する最大日数を表す整数パラメータを持つ Amazon EMRクラスターのステップとして実行します。

#!/bin/bash if grep isMaster /mnt/var/lib/info/instance.json | grep false; then echo "This is not the primary node; do nothing, exiting" exit 0 fi while [ ! -f /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py ] do sleep 1 done sudo systemctl stop hue.service sudo sed -i 's+ LOG.warn+ # LOG.warn+g' /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py sudo /usr/lib/hue/build/env/bin/hue desktop_document_cleanup --keep-days $1 sudo systemctl start hue.service

Hue バージョン間の非互換性

複数の Hue 対応クラスターで同じ Hue メタデータデータベースを使用している場合は、これらのクラスターで同じバージョンの Hue を実行することをお勧めします。Hue の異なるバージョンでは、Hue メタデータデータベースのスキーマが異なる場合があります。異なるバージョンで同じデータベースを使用すると、Hue のインストールが失敗する可能性があります。例えば、4.10.0 と 4.11.0 がインストールされている 2 つのクラスターに同じデータベースを使用しようとすると、4.10.0 クラスターにログインしようとするユーザーのログインエラーが発生する可能性があります。

Amazon EMRリリースラベルとそれに対応する Hue のインストール済みバージョンのリストについては、「Hue リリース履歴」を参照してください。