Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwendung von Hive Live Long and Process (LLAP)

Amazon EMR 6.0.0 unterstützt die Live Long and Process (LLAP)-Funktionalität für Hive. LLAP verwendet persistente Daemons mit intelligentem In-Memory-Caching, um die Abfrageleistung im Vergleich zum vorherigen Standard-Tez-Container-Ausführungsmodus zu verbessern.

Die Hive LLAP-Daemons werden als YARN-Service verwaltet und ausgeführt. Da ein YARN-Service als lange laufende YARN-Anwendung betrachtet werden kann, sind einige Ihrer Cluster-Ressourcen für Hive LLAP dediziert und können nicht für andere Workloads verwendet werden. Weitere Informationen finden Sie unter LLAP und YARN Service API (YARN-Service-API).

Hive LLAP auf Amazon EMR aktivieren

Wenn Sie Hive LLAP auf Amazon EMR aktivieren möchten, geben Sie beim Starten eines Clusters die folgende Konfiguration an.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

Standardmäßig weist Amazon EMR etwa 60 Prozent der Cluster-YARN-Ressourcen Hive-LLAP-Daemons zu. Sie können den Anteil der dem Hive LLAP zugewiesenen Cluster-YARN-Ressource und die Anzahl der Aufgaben- und Core-Knoten, die für die Hive LLAP-Zuweisung berücksichtigt werden sollen, konfigurieren.

Die folgende Konfiguration startet beispielsweise Hive LLAP mit drei Daemons auf drei Aufgaben- oder Core-Knoten und weist 40 Prozent der YARN-Ressourcen der drei Kern- oder Aufgabenknoten den Hive LLAP-Daemons zu.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

Sie können die folgenden hive-site-Konfigurationen in der Klassifikations-API verwenden, um Standard-LLAP-Ressourceneinstellungen außer Kraft zu setzen.

Starten Sie LLAP manuell auf Ihrem Cluster

Alle von LLAP verwendeten Abhängigkeiten und Konfigurationen werden als Teil des Cluster-Startups in das LLAP-tar-Archiv gepackt. Wenn LLAP mithilfe von "hive.llap.enabled": "true" aktiviert wird, ist es empfehlenswert, Konfigurationsänderungen an LLAP mithilfe der Amazon-EMR-Neukonfiguration vorzunehmen.

Andernfalls müssen Sie bei manuellen Änderungen an hive-site.xml, das LLAP-tar-Archiv mithilfe des hive --service llap-Befehls neu erstellen, wie im folgenden Beispiel gezeigt wird.

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Überprüfen Sie den LLAP-Status

Verwenden Sie den folgenden Befehl, um den Status von Hive LLAP über Hive zu überprüfen.

hive --service llapstatus

Verwenden Sie den folgenden Befehl, um den Status von Hive LLAP mit YARN zu überprüfen.

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Starten oder stoppen Sie Hive LLAP

Da Hive LLAP als persistenter YARN-Service ausgeführt wird, müssen Sie den YARN-Service stoppen oder neu starten, um Hive LLAP zu stoppen oder neu zu starten. Die folgenden Befehle veranschaulichen dies.

yarn app -stop llap0
yarn app -start llap0

So ändern Sie die Größe der Hive LLAP-Daemons

Verwenden Sie den folgenden Befehl, um die Anzahl der LLAP-Instances zu reduzieren.

yarn app -flex llap0 -component llap -1

Weitere Informationen finden Sie unter Flexible auf eine Komponente eines Services reagieren.