

# Inferenzziele
<a name="gateway-targets-inference"></a>

Sie können Ihrem Gateway Inferenzziele hinzufügen, um LLM-Verkehr an Modellanbieter weiterzuleiten. Das Gateway fungiert als einheitliche LLM-Proxyschicht, sodass Clients eine Verbindung zu einem einzelnen Endpunkt herstellen und Anfragen auf der Grundlage des in der Anfrage angegebenen Modells an den richtigen Modellanbieter weiterleiten können. Inferenzziele bieten modellbasiertes Routing, Abstraktion von Anmeldeinformationen und zentralisierte Steuerung für LLM-Verkehr über mehrere Anbieter hinweg.

Das Hinzufügen von Inferenzzielen zu Ihrem Gateway ist nützlich, wenn Sie:
+ Stellen Sie einen einzigen Endpunkt bereit, der an mehrere Modellanbieter (wie Amazon Bedrock, OpenAI, Anthropic oder andere OpenAI-compatible Dienste) weitergeleitet wird, ohne dass Kunden anbieterspezifische Konfigurationen verwalten müssen.
+ Abstrakte Verwaltung von Anmeldeinformationen, sodass sich Clients beim Gateway authentifizieren, während sich das Gateway in ihrem Namen bei Anbietern authentifiziert.
+ Wenden Sie die zentralisierte Steuerung über Amazon Bedrock Guardrails und Amazon Bedrock AgentCore Policy einheitlich für alle LLM-Anrufe an, unabhängig vom Anbieter.
+ Verwenden Sie OpenAI SDK oder Anthropic SDK direkt mit dem Gateway-Endpunkt und wechseln Sie zwischen den Modellen, indem Sie die Modellzeichenfolge ändern.
+ Listet die verfügbaren Modelle für alle konfigurierten Anbieter über einen einzigen aggregierten Endpunkt auf.

Inferenzziele verwenden den `inference` Schlüssel in der Zielkonfiguration. Sie können ein Inferenzziel auf zwei Arten konfigurieren:
+  **Connector** — Zero-configuration Einrichtung für unterstützte Modellanbieter. Für die meisten Anwendungsfälle empfohlen.
+  **Anbieter** — Explizite Kontrolle über den Endpunkt, Modellzuordnungen und Operationen. Verwenden Sie diese Option, wenn Sie das Routing-Verhalten anpassen müssen.

In den folgenden Themen werden die einzelnen Konfigurationstypen detailliert beschrieben.

**Topics**
+ [Ziele für Inferenzkonnektoren](gateway-target-inference-connector.md)
+ [Ziele von Inferenzanbietern](gateway-target-inference-provider.md)