Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
GPU-acceleration für Vektorindizierung
GPU-acceleration hilft Ihnen, umfangreiche Vektordatenbanken schneller und effizienter zu erstellen. Sie können diese Funktion für neue oder bestehende OpenSearch Domänen und OpenSearch serverlose Sammlungen aktivieren. Diese Funktion wird verwendet GPU-acceleration , um die Zeit zu reduzieren, die für die Indexierung von Daten in Vektorindizes benötigt wird.
Mit GPU-acceleration können Sie die Geschwindigkeit der Vektorindizierung um das bis zu 10-fache erhöhen, was einem Viertel der Indizierungskosten entspricht.
Voraussetzungen
GPU-acceleration wird auf OpenSearch Domänen mit einer OpenSearch Version 3.1 oder höher sowie OpenSearch auf serverlosen Sammlungen unterstützt. Weitere Informationen finden Sie unter Upgrade von Amazon OpenSearch Service-Domains UpdateDomainConfig, und UpdateCollection APIs.
Funktionsweise
Vektorindizes benötigen erhebliche Rechenressourcen, um Datenstrukturen wie HNSW-Graphen (Hierarchical Navigable Small Worlds) zu erstellen. Wenn Sie die Option für Ihre Domain oder Sammlung aktivieren GPU-acceleration , erkennt OpenSearch automatisch Möglichkeiten, Ihre Indexerstellung zu beschleunigen, und lagert die Index-Builds auf GPU-Instances aus. OpenSearch Der Service verwaltet die GPU-Instances in Ihrem Namen und weist sie bei Bedarf Ihrer Domain oder Sammlung zu. Das bedeutet, dass Sie die Auslastung nicht verwalten oder für Leerlaufzeiten bezahlen.
Sie zahlen nur für nützliche Verarbeitungsvorgänge über Compute Units (OCU) — Vector Acceleration. Jede Vector Acceleration OCU ist eine Kombination aus ca. 8 GiB CPU-Speicher, 2 vCPUs und 6 GiB GPU-Speicher. Weitere Informationen finden Sie unter Preise für GPU-Beschleunigung.
Informationen zum Aktivieren der GPU-Beschleunigung für Ihre Domain oder Sammlung finden Sie unter. Aktivieren GPU-acceleration
Preise für GPU-Beschleunigung
AWS berechnet Ihnen Gebühren, wenn Möglichkeiten OpenSearch erkannt werden, die Index-Build-Workloads Ihrer Domain oder Sammlung zu beschleunigen. Jede Vector Acceleration OCU ist eine Kombination aus ca. 8 GiB CPU-Speicher, 2 vCPUs und 6 GiB GPU-Speicher.
AWS berechnet OCU mit Granularität der zweiten Ebene. Auf Ihrem Kontoauszug finden Sie einen Eintrag zum Einrechnen. OCU-hours
Wenn Sie beispielsweise eine Stunde GPU-acceleration lang einen Index erstellen und dabei 2 vCPU und 1 GiB GPU-Speicher verwenden, wird Ihnen 1 OCU in Rechnung gestellt. Wenn Sie während der Nutzung 9 GiB CPU-Speicher verwenden GPU-acceleration, werden Ihnen 2 OCU in Rechnung gestellt.
OpenSearch Serverless fügt zusätzliche OCUs in Schritten von 1 OCU hinzu, je nachdem, wie viel Rechenleistung und Speicherplatz Sie für Ihre Sammlungen benötigen. Sie können eine maximale Anzahl von OCUs für Ihr Konto konfigurieren, um die Kosten zu kontrollieren.
Anmerkung
Die Anzahl der zu jedem Zeitpunkt bereitgestellten OCUs kann variieren und ist nicht exakt. Im Laufe der Zeit wird sich OpenSearch der von OpenSearch Serverless verwendete Algorithmus weiter verbessern, um die Systemnutzung besser zu minimieren.
Vollständige Preisinformationen finden Sie unter Amazon OpenSearch Service Pricing
GPU-acceleration und Schreiboperationen
GPU-acceleration wird aktiviert, wenn OpenSearch die Vektor-Aufnahmerate (MB/sec) innerhalb eines Bereichs liegt. Bei OpenSearch Domains haben Sie die Flexibilität, diesen Bereich über index.knn.remote_index_build.size.min und zu index.knn.remote_index_build.size.max Wenn beispielsweise der untere Bereich standardmäßig 50 MB beträgt, wird das Schreiben von 15.000 Vektoren mit voller Genauigkeit und einer Dimension von 768 zwischen den Aktualisierungsintervallen GPU-acceleration standardmäßig ausgelöst.
Daten werden mit den folgenden API-Operationen geschrieben:
GPU-acceleration ist sowohl bei der automatischen als auch bei der manuellen
Unterstützte Indexkonfigurationen
Die https://docs.opensearch.org/latest/field-types/supported-field-types/knn-methods-engines/#faiss-engine
Die folgenden Konfigurationen unterstützen GPU-acceleration nicht:
Unterstützt AWS-Regionen
GPU-acceleration ist in den folgenden AWS-Regionen Ausführungen verfügbar:
USA Ost (Nord-Virginia)
USA Ost (Ohio)
USA West (Oregon)
Asien-Pazifik (Sydney)
Asien-Pazifik (Tokio)
Asien-Pazifik (Mumbai)
Europa (Irland)
Europa (Frankfurt)
Europa (Stockholm)
Europa (Spain)
Bewährte Methoden
Folgen Sie diesen bewährten Methoden, um die Vorteile Ihrer GPU-acceleration Vektorsuche-Workloads zu maximieren:
-
Erhöhen Sie die Anzahl der Indexclients — Um die Vorteile der GPUs während der Indexerstellung voll auszuschöpfen, erhöhen Sie die Anzahl der Indexclients, in die Daten aufgenommen werden. OpenSearch Dies ermöglicht eine bessere Parallelisierung und Nutzung der GPU-Ressourcen.
-
Ungefähren Schwellenwert anpassen — Ändern Sie die
index.knn.advanced.approximate_thresholdEinstellung, um sicherzustellen, dass keine Indexerstellung kleinerer Segmente stattfindet, was die Gesamtgeschwindigkeit der Erfassung verbessert. Ein Wert von 10.000 ist ein guter Ausgangspunkt. Für Sammlungen müssen Sie explizit einen Wert für diese Einstellung angeben. -
Shard-Größe optimieren — Versuchen Sie, Shards mit mindestens 1 Million Dokumenten zu erstellen. Shards mit weniger als dieser Anzahl von Dokumenten bieten möglicherweise keine allgemeinen Vorteile von. GPU-acceleration
