Erstellen Sie einen Migrationsplan für die Migration von Apache Cassandra zu Amazon Keyspaces

Laden Sie das Kompatibilitäts-Python-Skript von herunter GitHub und verschieben Sie es an einen Ort, der Zugriff auf Ihren vorhandenen Apache Cassandra-Cluster hat.

Das Kompatibilitätsskript verwendet ähnliche Parameter wieCQLSH. --portGeben Sie die IP-Adresse --host und den Port ein, über den Sie eine Verbindung herstellen und Abfragen an einen der Cassandra-Knoten in Ihrem Cluster ausführen.

Wenn Ihr Cassandra-Cluster die Authentifizierung verwendet, müssen Sie auch und angeben-username. -password Um das Kompatibilitätsskript auszuführen, können Sie den folgenden Befehl verwenden.

python toolkit-compat-tool.py --host hostname or IP -u "username" -p "password" --port native transport port

Ermitteln Sie die Zeilengröße

Die Zeilengröße ist wichtig für die Bestimmung der Lese- und Schreibkapazitätsauslastung in Amazon Keyspaces. Das folgende Diagramm zeigt die typische Datenverteilung über einen Cassandra-Token-Bereich.

Sie können ein Sampler-Skript für die Zeilengröße verwenden, das auf verfügbar ist, GitHub um die Zeilengrößenmetriken für jede Tabelle in Ihrem Cassandra-Cluster zu erfassen.

Das Skript exportiert Tabellendaten aus Apache Cassandra, indem es die Mindest cqlsh -awk, Maximal-, Durchschnitts- und Standardabweichung der Zeilengröße anhand eines konfigurierbaren Stichprobensatzes von Tabellendaten verwendet und berechnet. Der Zeilengrößen-Sampler übergibt die Argumente ancqlsh, sodass dieselben Parameter verwendet werden können, um eine Verbindung herzustellen und aus Ihrem Cassandra-Cluster zu lesen.

Die folgende Aussage ist ein Beispiel dafür.

./row-size-sampler.sh 10.22.33.44 9142 \\
   -u "username" -p "password" --ssl

Weitere Informationen zur Berechnung der Zeilengröße in Amazon Keyspaces finden Sie unterSchätzen Sie die Zeilengröße in Amazon Keyspaces.

Ermitteln Sie die Tabellengröße

Mit Amazon Keyspaces müssen Sie keinen Speicherplatz im Voraus bereitstellen. Amazon Keyspaces überwacht kontinuierlich die fakturierbare Größe Ihrer Tabellen, um Ihre Speichergebühren zu ermitteln. Der Speicherplatz wird pro abgerechnet. GB-month Die Größe der Amazon Keyspaces-Tabelle basiert auf der Rohgröße (unkomprimiert) eines einzelnen Replikats.

Um die Tabellengröße in Amazon Keyspaces zu überwachen, können Sie die Metrik verwendenBillableTableSizeInBytes, die für jede Tabelle in der angezeigt wird. AWS-Managementkonsole

Um die fakturierbare Größe Ihrer Amazon Keyspaces-Tabelle abzuschätzen, können Sie eine der beiden Methoden verwenden:

• Verwenden Sie die durchschnittliche Zeilengröße und multiplizieren Sie sie mit der Anzahl der Zeilen.

  Sie können die Größe der Amazon Keyspaces-Tabelle schätzen, indem Sie die durchschnittliche Zeilengröße mit der Anzahl der Zeilen aus Ihrer Cassandra-Quelltabelle multiplizieren. Verwenden Sie das Beispielskript für die Zeilengröße aus dem vorherigen Abschnitt, um die durchschnittliche Zeilengröße zu erfassen. Um die Zeilenanzahl zu erfassen, können Sie Tools verwenden, dsbulk count um beispielsweise die Gesamtzahl der Zeilen in Ihrer Quelltabelle zu ermitteln.

• Verwenden Sie dasnodetool, um Tabellenmetadaten zu sammeln.

  Nodetoolist ein in der Apache Cassandra-Distribution bereitgestelltes Verwaltungstool, das Einblick in den Status des Cassandra-Prozesses bietet und Tabellenmetadaten zurückgibt. Sie können nodetool es verwenden, um Metadaten über die Tabellengröße abzufragen und damit die Tabellengröße in Amazon Keyspaces zu extrapolieren.

  Der zu verwendende Befehl lautet. nodetool tablestats Tablestats gibt die Größe und das Komprimierungsverhältnis der Tabelle zurück. Die Größe der Tabelle wird als tablelivespace für die Tabelle gespeichert und Sie können sie durch die compression ratio dividieren. Multiplizieren Sie dann diesen Größenwert mit der Anzahl der Knoten. Dividieren Sie schließlich durch den Replikationsfaktor (normalerweise drei).

  Dies ist die vollständige Formel für die Berechnung, anhand derer Sie die Tabellengröße beurteilen können.

  ((tablelivespace / compression ratio) * (total number of nodes))/ (replication factor)

  Nehmen wir an, Ihr Cassandra-Cluster hat 12 Knoten. Die Ausführung des nodetool tablestats Befehls gibt a tablelivespace von 200 GB und a compression ratio von 0,5 zurück. Der Schlüsselraum hat einen Replikationsfaktor von drei.

  So sieht die Berechnung für dieses Beispiel aus.

  (200 GB / 0.5) * (12 nodes)/ (replication factor of 3)
                          = 4,800 GB / 3
                          = 1,600 GB is the table size estimate for Amazon Keyspaces

Erfassen Sie die Anzahl der Lese- und Schreibvorgänge

Um die Kapazitäts- und Skalierungsanforderungen für Ihre Amazon Keyspaces-Tabellen zu ermitteln, erfassen Sie vor der Migration die Lese- und Schreibanforderungsrate Ihrer Cassandra-Tabellen.

Amazon Keyspaces ist serverlos und Sie zahlen nur für das, was Sie nutzen. Im Allgemeinen basiert der Preis für den read/write Durchsatz in Amazon Keyspaces auf der Anzahl und Größe der Anfragen.

In Amazon Keyspaces gibt es zwei Kapazitätsmodi:

Da Sie die Lese- und Schreibdurchsatzkapazität in Amazon Keyspaces separat bereitstellen, müssen Sie die Anforderungsrate für Lese- und Schreibvorgänge in Ihren vorhandenen Tabellen unabhängig voneinander messen.

Um die genauesten Nutzungsmetriken aus Ihrem vorhandenen Cassandra-Cluster zu ermitteln, erfassen Sie die durchschnittlichen Anforderungen pro Sekunde (RPS) für Lese- und Schreibvorgänge auf Koordinatorenebene über einen längeren Zeitraum für eine Tabelle, die über alle Knoten in einem einzigen Rechenzentrum aggregiert ist.

Durch die Erfassung des durchschnittlichen RPS über einen Zeitraum von mindestens mehreren Wochen werden Spitzen und Täler in Ihren Verkehrsmustern erfasst, wie im folgenden Diagramm dargestellt.

Sie haben zwei Möglichkeiten, die Lese- und Schreibanforderungsrate Ihrer Cassandra-Tabelle zu bestimmen.

• Verwenden Sie das vorhandene Cassandra-Monitoring

  Sie können die in der folgenden Tabelle aufgeführten Metriken verwenden, um Lese- und Schreibanforderungen zu beobachten. Beachten Sie, dass sich die Metriknamen je nach verwendetem Überwachungstool ändern können.

  Dimension	Cassandra JMX-Metrik
  Writes	org.apache.cassandra.metrics:type=ClientRequest, scope=Write,name=Latency#Count
  Reads	org.apache.cassandra.metrics:type=ClientRequest, scope=Read,name=Latency#Count

• Verwenden der nodetool

  Verwenden Sie nodetool tablestats undnodetool info, um durchschnittliche Lese- und Schreibvorgänge aus der Tabelle zu erfassen. tablestatsgibt die Gesamtzahl der Lese- und Schreibvorgänge ab dem Zeitpunkt zurück, zu dem der Knoten initiiert wurde. nodetool infogibt die Betriebszeit für einen Knoten in Sekunden an.

  Um den Durchschnitt der Lese- und Schreibvorgänge pro Sekunde zu erhalten, dividieren Sie die Anzahl der Lese- und Schreibvorgänge durch die Knotenbetriebszeit in Sekunden. Dann dividieren Sie für Lesevorgänge durch das Konsistenzniveau und für Schreibvorgänge dividieren Sie durch den Replikationsfaktor. Diese Berechnungen werden in den folgenden Formeln ausgedrückt.

  Formel für durchschnittliche Lesevorgänge pro Sekunde:

  ((number of reads * number of nodes in cluster) / read consistency quorum (2)) / uptime

  Formel für durchschnittliche Schreibvorgänge pro Sekunde:

  ((number of writes * number of nodes in cluster) / replication factor of 3) / uptime

  Nehmen wir an, wir haben einen Cluster mit 12 Knoten, der seit 4 Wochen aktiv ist. nodetool infogibt 2.419.200 Sekunden Betriebszeit zurück und nodetool tablestats gibt 1 Milliarde Schreibvorgänge und 2 Milliarden Lesevorgänge zurück. Dieses Beispiel würde zu der folgenden Berechnung führen.

  ((2 billion reads * 12 in cluster) / read consistency quorum (2)) / 2,419,200 seconds
  =  12 billion reads / 2,419,200 seconds
  =  4,960 read request per second
                          ((1 billion writes * 12 in cluster) / replication factor of 3) / 2,419,200 seconds
  =  4 billion writes / 2,419,200 seconds
  =  1,653 write request per second

Ermitteln Sie die Kapazitätsauslastung der Tabelle

Um die durchschnittliche Kapazitätsauslastung abzuschätzen, beginnen Sie mit den durchschnittlichen Anforderungsraten und der durchschnittlichen Zeilengröße Ihrer Cassandra-Quelltabelle.

Amazon Keyspaces verwendet Lesekapazitätseinheiten (RCUs) und Schreibkapazitätseinheiten (WCUs), um die bereitgestellte Durchsatzkapazität für Lese- und Schreibvorgänge für Tabellen zu messen. Für diese Schätzung verwenden wir diese Einheiten, um den Lese- und Schreibkapazitätsbedarf der neuen Amazon Keyspaces-Tabelle nach der Migration zu berechnen.

Später in diesem Thema werden wir erörtern, wie sich die Wahl zwischen bereitgestelltem und bedarfsorientiertem Kapazitätsmodus auf die Abrechnung auswirkt. Für die Schätzung der Kapazitätsauslastung in diesem Beispiel gehen wir jedoch davon aus, dass sich die Tabelle im Bereitstellungsmodus befindet.

Die folgende Formel kann verwendet werden, um die erforderlichen RCUs und WCUs zu schätzen.

Dies wird in den folgenden Formeln ausgedrückt.

Read requests per second * ROUNDUP((Average Row Size)/4096 per unit) =  RCUs per second
                
Write requests per second * ROUNDUP(Average Row Size/1024 per unit) = WCUs per second

Wenn Sie beispielsweise 4.960 Leseanforderungen mit einer Zeilengröße von 2,5 KB in Ihrer Cassandra-Tabelle ausführen, benötigen Sie 4.960 RCUs in Amazon Keyspaces. Wenn Sie derzeit 1.653 Schreibanforderungen pro Sekunde mit einer Zeilengröße von 2,5 KB in Ihrer Cassandra-Tabelle ausführen, benötigen Sie 4.959 WCUs pro Sekunde in Amazon Keyspaces.

Dieses Beispiel wird in den folgenden Formeln ausgedrückt.

4,960 read requests per second * ROUNDUP( 2.5KB /4KB bytes per unit)
= 4,960 read requests per second * 1 RCU
= 4,960 RCUs
                
1,653 write requests per second * ROUNDUP(2.5KB/1KB per unit) 
= 1,653 requests per second * 3 WCUs
= 4,959 WCUs

eventual consistencyMithilfe können Sie bei jeder Leseanforderung bis zur Hälfte der Durchsatzkapazität einsparen. Jeder letztendlich konsistente Lesevorgang kann bis zu 8 KB verbrauchen. Sie können mögliche konsistente Lesevorgänge berechnen, indem Sie die vorherige Berechnung mit 0,5 multiplizieren, wie in der folgenden Formel dargestellt.

4,960 read requests per second * ROUNDUP( 2.5KB /4KB per unit) * .5 
= 2,480 read request per second * 1 RCU
= 2,480 RCUs

Berechnen Sie die monatliche Preisschätzung für Amazon Keyspaces

Um die monatliche Abrechnung für die Tabelle auf der Grundlage des read/write Kapazitätsdurchsatzes abzuschätzen, können Sie die Preise für den On-Demand- und den Bereitstellungsmodus mithilfe verschiedener Formeln berechnen und die Optionen für Ihre Tabelle vergleichen.

Bereitgestellter Modus — Der Kapazitätsverbrauch für Lese- und Schreibvorgänge wird auf der Grundlage der Kapazitätseinheiten pro Sekunde auf Stundenbasis abgerechnet. Teilen Sie diese Rate zunächst durch 0,7, um der standardmäßigen Autoscaling-Zielauslastung von 70% zu entsprechen. Multiplizieren Sie dann mit 30 Kalendertagen, 24 Stunden pro Tag und regionaler Preisgestaltung.

Diese Berechnung wird in den folgenden Formeln zusammengefasst.

(read capacity per second / .7) * 24 hours * 30 days * regional rate
                (write capacity per second / .7) * 24 hours * 30 days * regional rate

On-demand Modus — Die Lese- und Schreibkapazität wird pro Anforderung abgerechnet. Multiplizieren Sie zunächst die Anforderungsrate mit 30 Kalendertagen und 24 Stunden pro Tag. Teilen Sie dann durch eine Million Anforderungseinheiten. Schließlich multiplizieren Sie mit der regionalen Rate.

Diese Berechnung ist in den folgenden Formeln zusammengefasst.

((read capacity per second * 30 * 24 * 60 * 60) / 1 Million read request units) * regional rate
                ((write capacity per second * 30 * 24 * 60 * 60) / 1 Million write request units) * regional rate