本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
要使用開源的星火 Cassandra 連接器與 Amazon Keyspaces,你需要提供一個應用程序配置文件,其中包含與 Java 驅動程序連接所需的 DataStax 設置。您可以使用服務特定憑證或 Sigv4 外掛程式進行連線。
如果您尚未這樣做,則需要將 Starfield 數位憑證轉換為 trustStore 檔案。您可以遵循 Java 驅動程式連線教學課程開始之前中的詳細步驟。請記下 trustStore 檔案路徑和密碼,因為您在建立應用程式設定檔時需要這些資訊。
使 Connect Sigv4 驗證連線
本節向您展示了在連接時可以使用的示例application.conf
文件 AWS 憑證和 Sigv4 外掛程式。如果您尚未這樣做,則需要生成您的IAM訪問密鑰(訪問密鑰 ID 和秘密訪問密鑰)並將其保存在 AWS 配置文件或作為環境變量。如需詳細說明,請參閱 Cassandra 用戶端驅動程式的 AWS CLI、 AWS SDK或 Amazon Keyspaces SigV4 外掛程式所需的登入資料。
在下列範例中,取代檔案的 trustStore 檔案路徑,並取代密碼。
datastax-java-driver { basic.contact-points = ["cassandra.
us-east-1
.amazonaws.com:9142"] basic.load-balancing-policy { class = DefaultLoadBalancingPolicy local-datacenter =us-east-1
slow-replica-avoidance = false } basic.request { consistency = LOCAL_QUORUM } advanced { auth-provider = { class = software.aws.mcs.auth.SigV4AuthProvider aws-region =us-east-1
} ssl-engine-factory { class = DefaultSslEngineFactory truststore-path = "path_to_file
/cassandra_truststore.jks" truststore-password = "password
" hostname-validation=false } } advanced.connection.pool.local.size = 3 }
更新並將此組態檔另存為/home/user1/application.conf
。下列範例會使用此路徑。
使 Connect 服務特定認證連線
本節顯示使用服務特定認證連線時可使用的範例application.conf
檔案。如果您尚未這樣做,則需要為 Amazon Keyspaces 產生服務特定的登入資料。如需詳細說明,請參閱 建立服務特定登入資料,以程式設計方式存取 Amazon Keyspaces。
在下列範例中,取代username
並password
使用您自己的認證。另外,替換文件的 trustStore 文件路徑,並替換密碼。
datastax-java-driver { basic.contact-points = ["cassandra.
us-east-1
.amazonaws.com:9142"] basic.load-balancing-policy { class = DefaultLoadBalancingPolicy local-datacenter = us-east-1 } basic.request { consistency = LOCAL_QUORUM } advanced { auth-provider = { class = PlainTextAuthProvider username = "username
" password = "password
" aws-region = "us-east-1
" } ssl-engine-factory { class = DefaultSslEngineFactory truststore-path = "path_to_file
/cassandra_truststore.jks" truststore-password = "password
" hostname-validation=false } metadata = { schema { token-map.enabled = true } } } }
更新並儲存此組態檔案,以/home/user1/application.conf
便與程式碼範例搭配使用。
以固定費率 Connect
要強制每個 Spark 執行程序固定速率,您可以定義請求節流器。此要求節流程式會限制每秒要求的速率。火花卡桑德拉連接器部署每個執行程序卡桑德拉會話。使用下列公式可協助您針對資料表達成一致的輸送量。
max-request-per-second * numberOfExecutors = total throughput against a table
您可以將此範例新增至先前建立的應用程式設定檔。
datastax-java-driver {
advanced.throttler {
class = RateLimitingRequestThrottler
max-requests-per-second = 3000
max-queue-size = 30000
drain-interval = 1 millisecond
}
}