Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Para utilizar Spark Cassandra Connector de código abierto con Amazon Keyspaces, debe proporcionar un archivo de configuración de la aplicación que contenga los ajustes necesarios para conectarse con el controlador Java de DataStax. Para conectarse, puede utilizar credenciales específicas del servicio o el complemento SigV4.
Si aún no lo ha hecho, necesita convertir el certificado digital de Starfield en un archivo trustStore. Puede seguir los pasos detallados en Antes de empezar del tutorial de conexión del controlador Java. Tome nota de la ruta y la contraseña del archivo trustStore porque necesitará esta información en el momento de crear el archivo de configuración de la aplicación.
Conexión con autenticación SigV4
En esta sección se muestra un archivo application.conf
de ejemplo que puede utilizar cuando se conecte con credenciales de AWS y el complemento SigV4. Si aún no lo ha hecho, debe generar sus claves de acceso de IAM (un ID de clave de acceso y una clave de acceso secreta) y guardarlas en su archivo de configuración de AWS o como variables de entorno. Para obtener instrucciones detalladas, consulte Credenciales requeridas por el AWS CLI complemento SigV4 de Amazon Keyspaces o por el plugin Amazon Keyspaces para los controladores de cliente de Cassandra AWS SDK.
En el siguiente ejemplo, sustituya la ruta de acceso a su archivo trustStore y la contraseña.
datastax-java-driver { basic.contact-points = ["cassandra.
us-east-1
.amazonaws.com:9142"] basic.load-balancing-policy { class = DefaultLoadBalancingPolicy local-datacenter =us-east-1
slow-replica-avoidance = false } basic.request { consistency = LOCAL_QUORUM } advanced { auth-provider = { class = software.aws.mcs.auth.SigV4AuthProvider aws-region =us-east-1
} ssl-engine-factory { class = DefaultSslEngineFactory truststore-path = "path_to_file
/cassandra_truststore.jks" truststore-password = "password
" hostname-validation=false } } advanced.connection.pool.local.size = 3 }
Actualice y guarde este archivo de configuración como /home/user1/application.conf
. Los siguientes ejemplos utilizan esta ruta.
Conexión con credenciales específicas del servicio
En esta sección se muestra un archivo application.conf
de ejemplo que puede utilizar cuando se conecte con credenciales específicas del servicio. Si aún no lo ha hecho, debe generar credenciales específicas del servicio para Amazon Keyspaces. Para obtener instrucciones detalladas, consulte Creación de credenciales específicas del servicio para el acceso programático a Amazon Keyspaces.
En el siguiente ejemplo, sustituya username
y password
por sus propias credenciales. Asimismo, sustituya la ruta de acceso a su archivo trustStore y la contraseña.
datastax-java-driver { basic.contact-points = ["cassandra.
us-east-1
.amazonaws.com:9142"] basic.load-balancing-policy { class = DefaultLoadBalancingPolicy local-datacenter = us-east-1 } basic.request { consistency = LOCAL_QUORUM } advanced { auth-provider = { class = PlainTextAuthProvider username = "username
" password = "password
" aws-region = "us-east-1
" } ssl-engine-factory { class = DefaultSslEngineFactory truststore-path = "path_to_file
/cassandra_truststore.jks" truststore-password = "password
" hostname-validation=false } metadata = { schema { token-map.enabled = true } } } }
Actualice y guarde este archivo de configuración como /home/user1/application.conf
para utilizarlo con el código de ejemplo.
Conexión con una tasa fija
Para forzar una tasa fija por ejecutor Spark, puede definir un regulador de solicitudes. Este regulador de solicitudes limita la tasa de solicitudes por segundo. Spark Cassandra Connector implementa una sesión de Cassandra por ejecutor. El uso de la siguiente fórmula puede ayudarle a conseguir un rendimiento coherente en una tabla.
max-request-per-second * numberOfExecutors = total throughput against a table
Puede añadir este ejemplo al archivo de configuración de la aplicación que creó anteriormente.
datastax-java-driver {
advanced.throttler {
class = RateLimitingRequestThrottler
max-requests-per-second = 3000
max-queue-size = 30000
drain-interval = 1 millisecond
}
}