选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

排除将 Spark Cassandra Connector 与 Amazon Keyspaces 配合使用时的常见错误

聚焦模式

本页内容

排除将 Spark Cassandra Connector 与 Amazon Keyspaces 配合使用时的常见错误 - Amazon Keyspaces(Apache Cassandra 兼容)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

如果您在使用 Amazon Virtual Private Cloud 并连接到 Amazon Keyspaces,则在使用 Spark 连接器时遇到的最常见的错误往往由以下配置问题引起。

有关详细的链接故障排除步骤,请参阅我的VPC端点连接无法正常工作

此外,您可以使用 Amazon CloudWatch 指标来帮助您解决 Amazon Keyspaces 中的 Spark Cassandra Connector 配置问题。要了解有关将 Amazon Keyspaces 与 CloudWatch 结合使用的更多信息,请参阅使用亚马逊监控亚马逊密钥空间 CloudWatch

以下部分介绍了在使用 Spark Cassandra Connector 时需要观察的最有用的指标。

PerConnectionRequestRateExceeded

Amazon Keyspaces 的配额为每个连接每秒 3000 个请求。每个 Spark 执行程序都会与 Amazon Keyspaces 建立连接。多次重试可能会耗尽每个连接的请求速率配额。如果您超出此配额,Amazon Keyspaces 会在 CloudWatch 中发布一个 PerConnectionRequestRateExceeded 指标。

如果您看到 PerConnectionRequestRateExceeded 事件以及其他系统或用户错误,则很可能是 Spark 在进行多次重试,超出了每个连接分配的请求数。

如果您看到 PerConnectionRequestRateExceeded 事件但没有看到其他错误,则您可能需要增加驱动程序设置中的连接数以提高吞吐量,或者可能需要增加 Spark 作业中的执行程序数量。

StoragePartitionThroughputCapacityExceeded

Amazon Keyspaces 的配额为每秒 1000 个 WCU 或 WRU /每个分区每秒 3000 个 RCU 或 RRU。如果您看到 StoragePartitionThroughputCapacityExceeded CloudWatch 事件,则可能表明加载的数据没有经过随机化处理。有关如何随机处理数据的示例,请参阅步骤 4:在 Amazon Keyspaces 中准备源数据和目标表

常见错误和警告

如果您在使用 Amazon Virtual Private Cloud 并连接到 Amazon Keyspaces,则 Cassandra 驱动程序可能会在 system.peers 表中发出有关控制节点本身的警告消息。有关更多信息,请参阅 常见错误和警告。您可以放心地忽略这一警告。

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。