性能优化的基准策略
要提高 AWS Glue 的性能,建议更新某些与性能相关的 AWS Glue 参数。准备优化参数时,请遵循以下最佳实践:
应首先确定性能目标,然后再开始确定性能问题。
应首先使用指标来确定问题,然后再尝试更改优化参数。
为确保在优化作业时获得稳定一致的结果,应为优化工作制定基线策略。
性能优化的工作流通常如下:
确定性能目标。
衡量指标。
识别瓶颈。
减少瓶颈的影响。
重复第 2-4 步,直到达到预期目标为止。
适合作业类型的微调策略
Spark 作业:遵循《AWS 规范性指导》中的微调 AWS Glue for Apache Spark 作业性能的最佳实践指导。
其他作业 – 可以通过调整其他运行时环境中可用的策略来微调 AWS Glue for Ray 和 AWS Glue Python shell 作业。