減少資料掃描量

檔案大小 — 我們建議將輸入和輸出的檔案大小保持在中等範圍內 (例如 128 MB)。檔案太小和檔案太大可能會造成問題。

大量的小檔案會導致以下問題：

另一方面，如果您的文件類型不可分割（例如 gzip），並且文件太大，則 Spark 應用程序必須等到單個任務完成讀取整個文件。

若要減少為每個小型檔案建立 Apache Spark 工作時所產生的過多平行處理原則，請使用檔案群組。 DynamicFrames這種方法減少了 Spark 驅動程序OOM異常的可能性。若要規劃檔案群組，請設定groupFiles和groupSize參數。下列程式碼範例會 AWS Glue DynamicFrame API在具有這些參數的ETL指令碼中使用。

dyf = glueContext.create_dynamic_frame_from_options("s3",
    {'paths': ["s3://input-s3-path/"],
    'recurse':True,
    'groupFiles': 'inPartition',
    'groupSize': '1048576'},
    format="json")

壓縮 — 如果您的 S3 物件大於數百 MB，請考慮壓縮它們。有多種壓縮格式，大致可分為兩種類型：

對於 Spark (以及其他常見的分散式處理引擎)，您會將來源資料檔案分割成引擎可以 parallel 處理的區塊。這些單位通常被稱為拆分。資料採用可分割格式後，最佳化的 AWS Glue 讀取器可以透過提供僅擷取特定區塊的Range選項，從 S3 物件擷GetObjectAPI取分割。請看下面的圖表，看看這將如何在實踐中工作。

只要檔案具有最佳大小或檔案可分割，壓縮資料就可以大幅加快應用程式的速度。較小的資料大小可減少從 Amazon S3 掃描的資料，以及從 Amazon S3 傳送到 Spark 叢集的網路流量。另CPU一方面，壓縮和解壓縮數據需要更多。所需的計算量會根據壓縮演算法的壓縮率進行縮放。在選擇可拆分壓縮格式時，請考慮這種權衡。

檔案格式 — 使用欄格式。阿帕奇鑲木地板和 Apache ORC 是流行的柱狀數據格式。實木複合地板，並通過採用基於列的壓縮，編碼和基於其數據類型壓縮每列有效地ORC存儲數據。有關鑲木地板編碼的更多信息，請參閱實木地板編碼定義。實木複合地板文件也是可分割的。

柱格式按列對值進行分組，並將它們存儲在塊中。使用單欄格式時，您可以略過對應於您不打算使用的欄的資料區塊。Spark 應用程式只能擷取您需要的資料行。一般而言，較佳的壓縮比率或略過資料區塊表示從 Amazon S3 讀取較少的位元組，從而獲得更好的效能。這兩種格式也支援下列下推方法來減少 I/O：

檔案配置 — 透過根據資料的使用方式將 S3 資料存放到不同路徑中的物件，您可以有效率地擷取相關資料。如需詳細資訊，請參閱 Amazon S3 文件中的使用前置詞組織物件。 AWS Glue 支援以格式將金鑰和值存放到 Amazon S3 前置詞key=value，並依 Amazon S3 路徑對資料進行分區。透過分割資料，您可以限制每個下游分析應用程式掃描的資料量，從而改善效能並降低成本。如需詳細資訊，請參閱管理中的ETL輸出分割區 AWS Glue。

分區將您的表格分成不同的部分，並根據列值（例如年，月和日）將相關數據保存在分組文件中，如以下示例所示。

# Partitioning by /YYYY/MM/DD
s3://<YourBucket>/year=2023/month=03/day=31/0000.gz
s3://<YourBucket>/year=2023/month=03/day=01/0000.gz
s3://<YourBucket>/year=2023/month=03/day=02/0000.gz
s3://<YourBucket>/year=2023/month=03/day=03/0000.gz
...

您可以使用中的資料表建立模型，以定義資料集的分區 AWS Glue Data Catalog。然後，您可以使用分割區修剪來限制資料掃描量，如下所示：

Amazon S3 分割區太多 — 避免在包含多種值的資料行 (例如具有數千個值的 ID 資料行) 上分割 Amazon S3 資料。這可能會大幅增加儲存貯體中的分割區數量，因為可能的分割區數量是您所分割之所有欄位的產品。分割區過多可能會導致以下情況：

例如，當您在partitionBy或中設置日期類型時partitionKeys，日期級分區（例如）對許多用例都yyyy/mm/dd很有用。但是，yyyy/mm/dd/<ID>可能會產生如此多的分割區，以至於整體效能會產生負面影響。

另一方面，某些用例（例如實時處理應用程序）需要許多分區，例如yyyy/mm/dd/hh。如果您的使用案例需要大量的分割區，請考慮使用資料AWS Glue 分割索引來減少從資料目錄擷取分割區中繼資料的延遲。

對於 DynamicFrame，請使用sampleQuery選項。使用時create_dynamic_frame.from_catalog，請按如下方式配置additional_options引數。

query = "SELECT * FROM <TableName> where id = 'XX' AND"
datasource0 = glueContext.create_dynamic_frame.from_catalog(
  database = db,
  table_name = table,
  additional_options={
      "sampleQuery": query,
      "hashexpression": key,
      "hashpartitions": 10,
      "enablePartitioningForSampleQuery": True
    },
  transformation_ctx = "datasource0"
)

何時using create_dynamic_frame.from_options，如下配置connection_options引數。

query = "SELECT * FROM <TableName> where id = 'XX' AND"
datasource0 = glueContext.create_dynamic_frame.from_options(
    connection_type = connection, 
    connection_options={
        "url": url,
        "user": user,
        "password": password,
        "dbtable": table,
        "sampleQuery": query,
        "hashexpression": key,
        "hashpartitions": 10,
        "enablePartitioningForSampleQuery": True
    }
)

對於 DataFrame，請使用查詢選項。

query = "SELECT * FROM <TableName> where id = 'XX'"
jdbcDF = spark.read \
.format('jdbc') \
.option('url', url) \
.option('user', user) \
.option('password', pwd) \
.option('query', query) \
.load()

對於 Amazon Redshift，請使用 AWS Glue 4.0 或更新版本來利用 Amazon Redshift 星火連接器中的下推支援。

dyf = glueContext.create_dynamic_frame.from_catalog(
    database = "redshift-dc-database-name", 
    table_name = "redshift-table-name", 
    redshift_tmp_dir = args["temp-s3-dir"], 
    additional_options = {"aws_iam_role": "arn:aws:iam::role-account-id:role/rs-role-name"}
)

對於其他資料庫，請參閱該資料庫的文件。

若要避免對所有連續工作執行進行完整掃描，並且僅處理上次工作執行期間不存在的資料，請啟用工作書籤。

若要限制要處理的輸入資料數量，請使用工作書籤啟用有界執行。這有助於減少每個工作執行的掃描資料量。