對零ETL整合進行故障診斷 - Amazon Redshift

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

對零ETL整合進行故障診斷

使用下列各節來協助疑難排解零整合時遇到ETL的問題。

使用下列資訊來疑難排解與 Aurora My 零ETL整合的常見問題SQL。

整合建立失敗

如果建立零ETL整合失敗,整合的狀態為 Inactive。請確定您的 Aurora 資料庫叢集符合下列敘述:

  • 您已在 Amazon RDS主控台中建立叢集。

  • 您的來源 Aurora 資料庫叢集正在執行支援的版本。如需支援的版本清單,請參閱支援區域和 Aurora 資料庫引擎,以與 Amazon Redshift 進行零ETL整合。若要驗證此問題,請前往叢集的組態索引標籤,然後檢查引擎版本

  • 您已正確設定叢集的 binlog 參數設定。如果您的 Aurora MySQL binlog 參數設定不正確,或未與來源 Aurora 資料庫叢集建立關聯,則建立會失敗。請參閱設定資料庫叢集參數

此外,請確定您的 Amazon Redshift 資料倉儲符合下列敘述:

資料表沒有主索引鍵

在目的地資料庫中,一或多個資料表沒有主索引鍵,因此無法同步。

若要解決此問題,請前往整合詳細資訊頁面上的資料表統計資料索引標籤,或使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。您可以在資料表中新增主索引鍵,Amazon Redshift 便會重新同步資料表。或者,雖不建議,但您也可以捨棄 Aurora 上的這些資料表,並建立有主索引鍵的資料表。如需詳細資訊,請參閱 Amazon Redshift 的資料表設計最佳實務

Aurora 我的SQL資料表未複寫至 Amazon Redshift

如果您沒有看到一或多個反映在 Amazon Redshift 中的資料表,您可以執行下列命令來重新同步它們。Replace (取代) dbname Amazon Redshift 資料庫的名稱。然後,取代 table1 以及 table2 要同步的資料表名稱。

ALTER DATABASE dbname INTEGRATION REFRESH TABLES table1, table2;

如需詳細資訊,請參閱 Amazon Redshift 資料庫開發人員指南 ALTER DATABASE 中的 。

您的資料可能無法複寫,因為一或多個來源資料表沒有主索引鍵。Amazon Redshift 中的監控儀表板會將這些資料表的狀態顯示為 Failed,而整體零ETL整合的狀態會變更為 Needs attention。若要解決此問題,您可以識別資料表中可成為主金鑰的現有金鑰,也可以新增合成主金鑰。如需詳細解決方案,請參閱AWS 資料庫部落格 中的在建立 Aurora My SQL-Compatible Edition 時處理沒有主索引鍵的資料表RDS,或與 Amazon Redshift 進行 MySQL zero-ETL 整合

資料表中有不支援的資料類型

在您從 Amazon Redshift 整合建立的資料庫中,以及從 Aurora 資料庫叢集複寫資料的目的地資料庫中,一或多個資料表有不支援的資料類型,因此無法同步。

若要解決此問題,請前往整合詳細資訊頁面上的資料表統計資料索引標籤,或使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。然後,移除這些資料表,並在 Amazon 上重新建立新的資料表RDS。如需有關不受支援資料類型的詳細資訊,請參閱 Amazon Aurora 使用者指南中的 Aurora 和 Amazon Redshift 資料庫之間的資料類型差異

資料操作語言命令失敗

Amazon Redshift 無法在 Redshift 資料表上執行DML命令。若要解決此問題,請使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。Amazon Redshift 會自動重新同步資料表以解決此錯誤。

資料來源之間的追蹤變更不相符

當 Amazon Aurora 與 Amazon Redshift 之間的變更不相符,導致整合進入 Failed 狀態時,就會發生此錯誤。

若要解決此問題,請刪除零ETL整合,然後在 Amazon 中再次建立RDS。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

授權失敗

授權失敗,因為做為 Amazon Redshift 資料倉儲授權整合來源的來源 Aurora 資料庫叢集已遭到移除。

若要解決此問題,請刪除零ETL整合,然後在 Amazon 上再次建立RDS。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

資料表數量超過 10 萬個或結構描述數量超過 4950 個

對於目的地資料倉儲,資料表的數量超過 10 萬個或結構描述的數量超過 4950 個。Amazon Aurora 無法將資料傳送到 Amazon Redshift。資料表和結構描述的數量超過所設定的限制。若要解決此問題,請從來源資料庫中移除任何不必要的結構描述或資料表。

Amazon Redshift 無法載入資料

Amazon Redshift 無法將資料載入至零ETL整合。

若要解決此問題,請刪除 Amazon 上的零ETL整合,RDS然後再次建立。如需詳細資訊,請參閱建立零整合ETL刪除零ETL整合。

工作群組參數的設定不正確

您的工作群組未開啟區分大小寫功能。

若要解決此問題,請前往整合詳細資訊頁面上的屬性索引標籤、選擇參數群組,然後從屬性索引標籤開啟區分大小寫的識別碼。如果您沒有現有的參數群組,請建立一個已開啟區分大小寫識別碼的參數群組。然後,在 Amazon 上建立新的零ETL整合RDS。如需詳細資訊,請參閱建立零ETL整合。

未建立資料庫來啟用零ETL整合

沒有為零ETL整合建立資料庫來啟用它。

若要解決此問題,請為整合建立資料庫。如需詳細資訊,請參閱在 Amazon Redshift 中建立目的地資料庫

資料表處於需要重新同步處理重新同步處理已起始狀態

您的資料表處於需要重新同步處理重新同步處理已起始狀態。

若要收集資料表為何處於該狀態的更詳細錯誤資訊,請使用 SYS_LOAD_ERROR_DETAIL 系統檢視。

使用下列資訊來疑難排解與 Aurora Postgre 零ETL整合的常見問題SQL。

整合建立失敗

如果建立零ETL整合失敗,整合的狀態為 Inactive。請確定您的 Aurora 資料庫叢集符合下列敘述:

  • 您已在 Amazon RDS主控台中建立叢集。

  • 您的來源 Aurora 資料庫叢集正在執行支援的版本。如需支援的版本清單,請參閱支援區域和 Aurora 資料庫引擎,以與 Amazon Redshift 進行零ETL整合。若要驗證此問題,請前往叢集的組態索引標籤,然後檢查引擎版本

  • 您已正確設定叢集的 binlog 參數設定。如果您的 Aurora PostgreSQL binlog 參數設定不正確,或未與來源 Aurora 資料庫叢集建立關聯,則建立會失敗。請參閱設定資料庫叢集參數

此外,請確定您的 Amazon Redshift 資料倉儲符合下列敘述:

資料表沒有主索引鍵

在目的地資料庫中,一或多個資料表沒有主索引鍵,因此無法同步。

若要解決此問題,請前往整合詳細資訊頁面上的資料表統計資料索引標籤,或使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。您可以在資料表中新增主索引鍵,Amazon Redshift 便會重新同步資料表。或者,雖不建議,但您也可以捨棄 Aurora 上的這些資料表,並建立有主索引鍵的資料表。如需詳細資訊,請參閱 Amazon Redshift 的資料表設計最佳實務

Aurora PostgreSQL 資料表未複寫至 Amazon Redshift

如果您沒有看到一或多個反映在 Amazon Redshift 中的資料表,您可以執行下列命令來重新同步它們。Replace (取代) dbname Amazon Redshift 資料庫的名稱。然後,取代 table1 以及 table2 要同步的資料表名稱。

ALTER DATABASE dbname INTEGRATION REFRESH TABLES table1, table2;

如需詳細資訊,請參閱 Amazon Redshift 資料庫開發人員指南 ALTER DATABASE 中的 。

您的資料可能無法複寫,因為一或多個來源資料表沒有主索引鍵。Amazon Redshift 中的監控儀表板會將這些資料表的狀態顯示為 Failed,而整體零ETL整合的狀態會變更為 Needs attention。若要解決此問題,您可以識別資料表中可成為主金鑰的現有金鑰,也可以新增合成主金鑰。如需詳細解決方案,請參閱AWS 資料庫部落格 中的在沒有主索引鍵的情況下處理資料表,同時建立 Aurora Postgre SQL-Compatible Edition 零-ETL 與 Amazon Redshift 整合

資料表中有不支援的資料類型

在您從 Amazon Redshift 整合建立的資料庫中,以及從 Aurora 資料庫叢集複寫資料的目的地資料庫中,一或多個資料表有不支援的資料類型,因此無法同步。

若要解決此問題,請前往整合詳細資訊頁面上的資料表統計資料索引標籤,或使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。然後,移除這些資料表,並在 Amazon 上重新建立新的資料表RDS。如需有關不受支援資料類型的詳細資訊,請參閱 Amazon Aurora 使用者指南中的 Aurora 和 Amazon Redshift 資料庫之間的資料類型差異

資料操作語言命令失敗

Amazon Redshift 無法在 Redshift 資料表上執行DML命令。若要解決此問題,請使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。Amazon Redshift 會自動重新同步資料表以解決此錯誤。

資料來源之間的追蹤變更不相符

當 Amazon Aurora 與 Amazon Redshift 之間的變更不相符,導致整合進入 Failed 狀態時,就會發生此錯誤。

若要解決此問題,請刪除零ETL整合,然後在 Amazon 中再次建立RDS。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

授權失敗

授權失敗,因為做為 Amazon Redshift 資料倉儲授權整合來源的來源 Aurora 資料庫叢集已遭到移除。

若要解決此問題,請刪除零ETL整合,然後在 Amazon 上再次建立RDS。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

資料表數量超過 10 萬個或結構描述數量超過 4950 個

對於目的地資料倉儲,資料表的數量超過 10 萬個或結構描述的數量超過 4950 個。Amazon Aurora 無法將資料傳送到 Amazon Redshift。資料表和結構描述的數量超過所設定的限制。若要解決此問題,請從來源資料庫中移除任何不必要的結構描述或資料表。

Amazon Redshift 無法載入資料

Amazon Redshift 無法將資料載入至零ETL整合。

若要解決此問題,請刪除 Amazon 上的零ETL整合,RDS然後再次建立。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

工作群組參數的設定不正確

您的工作群組未開啟區分大小寫功能。

若要解決此問題,請前往整合詳細資訊頁面上的屬性索引標籤、選擇參數群組,然後從屬性索引標籤開啟區分大小寫的識別碼。如果您沒有現有的參數群組,請建立一個已開啟區分大小寫識別碼的參數群組。然後,在 Amazon 上建立新的零ETL整合RDS。如需詳細資訊,請參閱建立零ETL整合。

未建立資料庫來啟用零ETL整合

沒有為零ETL整合建立資料庫來啟用它。

若要解決此問題,請為整合建立資料庫。如需詳細資訊,請參閱在 Amazon Redshift 中建立目的地資料庫

資料表處於需要重新同步處理重新同步處理已起始狀態

您的資料表處於需要重新同步處理重新同步處理已起始狀態。

若要收集資料表處於該狀態之原因的更詳細錯誤資訊,請使用 SYS_LOAD_ERROR_DETAIL 系統檢視。

使用下列資訊,針對與 RDS for My 的零ETL整合的常見問題進行疑難排解SQL。

整合建立失敗

如果建立零ETL整合失敗,整合的狀態為 Inactive。請確定來源RDS資料庫執行個體的下列內容正確無誤:

  • 您已在 Amazon RDS主控台中建立執行個體。

  • 您的來源資料庫執行個體正在執行 RDS My RDS 支援的 版本SQL。如需支援的版本清單,請參閱適用於與 Amazon Redshift 進行RDS零ETL整合的 Amazon 支援區域和資料庫引擎。若要驗證此問題,請前往執行個體的組態索引標籤,然後檢查引擎版本

  • 您已正確設定執行個體的 binlog 參數設定。如果您的 RDS for MySQL binlog 參數設定不正確,或未與來源RDS資料庫執行個體建立關聯,則建立會失敗。請參閱設定資料庫執行個體參數

此外,請確定您的 Amazon Redshift 資料倉儲符合下列敘述:

資料表沒有主索引鍵

在目的地資料庫中,一或多個資料表沒有主索引鍵,因此無法同步。

若要解決此問題,請前往整合詳細資訊頁面上的資料表統計資料索引標籤,或使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。您可以在資料表中新增主索引鍵,Amazon Redshift 便會重新同步資料表。或者,雖然不建議,但您可以捨棄這些資料表,RDS並使用主索引鍵建立資料表。如需詳細資訊,請參閱 Amazon Redshift 的資料表設計最佳實務

RDS 我的SQL資料表未複寫至 Amazon Redshift

如果您沒有看到一或多個反映在 Amazon Redshift 中的資料表,您可以執行下列命令來重新同步它們。Replace (取代) dbname Amazon Redshift 資料庫的名稱。然後,取代 table1 以及 table2 要同步的資料表名稱。

ALTER DATABASE dbname INTEGRATION REFRESH TABLES table1, table2;

如需詳細資訊,請參閱 Amazon Redshift 資料庫開發人員指南 ALTER DATABASE 中的 。

您的資料可能無法複寫,因為一或多個來源資料表沒有主索引鍵。Amazon Redshift 中的監控儀表板會將這些資料表的狀態顯示為 Failed,而整體零ETL整合的狀態會變更為 Needs attention。若要解決此問題,您可以識別資料表中可成為主金鑰的現有金鑰,也可以新增合成主金鑰。如需詳細解決方案,請參閱AWS 資料庫部落格 中的在建立 Aurora My SQL-Compatible Edition 或 RDS SQLMyZero-ETL Integrations with Amazon Redshift 時,在沒有主索引鍵的情況下處理資料表

資料表中有不支援的資料類型

在您從 Amazon Redshift 整合建立的資料庫中,以及從RDS資料庫執行個體複寫資料的資料庫中,一或多個資料表具有不支援的資料類型,且無法同步。

若要解決此問題,請前往整合詳細資訊頁面上的資料表統計資料索引標籤,或使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。然後,移除這些資料表,並在 Amazon 上重新建立新的資料表RDS。如需不支援資料類型的詳細資訊,請參閱 Amazon 使用者指南 中的 RDS和 Amazon Redshift 資料庫之間的資料類型差異 RDS

資料操作語言命令失敗

Amazon Redshift 無法在 Redshift 資料表上執行DML命令。若要解決此問題,請使用 SVV_INTEGRATION_TABLE_STATE 檢視失敗的資料表。Amazon Redshift 會自動重新同步資料表以解決此錯誤。

資料來源之間的追蹤變更不相符

當 Amazon Aurora 與 Amazon Redshift 之間的變更不相符,導致整合進入 Failed 狀態時,就會發生此錯誤。

若要解決此問題,請刪除零ETL整合,然後在 Amazon 中再次建立RDS。如需詳細資訊,請參閱建立零整合ETL刪除零ETL整合。

授權失敗

授權失敗,因為來源資料庫執行個體已移除,做為 Amazon Redshift RDS 資料倉儲的授權整合來源。

若要解決此問題,請刪除零ETL整合,然後在 Amazon 上再次建立RDS。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

資料表數量超過 10 萬個或結構描述數量超過 4950 個

對於目的地資料倉儲,資料表的數量超過 10 萬個或結構描述的數量超過 4950 個。Amazon Aurora 無法將資料傳送到 Amazon Redshift。資料表和結構描述的數量超過所設定的限制。若要解決此問題,請從來源資料庫中移除任何不必要的結構描述或資料表。

Amazon Redshift 無法載入資料

Amazon Redshift 無法將資料載入至零ETL整合。

若要解決此問題,請刪除 Amazon 上的零ETL整合,RDS然後再次建立。如需詳細資訊,請參閱建立零ETL整合刪除零ETL整合。

工作群組參數的設定不正確

您的工作群組未開啟區分大小寫功能。

若要解決此問題,請前往整合詳細資訊頁面上的屬性索引標籤、選擇參數群組,然後從屬性索引標籤開啟區分大小寫的識別碼。如果您沒有現有的參數群組,請建立一個已開啟區分大小寫識別碼的參數群組。然後,在 Amazon 上建立新的零ETL整合RDS。如需詳細資訊,請參閱建立零ETL整合。

未建立資料庫來啟用零ETL整合

沒有為零ETL整合建立資料庫來啟用它。

若要解決此問題,請為整合建立資料庫。如需詳細資訊,請參閱在 Amazon Redshift 中建立目的地資料庫

資料表處於需要重新同步處理重新同步處理已起始狀態

您的資料表處於需要重新同步處理重新同步處理已起始狀態。

若要收集資料表處於該狀態之原因的更詳細錯誤資訊,請使用 SYS_LOAD_ERROR_DETAIL 系統檢視。