AWS Glue 使用 SDK for Rust 的範例 - AWS SDK 程式碼範例
基本概念動作

文件 AWS SDK AWS 範例 SDK 儲存庫中有更多可用的 GitHub 範例。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS Glue 使用 SDK for Rust 的範例

下列程式碼範例示範如何使用 AWS SDK for Rust 搭配 來執行動作和實作常見案例 AWS Glue。

基本概念是程式碼範例，示範如何在服務內執行基本操作。

Actions 是大型程式的程式碼摘錄，必須在內容中執行。雖然動作會示範如何呼叫個別服務函數，但您可以在相關案例中查看內容中的動作。

每個範例都包含完整原始程式碼的連結，您可以在其中找到如何在內容中設定和執行程式碼的指示。

開始使用

下列程式碼範例示範如何開始使用 AWS Glue。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let mut list_jobs = glue.list_jobs().into_paginator().send();
        while let Some(list_jobs_output) = list_jobs.next().await {
            match list_jobs_output {
                Ok(list_jobs) => {
                    let names = list_jobs.job_names();
                    info!(?names, "Found these jobs")
                }
                Err(err) => return Err(GlueMvpError::from_glue_sdk(err)),
            }
        }

  • 如需 API 詳細資訊，請參閱 ListJobsAWS SDK for Rust Word 參考中的 API。

基本概念

以下程式碼範例顯示做法：

  • 建立爬蟲程式，以爬取公有 Amazon S3 儲存貯體並產生 CSV 格式中繼資料的資料庫。

  • 列出 中資料庫和資料表的相關資訊 AWS Glue Data Catalog。

  • 建立任務，從 S3 儲存貯體擷取 CSV 資料、轉換資料，並將 JSON 格式的輸出載入另一個 S3 儲存貯體。

  • 列出任務執行的相關資訊、檢視已轉換的資料以及清除資源。

如需詳細資訊，請參閱教學課程： AWS Glue Studio 入門。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

建立並執行爬蟲程式，該爬蟲程式會爬取公有的 Amazon Simple Storage Service (Amazon S3) 儲存貯體，並產生中繼資料資料庫，描述其找到的 CSV 格式資料。

        let create_crawler = glue
            .create_crawler()
            .name(self.crawler())
            .database_name(self.database())
            .role(self.iam_role.expose_secret())
            .targets(
                CrawlerTargets::builder()
                    .s3_targets(S3Target::builder().path(CRAWLER_TARGET).build())
                    .build(),
            )
            .send()
            .await;

        match create_crawler {
            Err(err) => {
                let glue_err: aws_sdk_glue::Error = err.into();
                match glue_err {
                    aws_sdk_glue::Error::AlreadyExistsException(_) => {
                        info!("Using existing crawler");
                        Ok(())
                    }
                    _ => Err(GlueMvpError::GlueSdk(glue_err)),
                }
            }
            Ok(_) => Ok(()),
        }?;

        let start_crawler = glue.start_crawler().name(self.crawler()).send().await;

        match start_crawler {
            Ok(_) => Ok(()),
            Err(err) => {
                let glue_err: aws_sdk_glue::Error = err.into();
                match glue_err {
                    aws_sdk_glue::Error::CrawlerRunningException(_) => Ok(()),
                    _ => Err(GlueMvpError::GlueSdk(glue_err)),
                }
            }
        }?;

列出 中資料庫和資料表的相關資訊 AWS Glue Data Catalog。

        let database = glue
            .get_database()
            .name(self.database())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?
            .to_owned();
        let database = database
            .database()
            .ok_or_else(|| GlueMvpError::Unknown("Could not find database".into()))?;

        let tables = glue
            .get_tables()
            .database_name(self.database())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        let tables = tables.table_list();

建立和執行從來源 Amazon S3 儲存貯體擷取 CSV 資料的任務，透過移除和重新命名欄位進行轉換，並將 JSON 格式的輸出載入另一個 Amazon S3 儲存貯體。

        let create_job = glue
            .create_job()
            .name(self.job())
            .role(self.iam_role.expose_secret())
            .command(
                JobCommand::builder()
                    .name("glueetl")
                    .python_version("3")
                    .script_location(format!("s3://{}/job.py", self.bucket()))
                    .build(),
            )
            .glue_version("3.0")
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        let job_name = create_job.name().ok_or_else(|| {
            GlueMvpError::Unknown("Did not get job name after creating job".into())
        })?;

        let job_run_output = glue
            .start_job_run()
            .job_name(self.job())
            .arguments("--input_database", self.database())
            .arguments(
                "--input_table",
                self.tables
                    .first()
                    .ok_or_else(|| GlueMvpError::Unknown("Missing crawler table".into()))?
                    .name(),
            )
            .arguments("--output_bucket_url", self.bucket())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        let job = job_run_output
            .job_run_id()
            .ok_or_else(|| GlueMvpError::Unknown("Missing run id from just started job".into()))?
            .to_string();

刪除透過示範建立的所有資源。

        glue.delete_job()
            .job_name(self.job())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        for t in &self.tables {
            glue.delete_table()
                .name(t.name())
                .database_name(self.database())
                .send()
                .await
                .map_err(GlueMvpError::from_glue_sdk)?;
        }

        glue.delete_database()
            .name(self.database())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        glue.delete_crawler()
            .name(self.crawler())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

動作

下列程式碼範例示範如何使用 CreateCrawler。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let create_crawler = glue
            .create_crawler()
            .name(self.crawler())
            .database_name(self.database())
            .role(self.iam_role.expose_secret())
            .targets(
                CrawlerTargets::builder()
                    .s3_targets(S3Target::builder().path(CRAWLER_TARGET).build())
                    .build(),
            )
            .send()
            .await;

        match create_crawler {
            Err(err) => {
                let glue_err: aws_sdk_glue::Error = err.into();
                match glue_err {
                    aws_sdk_glue::Error::AlreadyExistsException(_) => {
                        info!("Using existing crawler");
                        Ok(())
                    }
                    _ => Err(GlueMvpError::GlueSdk(glue_err)),
                }
            }
            Ok(_) => Ok(()),
        }?;

  • 如需 API 詳細資訊，請參閱 CreateCrawler AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 CreateJob。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let create_job = glue
            .create_job()
            .name(self.job())
            .role(self.iam_role.expose_secret())
            .command(
                JobCommand::builder()
                    .name("glueetl")
                    .python_version("3")
                    .script_location(format!("s3://{}/job.py", self.bucket()))
                    .build(),
            )
            .glue_version("3.0")
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        let job_name = create_job.name().ok_or_else(|| {
            GlueMvpError::Unknown("Did not get job name after creating job".into())
        })?;

  • 如需 API 詳細資訊，請參閱 CreateJob AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 DeleteCrawler。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        glue.delete_crawler()
            .name(self.crawler())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

  • 如需 API 詳細資訊，請參閱 DeleteCrawler AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 DeleteDatabase。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        glue.delete_database()
            .name(self.database())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

  • 如需 API 詳細資訊，請參閱 DeleteDatabase AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 DeleteJob。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        glue.delete_job()
            .job_name(self.job())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

  • 如需 API 詳細資訊，請參閱 DeleteJob AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 DeleteTable。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        for t in &self.tables {
            glue.delete_table()
                .name(t.name())
                .database_name(self.database())
                .send()
                .await
                .map_err(GlueMvpError::from_glue_sdk)?;
        }

  • 如需 API 詳細資訊，請參閱 DeleteTable AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 GetCrawler。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

            let tmp_crawler = glue
                .get_crawler()
                .name(self.crawler())
                .send()
                .await
                .map_err(GlueMvpError::from_glue_sdk)?;

  • 如需 API 詳細資訊，請參閱 GetCrawler AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 GetDatabase。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let database = glue
            .get_database()
            .name(self.database())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?
            .to_owned();
        let database = database
            .database()
            .ok_or_else(|| GlueMvpError::Unknown("Could not find database".into()))?;

  • 如需 API 詳細資訊，請參閱 GetDatabase AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 GetJobRun。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let get_job_run = || async {
            Ok::<JobRun, GlueMvpError>(
                glue.get_job_run()
                    .job_name(self.job())
                    .run_id(job_run_id.to_string())
                    .send()
                    .await
                    .map_err(GlueMvpError::from_glue_sdk)?
                    .job_run()
                    .ok_or_else(|| GlueMvpError::Unknown("Failed to get job_run".into()))?
                    .to_owned(),
            )
        };

        let mut job_run = get_job_run().await?;
        let mut state = job_run.job_run_state().unwrap_or(&unknown_state).to_owned();

        while matches!(
            state,
            JobRunState::Starting | JobRunState::Stopping | JobRunState::Running
        ) {
            info!(?state, "Waiting for job to finish");
            tokio::time::sleep(self.wait_delay).await;

            job_run = get_job_run().await?;
            state = job_run.job_run_state().unwrap_or(&unknown_state).to_owned();
        }

  • 如需 API 詳細資訊，請參閱 GetJobRun AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 GetTables。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let tables = glue
            .get_tables()
            .database_name(self.database())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        let tables = tables.table_list();

  • 如需 API 詳細資訊，請參閱 GetTables AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 ListJobs。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let mut list_jobs = glue.list_jobs().into_paginator().send();
        while let Some(list_jobs_output) = list_jobs.next().await {
            match list_jobs_output {
                Ok(list_jobs) => {
                    let names = list_jobs.job_names();
                    info!(?names, "Found these jobs")
                }
                Err(err) => return Err(GlueMvpError::from_glue_sdk(err)),
            }
        }

  • 如需 API 詳細資訊，請參閱 ListJobs AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 StartCrawler。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let start_crawler = glue.start_crawler().name(self.crawler()).send().await;

        match start_crawler {
            Ok(_) => Ok(()),
            Err(err) => {
                let glue_err: aws_sdk_glue::Error = err.into();
                match glue_err {
                    aws_sdk_glue::Error::CrawlerRunningException(_) => Ok(()),
                    _ => Err(GlueMvpError::GlueSdk(glue_err)),
                }
            }
        }?;

  • 如需 API 詳細資訊，請參閱 StartCrawler AWS for Rust SDK 參考中的 API。

下列程式碼範例示範如何使用 StartJobRun。

Rust 的 SDK
注意

還有更多 on GitHub。尋找完整範例，並了解如何在 AWS 程式碼範例儲存庫中設定和執行。

        let job_run_output = glue
            .start_job_run()
            .job_name(self.job())
            .arguments("--input_database", self.database())
            .arguments(
                "--input_table",
                self.tables
                    .first()
                    .ok_or_else(|| GlueMvpError::Unknown("Missing crawler table".into()))?
                    .name(),
            )
            .arguments("--output_bucket_url", self.bucket())
            .send()
            .await
            .map_err(GlueMvpError::from_glue_sdk)?;

        let job = job_run_output
            .job_run_id()
            .ok_or_else(|| GlueMvpError::Unknown("Missing run id from just started job".into()))?
            .to_string();

  • 如需 API 詳細資訊，請參閱 StartJobRun AWS for Rust SDK 參考中的 API。