AWS Glue의 Amazon Q 데이터 통합을 통해 Amazon Q 패널에 질문을 입력할 수 있습니다. AWS Glue에서 제공하는 데이터 통합 기능에 관한 질문을 입력할 수 있습니다. 참조 문서와 함께 자세한 답변이 반환됩니다.
또 다른 사용 사례는 AWS Glue ETL 작업 스크립트를 생성하는 것입니다. 데이터 추출, 변환, 로드 작업을 수행하는 방법에 관해 질문할 수 있습니다. 생성된 PySpark 스크립트가 반환됩니다.
Amazon Q 채팅 상호 작용
AWS Glue 콘솔에서 새 작업 작성을 시작하고 Amazon Q에 "Create a Glue ETL flow connect to two Glue catalog tables venue and event in my database glue_db, join the results on the venue's venueid and event's e_venueid, and then filter on venue state with condition as venuestate=='DC' and write to s3://amzn-s3-demo-bucket/codegen/BDB-9999/output/ in CSV format."라고 요청합니다.
코드가 생성되는 것을 확인할 수 있습니다. 이 응답을 통해 목적에 맞게 AWS Glue 코드를 작성하는 방법을 배우고 이해할 수 있습니다. 생성된 코드를 복사하여 스크립트 편집기에 붙여넣고 자리 표시자를 구성할 수 있습니다. 작업에서 IAM 역할 및 AWS Glue 연결을 구성한 후 작업을 저장하고 실행합니다. 작업이 완료되면 요약 데이터가 예상대로 Amazon S3에 유지되고 다운스트림 워크로드에서 사용할 수 있는지 확인할 수 있습니다.
AWS Glue Studio 노트북 상호 작용
참고
AWS Glue Studio 노트북의 Amazon Q 데이터 통합 경험은 여전히 DynamicFrame 기반 데이터 통합 흐름에 중점을 둡니다.
새 셀을 추가하고 의견을 입력하여 원하는 목표를 설명합니다. Tab 및 Enter를 누르면 권장 코드가 표시됩니다.
첫 번째 의도는 데이터 추출('Glue Data Catalog 테이블을 읽는 코드 제공') 이후 'star_rating > 3의 필터 변환을 적용하는 코드 제공' 및 'S3에 Parquet으로 프레임을 쓰는 코드 제공'과 같습니다.
Amazon Q 채팅 경험과 마찬가지로 코드가 권장됩니다. 탭을 누르면 권장 코드가 선택됩니다.
생성된 코드에서 소스에 적합한 옵션을 입력하여 각 셀을 실행할 수 있습니다. 실행 중 언제든지 show()
메서드를 사용하여 데이터세트 샘플을 미리 볼 수도 있습니다.
실행을 선택하거나 프로그래밍 방식으로 노트북을 작업으로 실행할 수 있습니다.
복잡한 프롬프트
하나의 복잡한 프롬프트를 포함하는 전체 스크립트를 생성할 수 있습니다. '서로 결합해야 하는 S3의 JSON 데이터와 Oracle의 데이터가 있습니다. 두 소스 모두에서 읽고 조인한 다음, Redshift에 결과를 쓰는 Glue 스크립트를 제공하세요.'
노트북에서 AWS Glue의 Amazon Q 데이터 통합이 Amazon Q 채팅에서 생성된 것과 동일한 코드 조각을 생성했음을 알 수 있습니다.
실행을 선택하거나 프로그래밍 방식으로 노트북을 작업으로 실행할 수 있습니다.