사전 조건
-
읽으려는 Slack 객체.
지원되는 엔터티
개체 | 필터링 가능 | 제한 지원 | 정렬 기준 지원 | Select * 지원 | 분할 지원 |
---|---|---|---|---|---|
대화 | 예 | 예 | 아니요 | 예 | 예 |
예제
slack_read = glueContext.create_dynamic_frame.from_options(
connection_type="slack",
connection_options={
"connectionName": "connectionName",
"ENTITY_NAME": "conversations/C058W38R5J8"
}
)
Slack 엔터티 및 필드 세부 정보
개체 | 필드 | 데이터 형식 | 지원되는 연산자 |
---|---|---|---|
대화 | attachments | 나열 | NA |
대화 | bot_id | String | NA |
대화 | 블록 | 나열 | NA |
대화 | client_msg_id | String | NA |
대화 | is_starred | 불 | NA |
대화 | last_read | String | NA |
대화 | latest_reply | String | NA |
대화 | reactions | 나열 | NA |
대화 | replies | 나열 | NA |
대화 | reply_count | Integer | NA |
대화 | reply_users | 나열 | NA |
대화 | reply_users_count | Integer | NA |
대화 | subscribed | 불 | NA |
대화 | subtype | String | NA |
대화 | 텍스트 | String | NA |
대화 | team | String | NA |
대화 | thread_ts | String | NA |
대화 | ts | String | EQUAL_TO, BETWEEN, LESS_THAN, LESS_THAN_OR_EQUAL_TO, GREATER_THAN, GREATER_THAN_OR_EQUAL_TO |
대화 | type | String | NA |
대화 | 사용자 | String | NA |
대화 | inviter | String | NA |
대화 | root | 구조체 | NA |
대화 | is_locked | 불 | NA |
대화 | files | 나열 | NA |
대화 | room | 구조체 | NA |
대화 | 업로드 | 불 | NA |
대화 | display_as_bot | 불 | NA |
대화 | 채널 | String | NA |
대화 | no_notifications | 불 | NA |
대화 | permalink | String | NA |
대화 | pinned_to | 나열 | NA |
대화 | pinned_info | 구조체 | NA |
대화 | edited | 구조체 | NA |
대화 | app_id | String | NA |
대화 | bot_profile | 구조체 | NA |
대화 | metadata | 구조체 | NA |
분할 쿼리
Spark에서 동시성을 활용하려는 경우 추가 Spark 옵션(PARTITION_FIELD
, LOWER_BOUND
, UPPER_BOUND
, NUM_PARTITIONS
)을 제공할 수 있습니다. 이러한 파라미터를 사용하면 Spark 태스크에서 동시에 실행할 수 있는 NUM_PARTITIONS
개의 하위 쿼리로 원본 쿼리가 분할됩니다.
-
PARTITION_FIELD
: 쿼리 분할에 사용할 필드의 이름. -
LOWER_BOUND
: 선택한 파티션 필드의 하한 값(경계 포함).날짜의 경우 Spark SQL 쿼리에 사용된 Spark 날짜 형식을 허용합니다. 유효한 값의 예제:
"2024-07-01T00:00:00.000Z"
. -
UPPER_BOUND
: 선택한 파티션 필드의 상한 값(경계 제외). -
NUM_PARTITIONS
: 파티션 수.
엔터티 수준 분할 필드 지원 세부 정보는 아래 표에 캡처되어 있습니다.
Entity Name | 분할 필드 | 데이터 형식 |
---|---|---|
대화 | ts | String |
예제
slack_read = glueContext.create_dynamic_frame.from_options(
connection_type="slack",
connection_options={
"connectionName": "connectionName",
"ENTITY_NAME": "conversations/C058W38R5J8",
"PARTITION_FIELD": "ts"
"LOWER_BOUND": "2022-12-01T00:00:00.000Z"
"UPPER_BOUND": "2024-09-23T15:00:00.000Z"
"NUM_PARTITIONS": "2"
}
)