Pré-requisitos
-
Um objeto do Slack do qual você deseja ler.
Entidades compatíveis
Entidade | Pode ser filtrada | Oferece suporte a limite | Oferece suporte a Ordenar por | Oferece suporte a Selecionar * | Oferece suporte a particionamento |
---|---|---|---|---|---|
conversas | Sim | Sim | Não | Sim | Sim |
Exemplo
slack_read = glueContext.create_dynamic_frame.from_options(
connection_type="slack",
connection_options={
"connectionName": "connectionName",
"ENTITY_NAME": "conversations/C058W38R5J8"
}
)
Detalhes das entidades e dos campos do Slack
Entidade | Campo | Tipo de dado | Operadores compatíveis |
---|---|---|---|
conversas | attachments | Listar | N/D |
conversas | bot_id | String | N/D |
conversas | blocks | Listar | N/D |
conversas | client_msg_id | String | N/D |
conversas | is_starred | Booleano | N/D |
conversas | last_read | String | N/D |
conversas | latest_reply | String | N/D |
conversas | reações | Listar | N/D |
conversas | responde | Listar | N/D |
conversas | reply_count | Inteiro | N/D |
conversas | reply_users | Listar | N/D |
conversas | reply_users_count | Inteiro | N/D |
conversas | inscrito | Booleano | N/D |
conversas | subtipo | String | N/D |
conversas | text | String | N/D |
conversas | team | String | N/D |
conversas | thread_ts | String | N/D |
conversas | ts | String | EQUAL_TO, BETWEEN, LESS_THAN, LESS_THAN_OR_EQUAL_TO, GREATER_THAN, GREATER_THAN_OR_EQUAL_TO |
conversas | tipo | String | N/D |
conversas | usuário | String | N/D |
conversas | anfitrião | String | N/D |
conversas | raiz | struct | N/D |
conversas | is_locked | Booleano | N/D |
conversas | files | Listar | N/D |
conversas | sala | struct | N/D |
conversas | carregar | Booleano | N/D |
conversas | display_as_bot | Booleano | N/D |
conversas | channel | String | N/D |
conversas | no_notifications | Booleano | N/D |
conversas | permalink | String | N/D |
conversas | pinned_to | Listar | N/D |
conversas | pinned_info | struct | N/D |
conversas | editado | struct | N/D |
conversas | app_id | String | N/D |
conversas | bot_profile | struct | N/D |
conversas | metadata | struct | N/D |
Particionamento de consultas
Podem ser fornecidas as opções adicionais do Spark PARTITION_FIELD
, LOWER_BOUND
, UPPER_BOUND
e NUM_PARTITIONS
se você quiser utilizar a simultaneidade no Spark. Com esses parâmetros, a consulta original seria dividida em NUM_PARTITIONS
subconsultas, que poderiam ser executadas pelas tarefas do Spark simultaneamente.
-
PARTITION_FIELD
: o nome do campo a ser usado para particionar a consulta. -
LOWER_BOUND
: um valor limite inferior inclusivo do campo de partição escolhido.Na data, aceitamos o formato de data do Spark usado em consultas SQL do Spark. Exemplo de valor válido:
"2024-07-01T00:00:00.000Z"
. -
UPPER_BOUND
: um valor limite superior exclusivo do campo de partição escolhido. -
NUM_PARTITIONS
: número de partições.
Os detalhes do suporte do campo de particionamento relativo às entidades são capturados na tabela a seguir.
Entity Name | Campo de particionamento | Tipo de dado |
---|---|---|
conversas | ts | String |
Exemplo
slack_read = glueContext.create_dynamic_frame.from_options(
connection_type="slack",
connection_options={
"connectionName": "connectionName",
"ENTITY_NAME": "conversations/C058W38R5J8",
"PARTITION_FIELD": "ts"
"LOWER_BOUND": "2022-12-01T00:00:00.000Z"
"UPPER_BOUND": "2024-09-23T15:00:00.000Z"
"NUM_PARTITIONS": "2"
}
)