As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Armazene dados de eventos usando a importação em lote
Com o recurso de importação em lote, você pode carregar de forma rápida e fácil grandes conjuntos de dados históricos de eventos no Amazon Fraud Detector usando o console, a API ou o SDK da AWS. Para usar a importação em lote, crie um arquivo de entrada no formato CSV que contenha todos os dados do evento, faça o upload do arquivo CSV no bucket do Amazon S3 e inicie um trabalho de importação. O Amazon Fraud Detector primeiro valida os dados com base no tipo de evento e depois importa automaticamente todo o conjunto de dados. Depois que os dados forem importados, eles estarão prontos para serem usados para treinar novos modelos ou para treinar novamente os modelos existentes.
Arquivos de entrada e saída
O arquivo CSV de entrada deve conter cabeçalhos que correspondam às variáveis definidas no tipo de evento associado mais quatro variáveis obrigatórias. Consulte Prepare os dados do evento para armazenamento para obter mais informações. O tamanho máximo do arquivo de dados de entrada é de 20 Gigabytes (GB), ou cerca de 50 milhões de eventos. O número de eventos variará de acordo com o tamanho do seu evento. Se o trabalho de importação for bem-sucedido, o arquivo de saída estará vazio. Se a importação não tiver sido bem-sucedida, o arquivo de saída conterá os registros de erros.
Criar um arquivo CSV
O Amazon Fraud Detector importa dados somente de arquivos que estão no formato de valores separados por vírgula (CSV). A primeira linha do seu arquivo CSV deve conter cabeçalhos de coluna que correspondam exatamente às variáveis definidas no tipo de evento associado, além de quatro variáveis obrigatórias: EVENT_ID, EVENT_TIMESTAMP, ENTITY_ID e ENTITY_TYPE. Opcionalmente, você também pode incluir EVENT_LABEL e LABEL_TIMESTAMP (LABEL_TIMESTAMP é necessário se EVENT_LABEL estiver incluído).
Definir variáveis obrigatórias
As variáveis obrigatórias são consideradas metadados de eventos e devem ser especificadas em maiúsculas. Os metadados do evento são incluídos automaticamente para o treinamento do modelo. A tabela a seguir lista as variáveis obrigatórias, a descrição de cada variável e o formato exigido para a variável.
| Nome | Descrição | Requisitos |
|---|---|---|
|
ID DO EVENTO |
Um identificador para o evento. Por exemplo, se seu evento for uma transação on-line, o EVENT_ID pode ser o número de referência da transação que foi fornecido ao seu cliente. |
|
|
TIMESTAMP DO EVENTO |
A data e hora de quando o evento ocorreu. O carimbo de data/hora deve estar no padrão ISO 8601 em UTC. |
|
|
ENTIDADE_ID |
Um identificador para a entidade que está realizando o evento. |
|
|
TIPO_ENTIDADE |
A entidade que realiza o evento, como um comerciante ou um cliente |
ENTITY_TYPE é necessário para trabalhos de importação em lote |
|
RÓTULO_EVENTO |
Classifica o evento como ou |
EVENT_LABEL é necessário se LABEL_TIMESTAMP estiver incluído |
|
LABEL_TIMESTAMP |
A data e hora em que o rótulo do evento foi preenchido ou atualizado pela última vez |
|
Faça upload do arquivo CSV para o Amazon S3 para importação em lote
Depois de criar um arquivo CSV com seus dados, faça o upload do arquivo para o bucket do Amazon Simple Storage Service (Amazon S3).
Para fazer upload de dados de eventos em um bucket do Amazon S3
Faça login no AWS Management Console e abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/
-
Selecione Create bucket (Criar bucket).
O assistente Create bucket (Criar bucket) é aberto.
-
Em Bucket name (Nome do bucket), insira um nome compatível com o DNS para seu bucket.
O nome do bucket deve:
-
Seja exclusivo em todo o Amazon S3.
-
Ter entre 3 e 63 caracteres.
-
Não contém caracteres maiúsculos.
-
Começar com uma letra minúscula ou um número.
Depois de criado o bucket, você não pode mudar seu nome. Para obter informações sobre a nomeação de buckets, consulte Regras de nomenclatura de buckets no Guia do usuário do Amazon Simple Storage Service.
Importante
Evite incluir informações confidenciais, como números de conta, no nome do bucket. O nome do bucket é visível URLs nesse ponto para os objetos no bucket.
-
-
Em Região, escolha a AWS região em que você deseja que o bucket resida. Você deve selecionar a mesma região em que está usando o Amazon Fraud Detector, ou seja, Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Ásia-Pacífico (Cingapura) ou Ásia-Pacífico (Sydney).
-
Em Bucket settings for Block Public Access (Configurações de bucket para o Bloqueio de acesso público), escolha as configurações de bloqueio de acesso público que deseja aplicar ao bucket.
Recomendamos que você deixe todas as configurações ativadas. Para obter mais informações sobre o bloqueio do acesso público, consulte Bloqueio do acesso público ao seu armazenamento do Amazon S3 no Guia do usuário do Amazon Simple Storage Service.
-
Escolha Criar bucket.
Faça upload do arquivo de dados de treinamento para seu bucket do Amazon S3. Observe o caminho de localização do Amazon S3 para seu arquivo de treinamento (por exemplo, s3://bucketname/object.csv).
Dados de eventos de importação em lote no console do Amazon Fraud Detector
Você pode importar facilmente um grande número de seus conjuntos de dados de eventos no console do Amazon Fraud Detector, usando a CreateBatchImportJob API ou usando o AWS SDK. Antes de continuar, certifique-se de ter seguido as instruções para preparar seu conjunto de dados como um arquivo CSV. Certifique-se de que você também tenha carregado o arquivo CSV em um bucket do Amazon S3.
Usando o console Amazon Fraud Detector
Para importar em lote dados de eventos no console
-
Abra o console da AWS, faça login na sua conta e navegue até o Amazon Fraud Detector.
-
No painel de navegação esquerdo, escolha Events.
-
Escolha seu tipo de evento.
-
Selecione a guia Eventos armazenados.
-
No painel Detalhes de eventos armazenados, verifique se a ingestão de eventos está ATIVADA.
-
No painel Importar dados de eventos, escolha Nova importação.
-
Na página de importação de novos eventos, forneça as seguintes informações:
-
[Recomendado] Deixe Ativar validação inteligente de dados para este conjunto de dados - novo conjunto na configuração padrão.
-
Para a função do IAM para dados, selecione a função do IAM que você criou para o bucket do Amazon S3 que contém o arquivo CSV que você planeja importar.
-
Em Localização dos dados de entrada, insira a localização do S3 em que você tem seu arquivo CSV.
-
Se você quiser especificar um local separado para armazenar seus resultados de importação, clique no botão Separar localização de dados para entradas e resultados e forneça uma localização válida do bucket do Amazon S3.
Importante
Certifique-se de que a função do IAM que você selecionou tenha permissões de leitura para seu bucket de entrada do Amazon S3 e permissões de gravação para seu bucket de saída do Amazon S3.
-
-
Escolha Iniciar.
-
A coluna Status no painel Dados de eventos de importação exibe o status do seu trabalho de validação e importação. O banner na parte superior fornece uma descrição de alto nível do status, pois seu conjunto de dados primeiro passa pela validação e depois pela importação.
-
Siga as orientações fornecidas paraMonitore o progresso da validação do conjunto de dados e do trabalho de importação.
Monitore o progresso da validação do conjunto de dados e do trabalho de importação
Se você estiver usando o console do Amazon Fraud Detector para realizar um trabalho de importação em lote, por padrão, o Amazon Fraud Detector valida seu conjunto de dados antes da importação. Você pode monitorar o progresso e o status dos trabalhos de validação e importação na página de importação de novos eventos do console do Amazon Fraud Detector. Um banner na parte superior da página fornece uma breve descrição das descobertas da validação e do status do trabalho de importação. Dependendo dos resultados da validação e do status do seu trabalho de importação, talvez seja necessário tomar medidas para garantir a validação e a importação bem-sucedidas do seu conjunto de dados.
A tabela a seguir fornece detalhes das ações que você deve tomar, dependendo do resultado das operações de validação e importação.
| Mensagem de banner | Status | O que significa | O que devo fazer |
|---|---|---|---|
| A validação de dados foi iniciada | Validação em andamento | O SDV começou a validar seu conjunto de dados | Aguarde até que o status mude |
| A validação de dados não pode continuar devido a erros no seu conjunto de dados. Corrija erros em seu arquivo de dados e inicie um novo trabalho de importação. Consulte o relatório de validação para obter mais informações | Falha na validação | O SDV identificou problemas em seu arquivo de dados. Esses problemas devem ser resolvidos para que a importação do seu conjunto de dados seja bem-sucedida. | No painel Importar dados de eventos, selecione o Job Id e visualize o relatório de validação. Siga as recomendações no relatório para resolver todos os erros listados. Para obter mais informações, consulte Usando o relatório de validação. |
| A importação de dados foi iniciada. Validação concluída com sucesso | Importação em andamento | Seu conjunto de dados foi aprovado na validação. A AFD começou a importar seu conjunto de dados | Aguarde até que o status mude |
| Validação concluída com avisos. A importação de dados foi iniciada | Importação em andamento | Alguns dos dados em seu conjunto de dados falharam na validação. No entanto, os dados aprovados na validação atendem aos requisitos mínimos de tamanho de dados para importação. | Monitore a mensagem no banner e aguarde a alteração do status |
| Seus dados foram parcialmente importados. Alguns dos dados falharam na validação e não foram importados. Consulte o relatório de validação para obter mais informações. | Importado. O status mostra um ícone de aviso. | Alguns dos dados em seu arquivo de dados que falharam na validação não foram importados. O resto dos dados que passaram pela validação foram importados. | No painel Importar dados de eventos, selecione o Job Id e visualize o relatório de validação. Siga as recomendações na tabela de avisos de nível de dados para abordar os avisos listados. Você não precisa abordar todos os avisos. No entanto, certifique-se de que seu conjunto de dados tenha mais de 50% dos dados aprovados para uma importação bem-sucedida. Depois de resolver os avisos, inicie um novo trabalho de importação. Para obter mais informações, consulte Usando o relatório de validação. |
| A importação de dados falhou devido a um erro de processamento. Iniciar um novo trabalho de importação de dados | Falha na importação | A importação falhou devido a um erro transitório em tempo de execução | Iniciar um novo trabalho de importação |
| Os dados foram importados com sucesso | Importado | A validação e a importação foram concluídas com sucesso | Selecione o Job Id do seu trabalho de importação para ver os detalhes e, em seguida, continue com o treinamento do modelo. |
nota
Recomendamos esperar 10 minutos após a importação bem-sucedida do conjunto de dados para o Amazon Fraud Detector para garantir que eles sejam totalmente ingeridos pelo sistema.
Relatório de validação de dados inteligentes
A validação inteligente de dados cria um relatório de validação após a conclusão da validação. O relatório de validação fornece detalhes de todos os problemas que o SDV identificou em seu conjunto de dados, com ações sugeridas para corrigir os problemas mais impactantes. Você pode usar o relatório de validação para determinar quais são os problemas, onde estão localizados no conjunto de dados, a gravidade dos problemas e como corrigi-los. O relatório de validação é criado mesmo quando a validação é concluída com êxito. Nesse caso, você pode visualizar o relatório para ver se há algum problema listado e, se houver, decidir se deseja corrigir algum deles.
nota
A versão atual do SDV verifica seu conjunto de dados em busca de problemas que possam causar falha na importação em lote. Se a validação e a importação em lote forem bem-sucedidas, seu conjunto de dados ainda poderá ter problemas que podem fazer com que o treinamento do modelo falhe. Recomendamos que você visualize seu relatório de validação mesmo que a validação e a importação tenham sido bem-sucedidas e resolva todos os problemas listados no relatório para um treinamento bem-sucedido do modelo. Depois de resolver os problemas, crie um novo trabalho de importação em lote.
Acessando o relatório de validação
Você pode acessar o relatório de validação a qualquer momento após a conclusão da validação usando uma das seguintes opções:
-
Depois que a validação for concluída e enquanto o trabalho de importação estiver em andamento, no banner superior, escolha Exibir relatório de validação.
-
Depois que o trabalho de importação for concluído, no painel Dados de eventos de importação, escolha a ID do trabalho de importação que acabou de ser concluído.
Usando o relatório de validação
A página do relatório de validação do seu trabalho de importação fornece os detalhes desse trabalho de importação, uma lista de erros críticos, se algum for encontrado, uma lista de avisos sobre eventos específicos (linhas) em seu conjunto de dados, se encontrados, e um breve resumo do seu conjunto de dados que inclui informações como valores que não são válidos e valores ausentes para cada variável.
-
Importar detalhes do trabalho
Fornece detalhes do trabalho de importação. Se seu trabalho de importação falhou ou seu conjunto de dados foi parcialmente importado, escolha Ir para o arquivo de resultados para ver os registros de erros dos eventos que falharam na importação.
-
Erros críticos
Fornece detalhes dos problemas mais impactantes em seu conjunto de dados identificados pelo SDV. Todos os problemas listados nesse painel são críticos e você deve resolvê-los antes de continuar com a importação. Se você tentar importar seu conjunto de dados sem resolver os problemas críticos, seu trabalho de importação poderá falhar.
Para resolver os problemas críticos, siga as recomendações fornecidas para cada aviso. Depois de resolver todos os problemas listados no painel Erros críticos, crie um novo trabalho de importação em lote.
-
Avisos de nível de dados
Fornece um resumo dos avisos de eventos específicos (linhas) em seu conjunto de dados. Se o painel Avisos de nível de dados estiver preenchido, alguns dos eventos em seu conjunto de dados falharam na validação e não foram importados.
Para cada aviso, a coluna Descrição exibe o número de eventos que têm o problema. E o evento Sample IDs fornece uma lista parcial do evento de amostra IDs que você pode usar como ponto de partida para localizar o restante dos eventos que têm o problema. Use a recomendação fornecida no aviso para corrigir o problema. Use também os registros de erros do seu arquivo de saída para obter informações adicionais sobre o problema. Os registros de erros são gerados para todos os eventos que falharam na importação do lote. Para acessar os registros de erros, no painel Importar detalhes do trabalho, escolha Ir para o arquivo de resultados.
nota
Se mais de 50% dos eventos (linhas) em seu conjunto de dados falharem na validação, o trabalho de importação também falhará. Nesse caso, você deve corrigir os dados antes de iniciar um novo trabalho de importação.
-
Resumo do conjunto de dados
Fornece um resumo do relatório de validação do seu conjunto de dados. Se a coluna Número de avisos mostrar mais de 0 avisos, decida se você precisa corrigir esses avisos. Se a coluna Número de avisos mostrar 0s, continue treinando seu modelo.
Importe dados de eventos em lote usando o AWS SDK para Python (Boto3)
O exemplo a seguir mostra um exemplo de solicitação de CreateBatchImportJobAPI. Um trabalho de importação em lote deve incluir JobID, inputPath, outputPath e. eventTypeNameiamRoleArn O JobID não pode conter o mesmo ID de um trabalho anterior, a menos que o trabalho exista no estado CREATE_FAILED. O inputPath e o outputPath devem ser caminhos válidos do S3. Você pode optar por não especificar o nome do arquivo no OutputPath, mas ainda precisará fornecer uma localização válida do bucket do S3. O eventTypeName e iamRoleArn deve existir. A função do IAM deve conceder permissões de leitura para inserir o bucket do Amazon S3 e permissões de gravação para o bucket do Amazon S3 de saída.
import boto3 fraudDetector = boto3.client('frauddetector') fraudDetector.create_batch_import_job ( jobId = 'sample_batch_import', inputPath = 's3://bucket_name/input_file_name.csv', outputPath = 's3://bucket_name/', eventTypeName = 'sample_registration', iamRoleArn: 'arn:aws:iam::************:role/service-role/AmazonFraudDetector-DataAccessRole-*************' )
Cancelar trabalho de importação em lote
Você pode cancelar um trabalho de importação em lote em andamento a qualquer momento no console do Amazon Fraud Detector, usando a CancelBatchImportJob API ou o AWS SDK.
Para cancelar um trabalho de importação em lote no console,
-
Abra o console da AWS, faça login na sua conta e navegue até o Amazon Fraud Detector.
-
No painel de navegação esquerdo, escolha Events.
-
Escolha seu tipo de evento.
-
Selecione a guia Eventos armazenados.
-
No painel Importar dados de eventos, escolha o ID do trabalho de importação em andamento que você deseja cancelar.
-
Na página do trabalho do evento, clique em Ações e selecione Cancelar importação de eventos.
-
Escolha Interromper importação de eventos para cancelar o trabalho de importação em lote.
Cancelamento do trabalho de importação em lote usando o AWS SDK para Python (Boto3)
O exemplo a seguir mostra um exemplo de solicitação para a CancelBatchImportJob API. O trabalho de cancelamento de importação deve incluir o ID de um trabalho de importação em lote em andamento.
import boto3 fraudDetector = boto3.client('frauddetector') fraudDetector.cancel_batch_import_job ( jobId = 'sample_batch' )
