Machine Learning para iniciantes e especialistas

Modo de foco

Machine Learning para iniciantes e especialistas - Amazon Redshift

Com o Amazon Redshift, você pode aproveitar os recursos de machine learning (ML) para extrair insights dos seus dados, seja você iniciante ou especialista em ML. Machine learning é um recurso do Amazon Redshift que permite criar, treinar e implantar modelos de ML usando comandos SQL, sem a necessidade de ampla expertise em ML ou engenharia de dados complexa.

As seções a seguir fornecem orientações sobre o processo de utilização de machine learning, possibilitando que você aproveite o potencial de seus dados com o Amazon Redshift.

O Amazon Redshift ML permite que você treine modelos com um único comando SQL CREATE MODEL. O comando CREATE MODEL cria um modelo que o Amazon Redshift usa para gerar previsões baseadas em modelos com construções SQL familiares.

O Amazon Redshift ML é especialmente útil quando você não tem experiência em Machine Learning, ferramentas, linguagens, algoritmos e APIs. Com o Amazon Redshift ML, você não precisa realizar o trabalho pesado que é necessário para integração com um serviço externo de Machine Learning. O Amazon Redshift poupa o tempo de formatar e mover dados, gerenciar controles de permissão ou criar integrações, fluxos de trabalho e scripts personalizados. Você pode usar facilmente algoritmos populares de Machine Learning e simplificar as necessidades de treinamento que exigem iteração frequente, desde o treinamento até a previsão. O Amazon Redshift descobre automaticamente o melhor algoritmo e ajusta o melhor modelo para o seu problema. Você pode fazer previsões dentro do cluster do Amazon Redshift sem precisar transferir os dados para fora do Amazon Redshift nem interagir e pagar por outro serviço.

O Amazon Redshift ML oferece suporte a analistas de dados e cientistas de dados no uso de machine learning. Também permite que especialistas em machine learning usem seus conhecimentos para orientar a instrução CREATE MODEL a usar apenas os aspectos especificados. Com isso, você pode acelerar o tempo necessário para que CREATE MODEL encontre o melhor candidato, melhore a precisão do modelo ou ambas as coisas.

A instrução CREATE MODEL oferece flexibilidade em como você pode especificar os parâmetros para o trabalho de treinamento. Essa flexibilidade permite que tanto iniciantes como especialistas de machine learning escolham os pré-processadores, algoritmos, tipos de problemas ou hiperparâmetros de sua preferência. Por exemplo, um usuário interessado na rotatividade de clientes pode especificar na instrução CREATE MODEL que o tipo de problema é uma classificação binária, o que funciona bem para rotatividade de clientes. Em seguida, a instrução CREATE MODEL restringe sua busca pelo melhor modelo em modelos de classificação binária. Mesmo com a escolha do usuário do tipo de problema, ainda há muitas opções com as quais a instrução CREATE MODEL pode trabalhar. Por exemplo, o CREATE MODEL descobre e aplica as melhores transformações de pré-processamento e descobre as melhores configurações de hiperparâmetro.

O Amazon Redshift ML facilita o treinamento ao encontrar automaticamente o melhor modelo usando o Amazon SageMaker AI Autopilot. Nos bastidores, o Amazon SageMaker AI Autopilot treina e ajusta automaticamente o melhor modelo de machine learning com base nos dados fornecidos. O Amazon SageMaker AI Neo compila o modelo de treinamento e o disponibiliza para previsão no cluster do Redshift. Quando você executa uma consulta de inferência de machine learning usando um modelo treinado, a consulta pode usar todos os recursos de processamento paralelo em massa do Amazon Redshift. Ao mesmo tempo, a consulta pode usar a previsão baseada em machine learning.

Como iniciante em machine learning com conhecimento geral de diferentes aspectos do machine learning, como pré-processadores, algoritmos e hiperparâmetros, use a instrução CREATE MODEL apenas para os aspectos especificados. Em seguida, você pode encurtar o tempo que CREATE MODEL precisa para encontrar o melhor candidato ou melhorar a precisão do modelo. Além disso, você pode aumentar o valor comercial das previsões introduzindo conhecimento de domínio adicional, como o tipo de problema ou o objetivo. Por exemplo, em um cenário de rotatividade de cliente, se o resultado “cliente não está ativo” for raro, o objetivo de F1 geralmente é preferido ao objetivo de Precisão. Como os modelos de alta precisão podem prever “o cliente está ativo” o tempo todo, isso resulta em alta precisão, mas pouco valor empresarial. Para obter informações sobre o objetivo F1, consulte AutoMLJobObjective na Referência de API do Amazon SageMaker AI.

Para obter mais informações sobre as opções básicas para a instrução CREATE MODEL, consulte CREATE MODEL simples.
Como um Praticante avançado de Machine Learning, você pode especificar o tipo de problema e os pré-processadores para certos recursos (mas não todos). Em seguida, a instrução CREATE MODEL segue suas sugestões sobre os aspectos especificados. Ao mesmo tempo, a instrução CREATE MODEL detecta automaticamente os melhores pré-processadores para os recursos restantes e os melhores hiperparâmetros. Para obter mais informações sobre como você pode restringir um ou mais aspectos do pipeline de treinamento, consulte CREATE MODEL com orientação do usuário.
Como um especialista em Machine Learning, você pode assumir o controle total do treinamento e do ajuste de hiperparâmetros. Em seguida, a instrução CREATE MODEL não tenta detectar os pré-processadores, algoritmos e hiperparâmetros ideais porque você faz todas as escolhas. Para obter mais informações sobre como usar CREATE MODEL com AUTO OFF, consulte Modelos CREATE XGBoost com AUTO OFF.
Os engenheiros de dados podem trazer um modelo XGBoost pré-treinado para o Amazon SageMaker AI e importá-lo para o Amazon Redshift para inferência local. Com o traga seu próprio modelo (BYOM), você pode usar um modelo treinado fora do Amazon Redshift com o Amazon SageMaker AI para inferência no banco de dados localmente no Amazon Redshift. O Amazon Redshift ML oferece suporte ao uso de BYOM para inferência local ou remota.

Para obter mais informações sobre como usar a instrução CREATE MODEL para inferência local ou remota, consulte Traga seu próprio modelo (BYOM): inferência local.