Monitorar sistemas de arquivos do FSx para ONTAP usando Harvest e Grafana - FSx para ONTAP

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorar sistemas de arquivos do FSx para ONTAP usando Harvest e Grafana

NetApp O Harvest é uma ferramenta de código aberto para coletar métricas de desempenho e capacidade dos sistemas ONTAP e é compatível com o FSx for ONTAP. Você pode usar o Harvest com Grafana para uma solução de monitoramento de código aberto.

Começando com Harvest e Grafana

A seção a seguir detalha como você pode instalar e configurar o Harvest e o Grafana para medir seu FSx para o desempenho e a utilização da capacidade de armazenamento do sistema de arquivos ONTAP.

Você pode monitorar seu sistema de arquivos Amazon FSx for NetApp ONTAP usando o Harvest e o Grafana. NetApp O Harvest monitora os data centers ONTAP coletando métricas de desempenho, capacidade e hardware do FSx para sistemas de arquivos ONTAP. O Grafana fornece um painel em que as métricas coletadas do Harvest podem ser exibidas.

Painéis compatíveis do Harvest

O Amazon FSx for NetApp ONTAP expõe um conjunto de métricas diferente do ONTAP local. NetApp Portanto, somente os seguintes painéis do out-of-the-box Harvest marcados com fsx são atualmente suportados para uso com FSx for ONTAP. Alguns desses painéis podem não apresentar as informações que não são compatíveis.

  • ONTAP: conformidade

  • ONTAP: snapshots de proteção de dados

  • ONTAP: segurança

  • ONTAP: SVM

  • ONTAP: volume

AWS CloudFormation modelo

Para começar, você pode implantar um AWS CloudFormation modelo que inicia automaticamente uma instância do Amazon EC2 executando Harvest e Grafana. Como entrada para o AWS CloudFormation modelo, você especifica o fsxadmin usuário e o endpoint de gerenciamento do Amazon FSx para o sistema de arquivos que será adicionado como parte dessa implantação. Depois que a implantação for concluída, você poderá fazer login no painel do Grafana para monitorar seu sistema de arquivos.

Essa solução é usada AWS CloudFormation para automatizar a implantação da solução Harvest e Grafana. O modelo cria uma instância do Linux do Amazon EC2 e instala os softwares Harvest e Grafana. Para usar essa solução, baixe o modelo AWS CloudFormation fsx-ontap-harvest-grafana.template.

nota

A implementação dessa solução gera cobrança pelos serviços associados AWS . Para obter mais informações, consulte as páginas de detalhes de preços desses serviços.

Tipos de instância do Amazon EC2

Ao configurar o modelo, você fornece o tipo de instância do Amazon EC2. NetAppA recomendação da para o tamanho da instância depende de quantos sistemas de arquivos você monitora e do número de métricas que você escolhe coletar. Com a configuração padrão, para cada 10 sistemas de arquivos que você monitora, NetApp recomenda:

  • CPU: dois núcleos

  • Memória: 1 GB

  • Disco: 500 MB (usado principalmente por arquivos de log)

Veja a seguir alguns exemplos de configurações e o tipo de instância t3 que você pode escolher.

Sistemas de arquivos CPU Disk Tipo de instância

Menos de 10

2 núcleos

500 MB

t3.micro

De 10 a 40

4 núcleos

1.000 MB

t3.xlarge

40+

8 núcleos

2.000 MB

t3.2xlarge

Para obter mais informações sobre os tipos de instância do Amazon EC2, consulte Instâncias de uso geral no Guia do usuário do Amazon EC2.

Regras de porta para instância

Ao configurar sua instância do Amazon EC2, certifique-se de que as portas 3000 e 9090 estejam abertas para tráfego de entrada do grupo de segurança em que as instâncias do Harvest e Grafana do Amazon EC2 estão. Como a instância iniciada se conecta a um endpoint via HTTPS, ela precisa resolver o endpoint, que precisa da porta 53 TCP/UDP para DNS. Além disso, para alcançar o endpoint, ele precisa da porta 443 TCP para HTTPS e acesso à Internet.

Procedimento de implantação

O procedimento a seguir configura e implanta a solução Harvest e Grafana. A implantação demora cerca de cinco minutos. Antes de começar, você deve ter um sistema de arquivos FSx for ONTAP em execução em uma Amazon Virtual Private Cloud (Amazon VPC) em sua AWS conta e as informações de parâmetros do modelo listado abaixo. Para obter mais informações sobre como criar um sistema de arquivos, consulte Como criar sistemas de arquivos do FSx para ONTAP.

Executar a pilha de soluções Harvest e Grafana
  1. Baixe o modelo AWS CloudFormation fsx-ontap-harvest-grafana.template. Para obter mais informações sobre como criar uma AWS CloudFormation pilha, consulte Como criar uma pilha no AWS CloudFormation console no Guia do AWS CloudFormation usuário.

    nota

    Por padrão, esse modelo é iniciado na AWS região Leste dos EUA (Norte da Virgínia). Você deve iniciar essa solução em um Região da AWS local onde o Amazon FSx esteja disponível. Para obter mais informações, consulte Amazon FSx endpoints and quotas na Referência geral da AWS.

  2. Em Parâmetros, analise os parâmetros para o modelo e modifique-os de acordo com as necessidades do seu sistema de arquivos. Essa solução usa os valores padrão apresentados a seguir.

    Parâmetro Padrão Descrição
    InstanceType t3.micro

    O tipo de instância do Amazon EC2. A seguir, estão os tipos de instância t3.

    • t3.micro

    • t3.small

    • t3.medium

    • t3.large

    • t3.xlarge

    • t3.2xlarge

    Para obter a lista completa dos valores de tipo de instância do Amazon EC2 permitidos para esse parâmetro, consulte o fsx-ontap-harvest-grafana .template.

    KeyPair Nenhum valor padrão O par de chaves que é usado para acessar a instância do Amazon EC2.
    SecurityGroup Nenhum valor padrão O ID do grupo de segurança da instância do Harvest e Grafana. Certifique-se de que as portas de entrada 3000 e 9090, além das portas 53 e 443, estejam abertas pelos clientes que você deseja usar para acessar seu painel da Grafana.
    Tipo de sub-rede Nenhum valor padrão Especifique o tipo de sub-rede, public ou private. Use uma sub-rede public para recursos que devem estar conectados à Internet e uma sub-rede privada para recursos que não estarão conectados à Internet. Para obter mais informações, consulte Tipos de sub-redes no Guia do usuário da Amazon VPC.
    Sub-rede Nenhum valor padrão Especifique a mesma sub-rede do Amazon FSx NetApp para a sub-rede preferencial do sistema de arquivos ONTAP. Você pode encontrar o ID da sub-rede preferencial do sistema de arquivos no console do Amazon FSx, na guia Rede e segurança da página de detalhes do sistema de arquivos do FSx para ONTAP
    LatestLinuxAmiId /aws/service/ami-amazon-linux-latest/amzn2-ami-hvm-x86_64-gp2 A versão mais recente da AMI do Amazon Linux 2 em uma determinada Região da AWS.
    SxEndPonto F Nenhum valor padrão O endereço IP do endpoint de gerenciamento do sistema de arquivos. Você pode encontrar o endereço IP do endpoint de gerenciamento do sistema de arquivos no console do Amazon FSx, na guia Administração da página de detalhes do sistema de arquivos do FSx para ONTAP.
    SecretName Nenhum valor padrão AWS Secrets Manager nome secreto contendo a senha do fsxadmin usuário do sistema de arquivos. Essa é a senha que você forneceu ao criar o sistema de arquivos.
  3. Selecione Next (Próximo).

  4. Em Opções, escolha Próximo.

  5. Em Análise, analise e confirme as configurações. Você deve selecionar a caixa de seleção confirmando que o modelo cria os recursos do IAM.

  6. Selecione Criar para implantar a stack.

Você pode ver o status da pilha no AWS CloudFormation console na coluna Status. Você deverá visualizar um status CREATE_COMPLETE em cerca de cinco minutos.

Fazer login no Grafana

Após a conclusão da implantação, use seu navegador para fazer login no painel do Grafana no IP e na porta 3000 da instância do Amazon EC2:

http://EC2_instance_IP:3000

Quando solicitado, use o nome de usuário (admin) e a senha (pass) padrão do Grafana. Recomendamos que você altere sua senha assim que fizer login.

Para obter mais informações, consulte a página NetApp Harvest em GitHub.

Solução de problemas de Harvest e Grafana

Se você encontrar algum dado ausente mencionado nos painéis do Harvest e do Grafana ou estiver tendo problemas para configurar o Harvest e o Grafana com o FSx for ONTAP, consulte os tópicos a seguir para ver uma possível solução.

Os painéis de SVM e volume estão em branco

Se a AWS CloudFormation pilha foi implantada com sucesso e puder entrar em contato com a Grafana, mas os painéis de SVM e volume estiverem em branco, use o procedimento a seguir para solucionar problemas em seu ambiente. Você precisará de acesso SSH à instância do Amazon EC2 na qual o Harvest e o Grafana estão implantados.

  1. Faça o SSH na instância do Amazon EC2 na qual seus clientes Harvest e Grafana estão sendo executados.

    [~]$ ssh ec2-user@ec2_ip_address
  2. Use o comando a seguir para abrir o harvest.yml arquivo e:

    • Verifique se uma entrada foi criada para sua instância FSx for ONTAP como. Cluster-2

    • Verifique se as entradas de nome de usuário e senha correspondem às suas fsxadmin credenciais.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /home/ec2-user/harvest_install/harvest/harvest.yml
  3. Se o campo de senha estiver em branco, abra o arquivo em um editor e atualize-o com a fsxadmin senha, da seguinte forma:

    [ec2-user@ip-ec2_ip_address ~]$ sudo vi /home/ec2-user/harvest_install/harvest/harvest.yml
  4. Certifique-se de que as credenciais fsxadmin do usuário estejam armazenadas no Secrets Manager no formato a seguir para qualquer implantação futura, fsxadmin_password substituindo-as pela sua senha.

    {"username" : "fsxadmin", "password" : "fsxadmin_password"}

CloudFormation pilha revertida após o tempo limite

Se você não conseguir implantar a CloudFormation pilha com êxito e ela estiver sendo revertida com erros, use o procedimento a seguir para resolver o problema. Você precisará de acesso SSH à instância EC2 implantada pela pilha. CloudFormation

  1. Reimplante a CloudFormation pilha, certificando-se de que a reversão automática esteja desativada.

  2. Faça o SSH na instância do Amazon EC2 na qual seus clientes Harvest e Grafana estão sendo executados.

    [~]$ ssh ec2-user@ec2_ip_address
  3. Verifique se os contêineres do docker foram iniciados com sucesso usando o comando a seguir.

    [ec2-user@ip-ec2_ip_address ~]$ sudo docker ps

    Na resposta, você deve ver cinco contêineres da seguinte forma:

    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b9b3f2085ef rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Restarting (1) 20 seconds ago harvest_cluster-2 3cf3e3623fde rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Up About a minute harvest_cluster-1 708f3b7ef6f8 grafana/grafana "/run.sh" 8 minutes ago Up 8 minutes 0.0.0.0:3000->3000/tcp harvest_grafana 0febee61cab7 prom/alertmanager "/bin/alertmanager -…" 8 minutes ago Up 8 minutes 0.0.0.0:9093->9093/tcp harvest_prometheus_alertmanager 1706d8cd5a0c prom/prometheus "/bin/prometheus --c…" 8 minutes ago Up 8 minutes 0.0.0.0:9090->9090/tcp harvest_prometheus
  4. Se os contêineres do docker não estiverem em execução, verifique se há falhas no /var/log/cloud-init-output.log arquivo da seguinte maneira.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /var/log/cloud-init-output.log PLAY [Manage Harvest] ********************************************************** TASK [Gathering Facts] ********************************************************* ok: [localhost] TASK [Verify images] *********************************************************** failed: [localhost] (item=prom/prometheus) => {"ansible_loop_var": "item", "changed": false, "item": "prom/prometheus", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} failed: [localhost] (item=prom/alertmanager) => {"ansible_loop_var": "item", "changed": false, "item": "prom/alertmanage r", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))"} failed: [localhost] (item=rahulguptajss/harvest) => {"ansible_loop_var": "item", "changed": false, "item": "rahulguptajs s/harvest", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetEr ror(104, 'Connection reset by peer'))"} failed: [localhost] (item=grafana/grafana) => {"ansible_loop_var": "item", "changed": false, "item": "grafana/grafana", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} PLAY RECAP ********************************************************************* localhost : ok=1 changed=0 unreachable=0 failed=1 skipped=0 rescued=0 ignored=0
  5. Se houver falhas, execute os comandos a seguir para implantar os contêineres Harvest e Grafana.

    [ec2-user@ip-ec2_ip_address ~]$ sudo su [ec2-user@ip-ec2_ip_address ~]$ cd /home/ec2-user/harvest_install [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml --tags api
  6. Valide os contêineres iniciados com sucesso executando sudo docker ps e conectando-se à sua URL do Harvest e da Grafana.