View a markdown version of this page

Risoluzione SageMaker HyperPod dei problemi relativi al componente aggiuntivo Amazon Observability - Amazon SageMaker AI
Metriche mancantiAdd-on errori di installazioneRevisione di tutti i pod di osservabilitàPod bloccati nello stato in sospesoRisoluzione dei problemi di osservabilità su gruppi di istanze con restrizioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risoluzione SageMaker HyperPod dei problemi relativi al componente aggiuntivo Amazon Observability

Utilizza le seguenti linee guida per risolvere i problemi più comuni con il componente aggiuntivo di osservabilità Amazon SageMaker HyperPod (SageMaker HyperPod).

Risoluzione dei problemi relativi alle metriche mancanti in Grafana gestito da Amazon

Se le metriche non compaiono nelle dashboard di Grafana gestito da Amazon, segui queste fasi per identificare e risolvere il problema.

Verifica la connessione Amazon Managed Service for Prometheus-Amazon Managed Grafana

  1. Accedi alla console di Grafana gestito da Amazon.

  2. Nel riquadro a sinistra, scegli Tutto workspaces.

  3. Nella tabella Workspace, scegli il tuo spazio di lavoro.

  4. Nella pagina dei dettagli dello spazio di lavoro, scegli la scheda Origini dati.

  5. Verifica che l’origine dati del Servizio gestito da Amazon per Prometheus esista.

  6. Controlla le impostazioni di connessione:

    • Conferma che l’URL dell’endpoint sia corretto.

    • Verifica che l’autenticazione IAM sia configurata correttamente.

    • Scegli Test Connection (Connessione di prova). Verifica che lo stato sia Origine dati funzionante.

Verifica dello stato del componente aggiuntivo Amazon EKS

  1. Apri la console Amazon EKS all'indirizzo https://console.aws.amazon.com/eks/home #/clusters.

  2. Selezionare il cluster.

  3. Scegli la scheda Add-ons.

  4. Verifica che il componente aggiuntivo SageMaker HyperPod di osservabilità sia elencato e che il suo stato sia ATTIVO.

  5. Se lo stato non è ACTIVE, consulta Risoluzione degli errori di installazione del componente aggiuntivo.

Verifica dell’associazione Pod Identity

  1. Apri la console Amazon EKS all'indirizzo https://console.aws.amazon.com/eks/home #/clusters.

  2. Selezionare il cluster.

  3. Nella pagina dei dettagli del cluster, scegli la scheda Accesso.

  4. Nella tabella Associazioni Pod Identity, scegli l’associazione con i valori di proprietà seguenti:

    • Namespace: hyperpod-observability

    • Account del servizio: hyperpod-observability-operator-otel-collector

    • Add-on: amazon-sagemaker-hyperpod-observability

  5. Assicurati che il ruolo IAM collegato a questa associazione abbia le autorizzazioni seguenti.

    JSON
    {
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "PrometheusAccess",
            "Effect": "Allow",
            "Action": "aps:RemoteWrite",
            "Resource": "arn:aws:aps:us-east-1:111122223333:workspace/workspace-ID"
        },
        {
            "Sid": "CloudwatchLogsAccess",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents",
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:GetLogRecord",
                "logs:StartQuery",
                "logs:StopQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws/sagemaker/Clusters/*",
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws/sagemaker/Clusters/*:log-stream:*"
            ]
        }
    ]
}

  6. Assicurati che il ruolo IAM collegato a questa associazione abbia la policy di attendibilità seguente. Verifica che l’ARN di origine e l’account di origine siano corretti.

    JSON
    {
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:SourceArn": "arn:aws:eks:us-east-1:111122223333:cluster/cluster-name",
                    "aws:SourceAccount": "111122223333"
                }
            }
        }
    ]
}

Verifica della limitazione (della larghezza di banda della rete) del Servizio gestito da Amazon per Prometheus

  1. Accedi Console di gestione AWS e apri la console Service Quotas all'indirizzo. https://console.aws.amazon.com/servicequotas/

  2. Nella casella Quote gestite, cerca e seleziona Servizio gestito da Amazon per Prometheus.

  3. Scegli la quota Serie attiva per spazio di lavoro.

  4. Nella scheda Resource-level quote, seleziona il tuo spazio di lavoro Amazon Managed Service for Prometheus.

  5. Assicurati che l’utilizzo sia inferiore alla tua quota attuale.

  6. Se hai raggiunto il limite di quota, seleziona lo spazio di lavoro scegliendo il pulsante di opzione a sinistra, quindi seleziona Richiedi un aumento a livello di risorsa.

Verifica che il caching KV e il routing intelligente siano abilitati

Se manca la KVCache Metrics dashboard, la funzionalità non è abilitata o la porta non è menzionata nel. modelMetrics Per ulteriori informazioni su come abilitarla, consulta i passaggi 1 e 3 diConfigura il caching KV e il routing intelligente.

Se manca la Intelligent Router Metrics dashboard, abilita la funzione per visualizzarli. Per ulteriori informazioni su come abilitarla, consultaConfigura il caching KV e il routing intelligente.

Risoluzione degli errori di installazione del componente aggiuntivo

Se l’installazione del componente aggiuntivo Observability non riesce, utilizza la procedura seguente per diagnosticare e risolvere il problema.

Controlla lo stato di integrità della sonda

  1. Apri la console Amazon EKS all'indirizzo https://console.aws.amazon.com/eks/home #/clusters.

  2. Selezionare il cluster.

  3. Scegli la scheda Add-ons.

  4. Scegli il componente aggiuntivo non riuscito.

  5. Consulta la sezione Problemi di integrità.

  6. Se il problema di integrità è correlato alle credenziali o a Pod Identity, consulta Verifica dell’associazione Pod Identity. Assicurati inoltre che il componente aggiuntivo Pod Identity Agent sia in esecuzione nel cluster.

  7. Verifica la presenza di errori nei log del gestore. Per istruzioni, consulta Revisione dei log del gestore.

  8. Contatta l' AWS assistenza con i dettagli del problema.

Revisione dei log del gestore

  1. Scarica il pod del gestore dei componenti aggiuntivi:

    kubectl logs -n hyperpod-observability -l control-plane=hyperpod-observability-controller-manager

  2. Per problemi urgenti, contatta Supporto.

Revisione di tutti i pod di osservabilità

Tutti i pod creati dall'add-on di SageMaker HyperPod osservabilità si trovano nel namespace. hyperpod-observability Per ottenere lo stato di questi pod, utilizza il comando seguente.

kubectl get pods -n hyperpod-observability

Cerca i pod il cui stato è pending o crashloopbackoff. Utilizza il comando seguente per ottenere i log di questi pod in sospeso o in errore.

kubectl logs -n hyperpod-observability pod-name

Se non trovi errori nei log, utilizza il comando seguente per descrivere i pod e cercare gli errori.

kubectl describe -n hyperpod-observability pod pod-name

Per ottenere più contesto, esegui questi due comandi per visualizzare le descrizioni delle implementazioni e dei DaemonSet per questi pod.

kubectl describe -n hyperpod-observability deployment deployment-name
kubectl describe -n hyperpod-observability daemonset daemonset-name

Risoluzione dei problemi relativi ai pod bloccati nello stato in sospeso

Se vedi che ci sono dei pod bloccati nello stato pending, assicurati che il nodo sia abbastanza grande da contenerli tutti. Per verificare che lo sia, procedi come segue.

  1. Apri la console Amazon EKS all'indirizzo #/clusters. https://console.aws.amazon.com/eks/home

  2. Scegli il cluster.

  3. Scegli la scheda Calcolo del cluster.

  4. Scegli il nodo con il tipo di istanza più piccolo.

  5. Nella sezione di allocazione della capacità, cerca i pod disponibili.

  6. Se non ci sono pod disponibili, devi scegliere un tipo di istanza più grande.

Per problemi urgenti, contatta Supporto AWS.

Risoluzione dei problemi di osservabilità su gruppi di istanze con restrizioni

Utilizza le seguenti linee guida per risolvere i problemi specifici dei cluster con gruppi di istanze con restrizioni.

I pod di osservabilità non si avviano su nodi con restrizioni

Se i pod di osservabilità non si avviano su nodi con restrizioni, controlla lo stato e gli eventi dei pod:

kubectl get pods -n hyperpod-observability -o wide
kubectl describe pod pod-name -n hyperpod-observability

Le cause più comuni includono:

  • Errori di estrazione delle immagini: gli eventi del pod possono mostrare errori di estrazione delle immagini se le immagini del contenitore di osservabilità non sono ancora consentite nei nodi con restrizioni. Assicurati di utilizzare l'ultima versione del componente aggiuntivo per l'osservabilità. Se il problema persiste dopo l'aggiornamento, contatta. Supporto

  • Tolleranze alle contaminazioni: verifica che le specifiche del pod includano la tolleranza richiesta per i nodi con restrizioni. L'add-on a partire dalla versione aggiunge v1.0.5-eksbuild.1 automaticamente questa tolleranza quando il supporto RIG è abilitato. Se stai usando una versione precedente, esegui l'aggiornamento alla versione più recente.

Visualizzazione dei log per i pod su nodi con restrizioni

Il kubectl logs comando non funziona per i pod in esecuzione su nodi con restrizioni. Questa è una limitazione prevista perché il percorso di comunicazione richiesto per lo streaming dei log non è disponibile sui nodi con restrizioni.

Per visualizzare i log dei nodi con restrizioni, utilizza la dashboard Cluster Logs in Amazon Managed Grafana, che interroga direttamente CloudWatch i log. Puoi filtrare per ID di istanza, flusso di log, livello di log e ricerca a testo libero per trovare le voci di registro pertinenti.

Errori di risoluzione DNS nei cluster con nodi standard e limitati

Nei cluster ibridi (cluster con gruppi di istanze standard e limitati), i pod sui nodi standard possono subire dei timeout di risoluzione DNS quando si tenta di raggiungere endpoint di servizio come Amazon Managed AWS Service for Prometheus o. CloudWatch

Causa: il kube-dns servizio dispone di endpoint provenienti sia da pod CoreDNS standard che da pod RIG CoreDNS. I node pod standard non possono raggiungere gli endpoint RIG CoreDNS a causa dell'isolamento della rete. Quando si effettua il kube-proxy bilanciamento del carico di una richiesta DNS da un pod di nodi standard a un endpoint RIG CoreDNS, la richiesta scade.

Risoluzione: imposta il kube-dns servizio in modo che i pod raggiungano CoreDNS solo internalTrafficPolicy: Local sul loro nodo locale:

kubectl patch svc kube-dns -n kube-system -p '{"spec":{"internalTrafficPolicy":"Local"}}'

Dopo aver applicato questa patch, riavvia i pod di osservabilità interessati:

kubectl delete pods -n hyperpod-observability -l app.kubernetes.io/name=hyperpod-node-collector

Le metriche dei nodi con restrizioni non raggiungono Amazon Managed Service for Prometheus

Se le metriche dei nodi con restrizioni non vengono visualizzate nel tuo spazio di lavoro Amazon Managed Service for Prometheus:

  1. Verifica le autorizzazioni del ruolo di esecuzione. Assicurati che il ruolo di esecuzione per il Restricted Instance Group disponga dell'aps:RemoteWriteautorizzazione per il tuo spazio di lavoro Prometheus. Per ulteriori informazioni, consulta Prerequisiti aggiuntivi per i gruppi di istanze con restrizioni.

  2. Controlla lo stato del pod del node collector. Esegui il comando seguente e verifica che i pod di raccolta dei nodi siano in esecuzione su nodi con restrizioni:

    kubectl get pods -n hyperpod-observability | grep node-collector

  3. Controllate le distribuzioni dei raccoglitori centrali. Nei cluster con nodi limitati, l'add-on implementa un collettore centrale per confine di rete. Verifica che esista un raccoglitore centrale per ogni confine:

    kubectl get deployments -n hyperpod-observability | grep central-collector

  4. Verifica la presenza di errori negli eventi del pod. Usalo kubectl describe sui contenitori di raccolta per cercare eventi di errore:

    kubectl describe pod collector-pod-name -n hyperpod-observability

Se il problema persiste dopo aver verificato quanto sopra, contatta. Supporto

La verifica dell'identità del pod non si applica ai nodi dei gruppi di istanze con restrizioni

La procedura di Verifica dell’associazione Pod Identity risoluzione dei problemi si applica solo ai nodi standard. Sui nodi con restrizioni, il componente aggiuntivo utilizza il ruolo di esecuzione del gruppo di istanze del cluster per AWS l'autenticazione anziché Amazon EKS Pod Identity. Se nei nodi con restrizioni mancano delle metriche, verifica le autorizzazioni del ruolo di esecuzione anziché l'associazione Pod Identity.

Fluent Bit non è in esecuzione su nodi con restrizioni

Questo è il comportamento previsto. Fluent Bit non è intenzionalmente distribuito su nodi con restrizioni. I log dei nodi con restrizioni vengono pubblicati CloudWatch tramite la SageMaker HyperPod piattaforma indipendentemente dal componente aggiuntivo di osservabilità. Utilizza la dashboard Cluster Logs in Amazon Managed Grafana per visualizzare questi log.