Risoluzione dei problemi MSK di Replicator

Assicurati che i gruppi di sicurezza che hai fornito per la creazione del replicatore nella sezione del cluster di destinazione dispongano di regole in uscita per consentire il traffico verso i gruppi di sicurezza del cluster di destinazione. Inoltre, assicurati che i gruppi di sicurezza del cluster di destinazione dispongano di regole in entrata che consentano il traffico verso i gruppi di sicurezza che fornisci per la creazione del replicatore nella sezione del cluster di destinazione. Per informazioni, consulta Scelta del cluster di destinazione.

Se state creando Replicator per la replica tra regioni, verificate che nel cluster di origine sia attivata la VPC connettività multipla per IAM il metodo di autenticazione Access Control. Per informazioni, consulta Connettività MSK VPC multiprivata Amazon in un'unica regione. Verificate inoltre che la politica del cluster sia configurata sul cluster di origine in modo che il MSK Replicator possa connettersi al cluster di origine. Per informazioni, consulta Fase 1: Preparare il cluster MSK di origine Amazon.

Verificate che il IAM ruolo fornito durante la creazione di MSK Replicator disponga delle autorizzazioni necessarie per leggere e scrivere nei cluster di origine e di destinazione. Inoltre, verificate che il IAM ruolo disponga delle autorizzazioni per scrivere sugli argomenti. Consulta la sezione Configurazione delle impostazioni e delle autorizzazioni del replicatore

Verificate che la rete non ACLs stia bloccando la connessione tra il MSK Replicator e i cluster di origine e di destinazione.

È possibile che i cluster di origine o di destinazione non siano completamente disponibili quando il MSK Replicator tenta di connettersi ad essi. Ciò potrebbe essere dovuto a un carico eccessivo, all'utilizzo del disco o CPU all'uso eccessivo, che impedisce al Replicator di connettersi ai broker. Risolvi il problema con i broker e prova di nuovo a creare il replicatore.

Verifica che il tuo Replicator non stia riscontrando errori di autenticazione utilizzando la AuthError metrica fornita da MSK Replicator in Amazon. CloudWatch Se questa metrica è superiore a 0, controlla se la policy del IAM ruolo che hai fornito per il replicatore è valida e non sono state impostate autorizzazioni di negazione per le autorizzazioni del cluster. In base alla clusterAlias dimensione, puoi identificare se il cluster di origine o di destinazione presenta errori di autenticazione.

Verifica che i cluster di origine e di destinazione non presentino problemi. È possibile che il replicatore non sia in grado di connettersi al cluster di origine o di destinazione. Ciò potrebbe accadere a causa di troppe connessioni, del disco a piena capacità o CPU dell'elevato utilizzo.

Verifica che i cluster di origine e di destinazione siano raggiungibili da MSK Replicator utilizzando la KafkaClusterPingSuccessCount metrica di Amazon. CloudWatch In base alla clusterAlias dimensione, puoi identificare se il cluster di origine o di destinazione presenta errori di autenticazione. Se questo parametro è 0 o non ha un punto di dati, la connessione non è integra. È necessario verificare le autorizzazioni di rete e di IAM ruolo utilizzate da MSK Replicator per connettersi ai cluster.

Verifica che il tuo Replicator non stia riscontrando errori dovuti alla mancanza di autorizzazioni a livello di argomento utilizzando la metrica in Amazon. ReplicatorFailure CloudWatch Se questa metrica è superiore a 0, controlla il ruolo che hai fornito per le autorizzazioni a livello di argomentoIAM.

Verifica che l'espressione regolare che hai fornito nell'elenco consentito durante la creazione del replicatore corrisponda ai nomi degli argomenti che desideri replicare. Inoltre, verifica che gli argomenti non vengano esclusi dalla replica a causa di un'espressione regolare nell'elenco degli argomenti non consentiti.

Tieni presente che il Replicator potrebbe impiegare fino a 30 secondi per rilevare e creare i nuovi argomenti o le partizioni degli argomenti nel cluster di destinazione. Tutti i messaggi inviati all'argomento di origine prima della creazione dell'argomento nel cluster di destinazione non verranno replicati se la posizione iniziale del replicatore è la più recente (impostazione predefinita). In alternativa, è possibile avviare la replica dal primo offset nelle partizioni degli argomenti del cluster di origine se si desidera replicare i messaggi esistenti sui propri argomenti nel cluster di destinazione. Per informazioni, consulta Configurazione delle impostazioni e delle autorizzazioni del replicatore.

Verifica che la replica dei dati funzioni come previsto. In caso contrario, vediMSKReplicator non replica dati o replica solo dati parziali.

Verifica che l'espressione regolare che hai fornito nell'elenco consentito durante la creazione del Replicator corrisponda ai nomi dei gruppi di consumatori che desideri replicare. Inoltre, verificate che i gruppi di consumatori non vengano esclusi dalla replica a causa di un'espressione regolare nell'elenco degli utenti non autorizzati.

Verificate che MSK Replicator abbia creato l'argomento sul cluster di destinazione. Il Replicator potrebbe impiegare fino a 30 secondi per rilevare e creare nuovi argomenti o partizioni di argomenti sul cluster di destinazione. Tutti i messaggi inviati all'argomento di origine prima della creazione dell'argomento nel cluster di destinazione non verranno replicati se la posizione iniziale del replicatore è la più recente (impostazione predefinita). Se il gruppo di consumatori nel cluster di origine ha utilizzato solo i messaggi che non sono stati replicati da MSK Replicator, il gruppo di consumatori non verrà replicato nel cluster di destinazione. Dopo aver creato correttamente l'argomento sul cluster di destinazione, MSK Replicator inizierà a replicare i messaggi appena scritti sul cluster di origine verso il target. Una volta che il gruppo di consumatori inizia a leggere questi messaggi dall'origine, MSK Replicator replicherà automaticamente il gruppo di consumatori nel cluster di destinazione. In alternativa, è possibile avviare la replica dal primo offset nelle partizioni degli argomenti del cluster di origine se si desidera replicare i messaggi esistenti sui propri argomenti nel cluster di destinazione. Per informazioni, consulta Configurazione delle impostazioni e delle autorizzazioni del replicatore.

Verificate di avere il giusto numero di partizioni nei cluster di origine e di destinazione. MSK Un numero di partizioni troppo basso o elevato può influire sulle prestazioni. Per indicazioni sulla scelta del numero di partizioni, consulta la sezione Le migliori pratiche per l'utilizzo di MSK Replicator. La tabella seguente mostra il numero minimo di partizioni consigliato per ottenere il throughput desiderato con Replicator. MSK

Verifica di disporre di una capacità di lettura e scrittura sufficiente nei MSK cluster di origine e di destinazione per supportare il traffico di replica. MSKReplicator funge da consumatore per il cluster di origine (uscita) e da produttore per il cluster di destinazione (ingresso). Pertanto, è necessario fornire la capacità del cluster per supportare il traffico di replica oltre al resto del traffico sui cluster. Consulta Le migliori pratiche per l'utilizzo di MSK Replicator le indicazioni sul dimensionamento dei cluster. MSK

La latenza di replica può variare per MSK i cluster con origini e destinazioni diverse AWS Coppie di regioni, a seconda della distanza geografica dei cluster l'uno dall'altro. Ad esempio, la latenza di replica è in genere inferiore quando si esegue la replica tra cluster nelle regioni Europa (Irlanda) ed Europa (Londra) rispetto alla replica tra cluster nelle regioni Europa (Irlanda) e Asia Pacifico (Sydney).

Assicurati che il replicatore non subisca limitazioni a causa delle quote eccessivamente aggressive impostate sui cluster di origine o di destinazione. Puoi utilizzare la ThrottleTime metrica fornita da MSK Replicator in Amazon CloudWatch per vedere il tempo medio, in millisecondi, in cui una richiesta è stata limitata dai broker del tuo cluster di origine/destinazione. Se questo parametro è superiore a 0, è necessario modificare le quote Kafka per ridurre la limitazione della larghezza di banda della rete in modo che il replicatore possa recuperare il ritardo. Per informazioni sulla gestione delle quote Kafka per il replicatore, consulta la pagina Gestione del throughput di MSK Replicator utilizzando le quote Kafka.

ReplicationLatency e MessageLag potrebbe aumentare quando un AWS La regione si degrada. Utilizzo dell'AWS Service Health Dashboard per verificare la presenza MSK di un evento di servizio nella regione in cui si trova il MSK cluster principale. Se si verifica un evento di servizio, è possibile reindirizzare temporaneamente le operazioni di lettura e scrittura dell'applicazione all'altra regione.