Migration physique depuis MySQL à l'aide de Percona XtraBackup et Amazon S3

Vous pouvez copier les fichiers de sauvegarde complète et incrémentielle de votre base de données MySQL version 5.7 ou 8.0 source vers un compartiment Amazon S3. Vous pouvez ensuite effectuer une restauration sur un cluster de base de données Amazon Aurora MySQL avec la même version majeure du moteur de base de données à partir de ces fichiers.

Cette option peut être considérablement plus rapide que la migration des données à l'aide de mysqldump, parce que l'utilisation de mysqldump réexécute toutes les commandes pour recréer le schéma et les données de votre base de données source dans votre nouveau cluster de base de données Aurora MySQL. En copiant vos fichiers de données MySQL source, Aurora MySQL peut immédiatement utiliser ces fichiers en tant que données d'un cluster de base de données Aurora MySQL.

Vous pouvez également réduire au maximum les temps d'arrêt en utilisant la réplication des journaux binaires pendant le processus de migration. Si vous utilisez la réplication des journaux binaires, la base de données MySQL externe reste ouverte aux transactions pendant que les données sont migrées vers le cluster de base de données Aurora MySQL. Une fois le cluster de base de données Aurora MySQL créé, utilisez la réplication des journaux binaires pour synchroniser le cluster de base de données Aurora MySQL avec les transactions qui ont eu lieu après la sauvegarde. Une fois le cluster de base de données Aurora MySQL synchronisé avec la base de données MySQL, vous terminez la migration en basculant complètement vers le cluster de base de données Aurora MySQL pour les nouvelles transactions. Pour plus d’informations, consultez Synchronisation du cluster de base de données Amazon Aurora MySQL sur la base de données MySQL avec la réplication.

Limites et considérations

Les limites et considérations suivantes s'appliquent à la restauration vers un cluster de base de données Amazon Aurora MySQL à partir d'un compartiment Amazon S3 :

Avant de commencer

Avant de pouvoir copier vos données dans un compartiment Amazon S3 et de les restaurer dans un cluster de base de données à partir de ces fichiers, vous devez effectuer les opérations suivantes :

Installation de Percona XtraBackup

Amazon Aurora peut restaurer un cluster de base de données à partir de fichiers créés à l'aide de Percona XtraBackup. Vous pouvez installer Percona XtraBackup depuis Téléchargements de logiciels - Percona.

Pour la migration vers MySQL 5.7, utilisez Percona XtraBackup 2.4.

Pour la migration vers MySQL 8.0, utilisez Percona XtraBackup 8.0. Assurez-vous que la version Percona est compatible avec la XtraBackup version du moteur de votre base de données source.

Autorisations nécessaires

Pour migrer vos données MySQL vers un cluster de base de données Amazon Aurora MySQL, plusieurs autorisations sont requises :

Par exemple, la politique IAM suivante accorde à un utilisateur les autorisations minimales requises pour utiliser la console afin de répertorier les rôles IAM, créer un rôle IAM et répertorier les compartiments Amazon S3 de votre compte, ainsi que les clés KMS.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "iam:ListRoles",
                "iam:CreateRole",
                "iam:CreatePolicy",
                "iam:AttachRolePolicy",
                "s3:ListBucket",
                "kms:ListKeys"
            ],
            "Resource": "*"
        }
    ]
}

En outre, pour qu'un utilisateur associe un rôle IAM à un compartiment Amazon S3, l'utilisateur IAM doit avoir l'autorisation iam:PassRole pour ce rôle IAM. Cette autorisation permet à un administrateur de limiter les rôles IAM qu'un utilisateur peut associer aux compartiments Amazon S3.

Par exemple, la stratégie IAM suivante permet à un utilisateur d'associer le rôle nommé S3Access à un compartiment Amazon S3.

{
    "Version":"2012-10-17",
    "Statement":[
        {
            "Sid":"AllowS3AccessRole",
            "Effect":"Allow",
            "Action":"iam:PassRole",
            "Resource":"arn:aws:iam::123456789012:role/S3Access"
        }
    ]
}

Pour de plus amples informations sur les autorisations utilisateur IAM, veuillez consulter Gestion des accès à l’aide de politiques.

Création d'un rôle de service IAM

Vous pouvez AWS Management Console créer un rôle pour vous en choisissant l'option Créer un nouveau rôle (présentée plus loin dans cette rubrique). Si vous sélectionnez cette option et spécifiez un nom pour le nouveau rôle, Aurora crée le rôle de service IAM nécessaire pour qu'Aurora accède à votre compartiment Amazon S3 avec le nom que vous fournissez.

Vous pouvez aussi créer manuellement le rôle à l'aide de la procédure suivante.

Sauvegarde de fichiers à restaurer comme cluster de base de données Amazon Aurora MySQL

Vous pouvez créer une sauvegarde complète de vos fichiers de base de données MySQL à l'aide de Percona XtraBackup et télécharger les fichiers de sauvegarde dans un compartiment Amazon S3. Si vous utilisez déjà Percona XtraBackup pour sauvegarder les fichiers de votre base de données MySQL, vous pouvez également télécharger vos répertoires et fichiers de sauvegarde complets et incrémentiels existants dans un compartiment Amazon S3.

Création d'une sauvegarde complète avec Percona XtraBackup

Pour créer une sauvegarde complète de vos fichiers de base de données MySQL qui peuvent être restaurés depuis Amazon S3 afin de créer un cluster de bases de données Aurora MySQL, utilisez l' XtraBackup utilitaire Percona (xtrabackup) pour sauvegarder votre base de données.

Par exemple, la commande suivante crée une sauvegarde d'une base de données MySQL et stocke les fichiers dans le dossier /on-premises/s3-restore/backup.

xtrabackup --backup --user=<myuser> --password=<password> --target-dir=</on-premises/s3-restore/backup>

Si vous souhaitez compresser votre sauvegarde en un seul fichier (qui peut être divisé, si nécessaire), vous pouvez utiliser l'option --stream pour enregistrer votre sauvegarde dans l'un des formats suivants :

La commande suivante crée une sauvegarde de votre base de données MySQL, divisée en plusieurs fichiers Gzip.

xtrabackup --backup --user=<myuser> --password=<password> --stream=tar \
   --target-dir=</on-premises/s3-restore/backup> | gzip - | split -d --bytes=500MB \
   - </on-premises/s3-restore/backup/backup>.tar.gz

La commande suivante crée une sauvegarde de votre base de données MySQL, divisée en plusieurs fichiers tar.

xtrabackup --backup --user=<myuser> --password=<password> --stream=tar \
   --target-dir=</on-premises/s3-restore/backup> | split -d --bytes=500MB \
   - </on-premises/s3-restore/backup/backup>.tar

La commande suivante crée une sauvegarde de votre base de données MySQL, divisée en plusieurs fichiers xbstream.

xtrabackup --backup --user=<myuser> --password=<password> --stream=xbstream \
   --target-dir=</on-premises/s3-restore/backup> | split -d --bytes=500MB \
   - </on-premises/s3-restore/backup/backup>.xbstream

ERROR:/bin/tar: This does not look like a tar archive

Une fois que vous avez sauvegardé votre base de données MySQL à l'aide de l' XtraBackup utilitaire Percona, vous pouvez copier vos répertoires et fichiers de sauvegarde dans un compartiment Amazon S3.

Pour de plus amples informations sur la création et le chargement d'un fichier dans un compartiment Amazon S3, veuillez consulter Mise en route sur Amazon Simple Storage Service dans le Guide de démarrage Amazon S3.

Utilisation de sauvegardes incrémentielles avec Percona XtraBackup

Amazon Aurora MySQL prend en charge les sauvegardes complètes et incrémentielles créées à l'aide de XtraBackup Percona. Si vous utilisez déjà Percona XtraBackup pour effectuer des sauvegardes complètes et incrémentielles de vos fichiers de base de données MySQL, vous n'avez pas besoin de créer une sauvegarde complète et de télécharger les fichiers de sauvegarde sur Amazon S3. Au lieu de cela, vous pouvez économiser beaucoup de temps en copiant vos fichiers et répertoires de sauvegarde existants pour vos sauvegardes complètes et incrémentielles dans un compartiment Amazon S3. Pour plus d'informations, consultez Création d'une sauvegarde incrémentielle (langue française non garantie) sur le site web de Percona.

Lorsque vous copiez les fichiers existants des sauvegardes complètes et incrémentielles dans un compartiment Amazon S3, vous devez copier de façon récursive le contenu du répertoire de base. Ce contenu inclut la sauvegarde complète, ainsi que tous les fichiers et répertoires des sauvegardes incrémentielles. Cette copie doit conserver la structure de répertoire dans le compartiment Amazon S3. Aurora effectue une itération sur l'ensemble des fichiers et répertoires. Aurora utilise le fichier xtrabackup-checkpoints inclus avec chaque sauvegarde incrémentielle pour identifier le répertoire de base et ordonner les sauvegardes incrémentielles selon leur plage de numéros de séquence de journal.

Pour de plus amples informations sur la création et le chargement d'un fichier dans un compartiment Amazon S3, veuillez consulter Mise en route sur Amazon Simple Storage Service dans le Guide de démarrage Amazon S3.

Considérations relatives à la sauvegarde

Aurora ne prend pas en charge les sauvegardes partielles créées à l'aide de Percona XtraBackup. Vous ne pouvez pas utiliser les options suivantes pour créer une sauvegarde partielle lorsque vous sauvegardez les fichiers source pour votre base de données : --tables, --tables-exclude, --tables-file, --databases, --databases-exclude ou --databases-file.

Pour plus d'informations sur la sauvegarde de votre base de données avec Percona XtraBackup, consultez Percona XtraBackup - Documentation et utilisation de journaux binaires sur le site Web de Percona.

Aurora prend en charge les sauvegardes incrémentielles créées à l'aide de Percona XtraBackup. Pour plus d'informations, consultez Création d'une sauvegarde incrémentielle (langue française non garantie) sur le site web de Percona.

Aurora utilise vos fichiers de sauvegarde sur la base des noms de fichier. Veillez à nommer vos fichiers de sauvegarde avec l'extension de fichier appropriée basée sur le format de fichier, par exemple, .xbstream pour les fichiers stockés en utilisant le format Percona xbstream.

Aurora utilise vos fichiers de sauvegarde dans l'ordre alphabétique, ainsi que l'ordre numérique naturel. Utilisez toujours l'option split lorsque vous émettez la commande xtrabackup pour vous assurer que vos fichiers de sauvegarde sont écrits et nommés dans l'ordre approprié.

Amazon S3 limite la taille d'un fichier chargé vers un compartiment Amazon S3 à 5 To. Si les données de sauvegarde de votre base de données dépassent 5 To, utilisez la commande split pour diviser les fichiers de sauvegarde en plusieurs fichiers de moins de 5 To chacun.

Aurora limite le nombre de fichiers source chargés dans un compartiment Amazon S3 à 1 million de fichiers. Dans certains cas, si les données de sauvegarde de votre base de données, y compris toutes les sauvegardes complètes et incrémentielles, comprennent un grand nombre de fichiers. Le cas échéant, utilisez un fichier tarball (.tar.gz) pour stocker les fichiers des sauvegardes complètes et incrémentielles dans le compartiment Amazon S3.

Lorsque vous chargez un fichier dans compartiment Amazon S3, vous pouvez utiliser le chiffrement côté serveur pour chiffrer vos données. Vous pouvez ensuite restaurer un cluster de base de données Amazon Aurora MySQL à partir de ces fichiers chiffrés. Amazon Aurora MySQL peut restaurer un cluster de base de données avec des fichiers chiffrés à l'aide des types de chiffrement côté serveur suivants :

Pour de plus amples informations sur l'utilisation du chiffrement côté serveur lors du chargement de fichiers dans un compartiment Amazon S3, veuillez consulter Protection des données à l'aide d'un chiffrement côté serveur dans le Manuel du développeur Amazon S3.

Restauration d'un cluster de base de données Amazon Aurora MySQL à partir d'un compartiment Amazon S3

Vous pouvez restaurer vos fichiers de sauvegarde à partir de votre compartiment Amazon S3 pour créer un nouveau cluster de base de données Amazon Aurora MySQL à l'aide de la console Amazon RDS.

Sur la console Amazon RDS, la nouvelle instance de base de données s'affiche dans la liste des instances de bases de données. L'instance de base de données a le statut creating (création en cours) jusqu'à ce qu'elle soit créée et prête à l'emploi. Lorsque l'état devient available, vous pouvez vous connecter à l'instance principale de votre cluster DB. En fonction du stockage et de la classe d'instance de base de données alloués, la mise à disposition de la nouvelle instance de base de données peut nécessiter plusieurs minutes.

Pour afficher le cluster nouvellement créé, choisissez la vue Bases de données dans la console Amazon RDS et choisissez le cluster de base de données. Pour plus d'informations, consultez Affichage d'un cluster de base de données Amazon Aurora.

Notez le port et le point de terminaison enregistreur du cluster de base de données. Utilisez le point de terminaison enregistreur et le port du cluster de base de données dans vos chaînes de connexion JDBC et ODBC pour toute application qui exécute des opérations de lecture et d'écriture.

Synchronisation du cluster de base de données Amazon Aurora MySQL sur la base de données MySQL avec la réplication

Pendant la migration, pour limiter ou éviter les temps d'arrêt, vous pouvez répliquer les transactions validées sur votre base de données MySQL sur votre cluster de base de données Aurora MySQL. La réplication permet au cluster de base de données d'être synchrone avec les transactions de la base de données MySQL traitées pendant la migration. Une fois que le cluster de base de données est totalement synchronisé, vous pouvez arrêter la réplication et terminer la migration vers Aurora MySQL.

Configuration de votre base de données MySQL externe et de votre cluster de base de données Aurora MySQL pour la réplication chiffrée

Pour répliquer des données en toute sécurité, vous pouvez utiliser la réplication chiffrée.

Pour pouvoir utiliser la réplication chiffrée, vous devez impérativement disposer des éléments suivants :

Pendant la réplication chiffrée, le cluster de base de données Aurora MySQL agit comme client du serveur de base de données MySQL. Les certificats et les clés privées du client Aurora MySQL sont au format .pem dans les fichiers.

Synchronisation du cluster de base de données Amazon Aurora MySQL sur la base de données MySQL externe

Vous pouvez synchroniser votre cluster de base de données Amazon Aurora MySQL sur la base de données MySQL à l'aide de la réplication.