Esegui il backup e l'archiviazione dei dati del mainframe su Amazon S3 utilizzando Cloud BMC AMI Data - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitetturaStrumentiEpicheRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui il backup e l'archiviazione dei dati del mainframe su Amazon S3 utilizzando Cloud BMC AMI Data

Creato da Santosh Kumar Singh (AWS), Mikhael Liberman (software mainframe Model9), Gilberto Biondo () e Maggie Li () AWS AWS

Ambiente: PoC o pilota

Fonte: Mainframe

Obiettivo: Amazon S3

Tipo R: N/A

Tecnologie: mainframe; storage e backup; Modernizzazione

AWSservizi: AmazonEC2; Amazon; Amazon S3EFS; AWS Direct Connect

Riepilogo

Questo modello dimostra come eseguire il backup e l'archiviazione dei dati mainframe direttamente su Amazon Simple Storage Service (Amazon S3), quindi richiamare e ripristinare tali dati sul mainframe BMC AMI utilizzando Cloud Data (precedentemente noto come Model9 Manager). Se stai cercando un modo per modernizzare la tua soluzione di backup e archiviazione nell'ambito di un progetto di modernizzazione del mainframe o per soddisfare i requisiti di conformità, questo modello può aiutarti a raggiungere questi obiettivi.

In genere, le organizzazioni che eseguono applicazioni aziendali principali su mainframe utilizzano una libreria a nastro virtuale (VTL) per eseguire il backup di archivi di dati come file e registri. Questo metodo può essere costoso in quanto comporta consumi fatturabili MIPS e i dati archiviati su nastri all'esterno del mainframe sono inaccessibili. Per evitare questi problemi, puoi utilizzare BMC AMI Cloud Data per trasferire in modo rapido ed economico dati mainframe operativi e storici direttamente su Amazon S3. Puoi utilizzare BMC AMI Cloud Data per eseguire il backup e l'archiviazione dei dati su TCP /IP, sfruttando al AWS contempo i motori IBM z (Integrated Information ProcessorIIP) per ridurre costi, parallelismo e tempi di trasferimento.

Prerequisiti e limitazioni

Prerequisiti

  • Un account attivo AWS

  • BMCAMICloud Data con una chiave di licenza valida

  • TCPConnettività /IP tra il mainframe e AWS

  • Un ruolo AWS Identity and Access Management (IAM) per l'accesso in lettura/scrittura a un bucket S3

  • Accesso ai prodotti di sicurezza mainframe (RACF) necessari per eseguire processi cloud BMC AMI

  • Un agente BMC AMI Cloud z/OS (Java versione 8 a 64 bit SR5 FP16 o successiva) con porte di rete disponibili, regole firewall che consentono l'accesso ai bucket S3 e un file system z/FS dedicato

  • Requisiti soddisfatti per il server di gestione cloud BMC AMI

Limitazioni

  • BMCAMICloud Data archivia i dati operativi in un SQL database Postgre che viene eseguito come contenitore Docker sulla stessa istanza Amazon Elastic Compute Cloud (AmazonEC2) del server di gestione. Amazon Relational Database Service (RDSAmazon) non è attualmente supportato come backend BMC AMI per Cloud Data. Per ulteriori informazioni sugli ultimi aggiornamenti del prodotto, consulta What's New? nella BMC documentazione.

  • Questo modello esegue il backup e l'archiviazione solo dei dati del mainframe z/OS. BMCAMICloud Data esegue il backup e l'archiviazione solo dei file mainframe.

  • Questo modello non converte i dati in formati aperti standard come JSON oCSV. Utilizza un servizio di trasformazione aggiuntivo come BMCAMICloud Analytics (precedentemente noto come Model9 Gravity) per convertire i dati in formati aperti standard. Le applicazioni native del cloud e gli strumenti di analisi dei dati possono accedere ai dati dopo che sono stati scritti nel cloud.

Versioni del prodotto

  • BMCAMICloud Data versione 2.x

Architettura

Stack di tecnologia di origine

  • Mainframe con z/OS

  • File mainframe come set di dati e file UNIX z/OS System Services () USS

  • Disco mainframe, ad esempio un dispositivo di archiviazione ad accesso diretto () DASD

  • Nastro mainframe (libreria di nastri virtuale o fisica)

Stack tecnologico Target

  • Amazon S3

  • EC2Istanza Amazon in un cloud privato virtuale (VPC)

  • AWS Direct Connect

  • Amazon Elastic File System (AmazonEFS)

Architettura Target

Il diagramma seguente mostra un'architettura di riferimento in cui gli agenti software BMC AMI Cloud Data su un mainframe gestiscono i processi di backup e archiviazione dei dati legacy che archiviano i dati in Amazon S3.

BMCAMIGli agenti software Cloud Data su un mainframe guidano i processi di backup e archiviazione dei dati legacy

Il diagramma mostra il flusso di lavoro seguente:

  1. BMCAMIGli agenti software Cloud Data vengono eseguiti su partizioni logiche mainframe (). LPARs Gli agenti software leggono e scrivono i dati del mainframe DASD o li registrano direttamente su Amazon TCP S3 tramite /IP.

  2. AWS Direct Connect configura una connessione fisica e isolata tra la rete locale e. AWS Per una maggiore sicurezza, esegui un site-to-site VPN on top of AWS Direct Connect per crittografare i dati in transito.

  3. Il bucket S3 archivia i file mainframe come dati di storage di oggetti e gli agenti BMC AMI Cloud Data comunicano direttamente con i bucket S3. I certificati vengono utilizzati per la HTTPS crittografia di tutte le comunicazioni tra l'agente e Amazon S3. La crittografia dei dati di Amazon S3 viene utilizzata per crittografare e proteggere i dati archiviati.

  4. BMCAMII server di gestione Cloud Data funzionano come contenitori Docker sulle istanze. EC2 Le istanze comunicano con gli agenti in esecuzione su mainframe LPARs e bucket S3.

  5. Amazon EFS è montato su EC2 istanze attive e passive per condividere lo storage Network File System (NFS). Questo serve a garantire che i metadati relativi a una policy creata sul server di gestione non vadano persi in caso di failover. In caso di failover da parte del server attivo, è possibile accedere al server passivo senza alcuna perdita di dati. In caso di guasto del server passivo, è possibile accedere al server attivo senza alcuna perdita di dati.

Strumenti

AWSservizi

BMCstrumenti

  • BMCAMIIl server di gestione cloud è un'GUIapplicazione che viene eseguita come contenitore Docker su Amazon Linux Amazon Machine Image (AMI) per AmazonEC2. Il server di gestione offre la funzionalità per gestire le attività BMC AMI cloud come la creazione di report, la creazione e la gestione di policy, l'esecuzione di archivi e l'esecuzione di backup, richiami e ripristini.

  • BMCAMICloud Agent viene eseguito su un mainframe locale LPAR che legge e scrive i file direttamente nell'archivio di oggetti utilizzando /IP. TCP Un'attività avviata viene eseguita su un mainframe LPAR ed è responsabile della lettura e della scrittura dei dati di backup e archiviazione da e verso Amazon S3.

  • BMCAMICloud Mainframe Command Line Interface (M9CLI) fornisce una serie di comandi per eseguire azioni BMC AMI cloud direttamente da TSO /E o in operazioni batch, senza la dipendenza dal server di gestione.

Epiche

AttivitàDescrizioneCompetenze richieste

Crea un bucket S3.

Crea un bucket S3 per archiviare i file e i volumi di cui desideri eseguire il backup e l'archiviazione dal tuo ambiente mainframe.

Generale AWS

Crea una IAM politica.

Tutti i server e gli agenti di gestione del BMC AMI cloud richiedono l'accesso al bucket S3 creato nel passaggio precedente.

Per concedere l'accesso richiesto, crea la seguente politica: IAM

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Listfolder",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:ListBucketVersions"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<Bucket Name>"
            ]
        },
        {
            "Sid": "Objectaccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::<Bucket Name>/*"
            ]
        }
    ]
}
Generale AWS
AttivitàDescrizioneCompetenze richieste

Ottieni una licenza software BMC AMI Cloud.

Per ottenere una chiave di licenza software, contatta il team BMC AMI Cloud. L'output del D M=CPU comando z/OS è necessario per generare una licenza.

Costruisci piombo

Scarica il software BMC AMI Cloud e il codice di licenza.

Ottieni i file di installazione e la chiave di licenza seguendo le istruzioni contenute nella BMCdocumentazione.

Amministratore dell'infrastruttura mainframe
AttivitàDescrizioneCompetenze richieste

Installa l'agente software BMC AMI Cloud.

  1. Prima di iniziare il processo di installazione, verifica che siano soddisfatti i requisiti software e hardware minimi per l'agente.

  2. Per installare l'agente, segui le istruzioni nella BMCdocumentazione.

  3. Dopo che l'agente inizia a funzionare sul mainframeLPAR, controllate la presenza del ZM91000I MODEL9 BACKUP AGENT INITIALIZED messaggio nello spool. Verifica che la connettività sia stata stabilita correttamente tra l'agente e il bucket S3 cercando il Object store connectivity has been established successfully messaggio nell'agente. STDOUT

Amministratore dell'infrastruttura mainframe
AttivitàDescrizioneCompetenze richieste

Crea istanze Amazon EC2 Linux 2.

Avvia due istanze di Amazon EC2 Linux 2 in diverse zone di disponibilità seguendo le istruzioni del Passaggio 1: Avvia un'istanza nella EC2 documentazione di Amazon.

L'istanza deve soddisfare i seguenti requisiti hardware e software consigliati:

  • CPU— Minimo 4 core

  • RAM— Minimo 8 GB

  • Unità: 40 GB

  • EC2Istanza consigliata: C5.xlarge

  • Sistema operativo: Linux

  • Software: Docker, unzip, vi/ VIM

  • Larghezza di banda di rete: minimo 1 GB

Per ulteriori informazioni, consulta la BMCdocumentazione.

Architetto del cloud, amministratore del cloud

Crea un EFS file system Amazon.

Crea un EFS file system Amazon seguendo le istruzioni del Passaggio 1: Crea il tuo EFS file system Amazon nella EFS documentazione di Amazon.

Durante la creazione del file system, procedi come segue:

  • Scegli la classe di archiviazione Standard.

  • Scegli la stessa VPC che hai usato per avviare le tue EC2 istanze.

Amministratore del cloud, architetto del cloud

Installa Docker e configura il server di gestione.

Connect alle tue EC2 istanze:

Connettiti alle tue EC2 istanze seguendo le istruzioni di Connect to your Linux istance nella EC2 documentazione di Amazon.

Configura le tue EC2 istanze:

Per ogni EC2 istanza, procedi come segue:

  1. Per installare Docker, esegui il comando:

     sudo yum install docker

  2. Per avviare Docker, esegui il comando:

     sudo service docker start

  3. Per convalidare lo stato di Docker, esegui il comando:

     sudo service docker status

  4. Nella /etc/selinux cartella, modifica il config file in. SELINUX=permissive

  5. Carica i VerificationScripts.zip file model9-v2.x.y_build_build-id-server.zip and (che hai scaricato in precedenza) in una cartella temporanea in una delle EC2 istanze (ad esempio, nella /var/tmp cartella dell'istanza).

  6. Per accedere alla tmp cartella, esegui il comando:

     cd/var/tmp

  7. Per decomprimere lo script di verifica, esegui il comando:

     unzip VerificationScripts.zip

  8. Per cambiare la directory, esegui il comando:

     cd /var/tmp/sysutils/PrereqsScripts

  9. Per eseguire lo script di verifica, esegui il comando:

     ./M9VerifyPrereqs.sh

  10. Dopo che lo script di verifica richiede l'input, inserisci Amazon URL S3 e il numero di porta. Quindi, inserisci l'IP/ di z/OS e il numero di porta. DNS

    Nota: lo script esegue un controllo per confermare che l'EC2istanza può connettersi al bucket S3 e all'agente in esecuzione sul mainframe. Se viene stabilita una connessione, viene visualizzato un messaggio di successo.

Architetto del cloud, amministratore del cloud

Installa il software del server di gestione.

  1. Create una cartella e una sottocartella nella directory principale (ad esempio/data/model9) nell'EC2istanza in cui intendete rendere attivo il server.

  2. Per installare il amazon-efs-utils pacchetto e montare il EFS file system Amazon creato in precedenza, esegui i seguenti comandi:

    sudo yum install -y amazon-efs-utils
sudo mount -t efs -o tls <File System ID>:/ /data/model9

  3. Per aggiornare il /etc/fstab file dell'EC2istanza con una voce per il EFS file system Amazon (in modo che Amazon EFS venga rimontato automaticamente al EC2 riavvio di Amazon), esegui il comando:

     <Amazon-EFS-file-system-id>:/ /data/model9 efs defaults,_netdev 0 0

  4. Per definire il percorso dei file di installazione nel BMC AMI cloud e la posizione di installazione di destinazione, esegui i seguenti comandi per esportare le variabili:

    export MODEL9_HOME=/data/model9
export M9INSTALL=/var/tmp

    Nota: ti consigliamo di aggiungere questi EXPORT comandi allo .bashrc script.

  5. Per modificare la directory, esegui il cd $MODEL9_HOME comando, quindi crea un'altra sottodirectory eseguendo il mkdir diag comando.

  6. Per decomprimere il file di installazione, esegui il comando:

    unzip $M9INSTALL/model9-<v2.x.y>_build_<build-id>-server.zip

    Nota: sostituisci x.y (la versione) e build-id con i tuoi valori.

  7. Per distribuire l'applicazione, esegui i seguenti comandi:

    docker load -i $MODEL9_HOME/model9-<v2.x.y>_build_<build-id>.docker
docker load -i $MODEL9_HOME/postgres-12.10-x86.docker.gz

    Nota: sostituisci v2.x.y (la versione) e build-id con i tuoi valori.

  8. Nella $MODEL9_HOME/conf cartella, aggiorna il model9-local.yml file.

    Nota: alcuni parametri hanno valori predefiniti e altri possono essere aggiornati se necessario. Per ulteriori informazioni, consultate le istruzioni contenute nel model9-local.yml file.

  9. Create un file chiamato $MODEL9_HOME/conf, quindi aggiungete i seguenti parametri al file:

    TZ=America/New_York
EXTRA_JVM_ARGS=-Xmx2048m

  10. Per creare un bridge di rete Docker, esegui il comando:

    docker network create -d bridge model9network

  11. Per avviare il contenitore di SQL database Postgre per BMC AMI Cloud, esegui il seguente comando:

    docker run -p 127.0.0.1:5432:5432 \
-v $MODEL9_HOME/db/data:/var/lib/postgresql/data:z \
--name model9db --restart unless-stopped \
--network model9network \
-e POSTGRES_PASSWORD=model9 -e POSTGRES_DB=model9 -d postgres:12.10

  12. Dopo l'avvio dell'esecuzione del SQL contenitore Postgre, esegui il seguente comando per avviare il server delle applicazioni:

    docker run -d -p 0.0.0.0:443:443 -p 0.0.0.0:80:80 \
--sysctl net.ipv4.tcp_keepalive_time=600 \
--sysctl net.ipv4.tcp_keepalive_intvl=30 \
--sysctl net.ipv4.tcp_keepalive_probes=10 \
-v $MODEL9_HOME:/model9:z -h $(hostname) --restart unless-stopped \
--env-file $MODEL9_HOME/conf/model9.env \
--network model9network \
--name model9-v2.x.y model9:<v2.x.y>.<build-id>

    Nota: sostituisci v2.x.y (la versione) e build-id con i tuoi valori.

  13. Per verificare lo stato di salute di entrambi i contenitori, esegui il comando:

    docker ps -a

  14. Per installare un server di gestione sulle EC2 istanze passive, ripeti i passaggi 1—4, 7 e 10—13.

Nota: per risolvere i problemi, accedi ai log archiviati nella cartella. /data/model9/logs/ Per ulteriori informazioni, consulta la documentazione. BMC

Architetto del cloud, amministratore del cloud
AttivitàDescrizioneCompetenze richieste

Aggiungi un nuovo agente.

Prima di aggiungere un nuovo agente, conferma quanto segue:

  • Un agente BMC AMI cloud è in esecuzione sul mainframe LPAR ed è stato inizializzato completamente. Identifica l'agente cercando il messaggio di ZM91000I MODEL9 BACKUP AGENT INITIALIZED inizializzazione nello spool.

  • Un contenitore Docker per il server di gestione è completamente inizializzato e funzionante.

È necessario creare un agente sul server di gestione prima di definire qualsiasi politica di backup e archiviazione. Per creare l'agente, effettuate le seguenti operazioni:

  1. Utilizza un browser Web per accedere al server di gestione distribuito sulla tua EC2 macchina Amazon, quindi accedi con le tue credenziali mainframe.

  2. Scegli la AGENTSscheda, quindi scegli. ADDNEWAGENT

  3. In Nome, inserisci il nome dell'agente.

  4. Per Nome host/Indirizzo IP, inserite il nome host o l'indirizzo IP del mainframe.

  5. Per Port, inserisci il tuo numero di porta.

  6. Scegli TESTCONNECTION. Se la connettività è stata stabilita correttamente, viene visualizzato un messaggio di successo.

  7. Scegli CREATE.

Dopo la creazione dell'agente, vedrai lo stato della connessione rispetto all'object storage e all'agente mainframe in una nuova finestra che appare nella tabella.

Amministratore o sviluppatore dello storage mainframe

Crea una politica di backup o archiviazione.

  1. Scegliete POLICIES.

  2. Scegliete CREATEPOLICY.

  3. Nella NEW POLICY pagina CREATEA, inserisci le specifiche della tua polizza.

    Nota: per ulteriori informazioni sulle specifiche disponibili, vedere Creazione di una nuova politica nella BMC documentazione.

  4. Scegliete FINISH.

  5. La nuova politica è ora elencata sotto forma di tabella. Per vedere questa tabella, scegli la POLICIESscheda.

Amministratore o sviluppatore dello storage mainframe
AttivitàDescrizioneCompetenze richieste

Esegui la politica di backup o archiviazione.

Esegui la politica di backup o archiviazione dei dati creata in precedenza dal server di gestione manualmente o automaticamente (in base a una pianificazione). Per eseguire la policy manualmente:

  1. Scegli la POLICIESscheda dal menu di navigazione.

  2. Sul lato destro della tabella relativa alla policy che desideri eseguire, scegli il menu a tre punti.

  3. Scegli Esegui ora.

  4. Nella finestra pop-up di conferma, scegli YES, RUN POLICY NOW.

  5. Dopo l'esecuzione della policy, verifica lo stato dell'esecuzione nella sezione relativa all'attività della policy.

  6. Per la policy in esecuzione, scegli il menu a tre punti, quindi scegli Visualizza registro di esecuzione per visualizzare i log.

  7. Per verificare che il backup sia stato creato, controlla il bucket S3.

Amministratore o sviluppatore dello storage mainframe

Ripristina la politica di backup o archiviazione.

  1. Nel menu di navigazione, scegli la POLICIESscheda.

  2. Scegli la politica su cui eseguire il processo di ripristino. Verranno elencate tutte le attività di backup o archiviazione eseguite in passato in base a quella specifica policy.

  3. Per selezionare i backup che desideri ripristinare, scegli la colonna Data-ora. Il nome file/Volume/Storage del gruppo mostra i dettagli di esecuzione della policy.

  4. Sul lato destro della tabella, scegli il menu a tre punti, quindi scegli RESTORE.

  5. Nella finestra pop-up, inserisci il nome, il volume e il gruppo di archiviazione di destinazione, quindi scegli. RESTORE

  6. Inserisci le credenziali del mainframe, quindi scegli di nuovo. RESTORE

  7. Per verificare che il ripristino sia andato a buon fine, controllate i log o il mainframe.

Amministratore o sviluppatore dello storage mainframe
AttivitàDescrizioneCompetenze richieste

Esegui la politica di backup o archiviazione utilizzando M9CLI.

Usa M9 CLI per eseguire processi di backup e ripristino da TSO /E o JCLs senza configurare regole sul server di gestione BMC AMI cloud. REXX

Usare TSO /E:

Se usi TSO /E, assicurati che M9CLI REXX sia concatenato a. TSO Per eseguire il backup di un set di dati tramite TSO /E, usa il comando. TSO M9CLI BACKDSN <DSNAME>

Nota: per ulteriori informazioni sui CLI comandi M9, consultate il CLIriferimento nella documentazione. BMC

UsandoJCLs:

Per eseguire la politica di backup e archiviazione utilizzandoJCLs, esegui il M9CLI comando.

Utilizzo delle operazioni in batch:

L'esempio seguente mostra come archiviare un set di dati eseguendo il M9CLI comando in batch:

//JOBNAME JOB …
//M9CLI EXEC PGM=IKJEFT01
//STEPLIB DD DISP=SHR,DSN=<MODEL9 LOADLIB>
//SYSEXEC DD DISP=SHR,DSN=<MODEL9 EXEC LIB>
//SYSTSPRT DD SYSOUT=*
//SYSPRINT DD SYSOUT=*
//SYSTSIN DD TSO M9CLI ARCHIVE 
 M9CLI ARCHIVE <DSNNAME OR DSN PATTERN>   
/
Amministratore o sviluppatore dello storage mainframe

Esegui la politica di backup o archiviazione in JCL batch.

BMCAMICloud fornisce una JCL routine di esempio chiamata M9 SAPIJ. È possibile personalizzare M9 SAPIJ per eseguire una politica specifica creata sul server di gestione con un. JCL Questo processo può anche far parte di un programma di pianificazione in batch per l'esecuzione automatica dei processi di backup e ripristino.

Il processo batch prevede i seguenti valori obbligatori:

  • Indirizzo IP/nome host del server di gestione

  • Numero della porta

  • ID o nome della policy (creato sul server di gestione)

Nota: è possibile modificare anche altri valori seguendo le istruzioni sul job di esempio.

Amministratore o sviluppatore dello storage mainframe

Risorse correlate