result : results) {
processComplexData(result);
}
```
*Uso conjunto de estrategias de optimización*
Estas tres estrategias funcionan de forma sinérgica: APIs proporcionan las herramientas para un acceso eficiente a los datos, el almacenamiento en caché reduce la necesidad de recuperar datos de forma repetida y la optimización de la lógica empresarial garantiza que APIs se utilicen de la manera más eficaz posible. La supervisión y el ajuste periódicos de estas optimizaciones garantizan una mejora continua del rendimiento y, al mismo tiempo, mantienen la fiabilidad y la funcionalidad de la aplicación modernizada. La clave del éxito reside en comprender cuándo y cómo aplicar cada estrategia en función de las características y los objetivos de rendimiento de la aplicación.
## Tools (Herramientas)
+ [JProfiler](https://www.ej-technologies.com/jprofiler)es una herramienta de creación de perfiles de Java diseñada para desarrolladores e ingenieros de rendimiento. Analiza las aplicaciones Java y ayuda a identificar los cuellos de botella en el rendimiento, las pérdidas de memoria y los problemas de subprocesos. JProfiler ofrece perfiles de CPU, memoria y subprocesos, así como supervisión de bases de datos y máquinas virtuales Java (JVM) para proporcionar información sobre el comportamiento de las aplicaciones.
**nota**
Como alternativa JProfiler, puede utilizar [Java](https://visualvm.github.io/) VisualVM. Se trata de una herramienta gratuita de código abierto de creación de perfiles de rendimiento y supervisión para aplicaciones de Java que permite supervisar en tiempo real el uso de la CPU, el consumo de memoria, la administración de subprocesos y las estadísticas de recopilación de elementos no utilizados. Dado que Java VisualVM es una herramienta JDK integrada, resulta más JProfiler rentable que para las necesidades básicas de creación de perfiles.
+ [pgAdmin](https://www.pgadmin.org/) es una plataforma de administración y desarrollo de código abierto para PostgreSQL. Proporciona una interfaz gráfica que permite crear, mantener y utilizar objetos de bases de datos. Puede usar pgAdmin para realizar una amplia gama de tareas, desde escribir consultas SQL sencillas hasta desarrollar bases de datos complejas. Algunas de sus características son un editor de código SQL que resalta la sintaxis, un editor de código en el servidor, un agente de programación para SQL, un intérprete de comandos y tareas por lotes, y compatibilidad con todas las características de PostgreSQL tanto para usuarios sin experiencia como con experiencia de PostgreSQL.
## Prácticas recomendadas
Identificación de hotspots de rendimiento:
+ Documente las métricas de rendimiento de referencia antes de iniciar las optimizaciones.
+ Establezca objetivos claros de mejora del rendimiento en función de los requisitos empresariales.
+ Al realizar evaluaciones comparativas, desactive la creación de registros detallados, ya que esto puede afectar al rendimiento.
+ Configure un conjunto de pruebas de rendimiento y ejecútelo periódicamente.
+ Utilice la versión más reciente de pgAdmin. (Las versiones más antiguas no admiten el plan `EXPLAIN` de consultas).
+ Para realizar una evaluación comparativa, desconéctese una vez que se hayan JProfiler completado las optimizaciones, ya que esto aumenta la latencia.
+ Para realizar evaluaciones comparativas, asegúrese de ejecutar el servidor en modo de inicio en lugar de en modo de depuración, ya que el modo de depuración aumenta la latencia.
Estrategias de optimización:
+ Configure **SetMaxResults**los valores en el `application.yaml` archivo para especificar lotes del tamaño correcto de acuerdo con las especificaciones de su sistema.
+ Configure **SetMaxResults**los valores en función del volumen de datos y las restricciones de memoria.
+ Cambie **SetOnGreatorOrEqual**a **SetOnEqual**solo cuando se realicen llamadas posteriores`.readNextEqual()`.
+ En las operaciones de escritura o actualización por lotes, gestione el último lote por separado, ya que podría ser más pequeño que el tamaño del lote configurado y la operación de escritura o actualización podría pasarlo por alto.
Almacenamiento en caché:
+ Los campos que se introducen para el almacenamiento en caché en `processImpl`, que cambian con cada ejecución, siempre deben definirse en el contexto de ese `processImpl`. Los campos también deben borrarse mediante el método `doReset()` o `cleanUp()`.
+ Cuando implemente el almacenamiento en caché en memoria, ajuste el tamaño de la caché. Las cachés muy grandes que se almacenan en la memoria pueden ocupar todos los recursos, lo que podría afectar al rendimiento general de la aplicación.
SQLExecutionConstructor:
+ Para las consultas que planea usar en SQLExecution Builder, utilice nombres clave como`PROGRAMNAME_STATEMENTNUMBER`.
+ Cuando utilice SQLExecution Builder, compruebe siempre el `Sqlcod` campo. Este campo contiene un valor que especifica si la consulta se ejecutó correctamente o si encontró algún error.
+ Utilice consultas parametrizadas para evitar la inyección de código SQL.
Optimización de la lógica empresarial:
+ Mantenga la equivalencia funcional al reestructurar el código y ejecute pruebas de regresión y comparaciones de bases de datos para el subconjunto de programas correspondiente.
+ Mantenga instantáneas de la creación de perfiles para poder compararlas.
## Epics
### Instalación JProfiler y pgAdmin
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Instalar y configurar. JProfiler | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | Desarrollador de aplicaciones |
| Instale y configure pgAdmin. | En este paso, debe instalar y configurar un cliente de base de datos para que realice consultas en la base de datos. Este patrón utiliza una base de datos PostgreSQL y pgAdmin como cliente de base de datos. Si utiliza otro motor de base de datos, siga la documentación del cliente de base de datos correspondiente.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | Desarrollador de aplicaciones |
### Identificación de hotspots
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Habilite el registro de consultas SQL en su aplicación AWS Blu Age. | Habilite los registradores para el registro de consultas SQL en el `application.properties` archivo de su aplicación AWS Blu Age, tal y como se explica en la sección de [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture). | Desarrollador de aplicaciones |
| Genere y analice los planes `EXPLAIN` de consultas para identificar los hotspots de rendimiento de las bases de datos. | Para obtener información detallada, consulte la sección [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture). | Desarrollador de aplicaciones |
| Cree una JProfiler instantánea para analizar un caso de prueba de rendimiento lento. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | Desarrollador de aplicaciones |
| Analice la JProfiler instantánea para identificar los cuellos de botella en el rendimiento. | Siga estos pasos para analizar la instantánea. JProfiler [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html)Para obtener más información sobre su uso JProfiler, consulte la sección [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture) y la [JProfiler documentación](https://www.ej-technologies.com/jprofiler/docs). | Desarrollador de aplicaciones |
### Establecimiento de una línea de base
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Establezca una línea de base de rendimiento antes de implementar las optimizaciones. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | Desarrollador de aplicaciones |
### Aplicación de estrategias de optimización
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Optimice las llamadas de lectura. | Optimice la recuperación de datos mediante el DAOManager **SetMaxResults**método. Para obtener más información sobre este enfoque, consulte la sección [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture). | Desarrollador de aplicaciones, DAOManager |
| Refactorice la lógica empresarial para evitar varias llamadas a la base de datos. | Reduzca las llamadas a la base de datos mediante una cláusula `JOIN` en SQL. Para obtener detalles y ejemplos, consulte *Optimización de la lógica empresarial* en la sección [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture). | Desarrollador de aplicaciones, SQLExecution constructor |
| Refactorice el código para usar el almacenamiento en caché para reducir la latencia de las llamadas de lectura. | Para obtener información sobre esta técnica, consulte *Almacenamiento en caché* en la sección [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture). | Desarrollador de aplicaciones |
| Reescriba el código ineficiente que utiliza varias DAOManager operaciones para realizar operaciones de actualización sencillas. | Para obtener más información sobre cómo actualizar los datos directamente en la base de datos, consulte *Optimización de la lógica empresarial* en la sección [Arquitectura](#optimize-performance-aws-blu-age-modernized-application-architecture). | Desarrollador de aplicaciones |
### Estrategias de optimización de pruebas
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Valide cada cambio de optimización de forma iterativa y, al mismo tiempo, mantenga la equivalencia funcional. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html)El uso de métricas de línea de base como referencia garantiza una medición precisa del impacto de cada optimización y, al mismo tiempo, mantiene la fiabilidad del sistema. | Desarrollador de aplicaciones |
## Resolución de problemas
| Problema | Solución |
| --- | --- |
| Al ejecutar la aplicación moderna, verá una excepción con el error `Query_ID not found`. | Para resolver este problema, siga estos pasos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) |
| Ha agregado índices, pero no ve ninguna mejora de rendimiento. | Siga estos pasos para asegurarse de que el motor de consultas utilice el índice:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) |
| Te encuentras con una excepción out-of-memory. | Compruebe que el código libere la memoria almacenada en la estructura de datos. |
| Las operaciones de escritura por lotes hacen que falten registros en la tabla | Revise el código para asegurarse de que se realice una operación de escritura adicional cuando el recuento de lotes no es cero. |
| El registro de SQL no aparece en los registros de la aplicación. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) |
## Recursos relacionados
+ [Refactorización automática de aplicaciones con AWS Blu Age (Guía AWS Mainframe Modernization](https://docs.aws.amazon.com/m2/latest/userguide/refactoring-m2.html) *del usuario*)
+ [Documentación de pgAdmin](https://www.pgadmin.org/docs/)
+ [JProfiler documentación](https://www.ej-technologies.com/jprofiler/docs)
# Proteja y optimice el acceso de los usuarios a una base de datos de federación DB2 en AWS mediante contextos de confianza
*Sai Parthasaradhi, Amazon Web Services*
## Resumen
Muchas empresas están migrando sus cargas de trabajo de la unidad central antigua a Amazon Web Services (AWS). Esta migración incluye el cambio de IBM Db2 para z/OS bases de datos a Db2 para Linux, Unix y Windows (LUW) en Amazon Elastic Compute Cloud (Amazon). EC2 Durante una migración gradual de las instalaciones a AWS, es posible que los usuarios necesiten acceder a los datos de IBM Db2 z/OS y Db2 LUW en EC2 Amazon hasta que todas las aplicaciones y bases de datos se hayan migrado por completo a Db2 LUW. En estos escenarios de acceso remoto a los datos, la autenticación de los usuarios puede resultar difícil porque las diferentes plataformas utilizan diferentes mecanismos de autenticación.
Este patrón explica cómo configurar un servidor de federación en Db2 para LUW con Db2 como base de datos remota. z/OS El patrón utiliza un contexto confiable para propagar la identidad de un usuario de Db2 LUW a Db2 sin volver a autenticarse en la base de datos z/OS remota. Para obtener más información sobre los contextos de confianza, consulte la sección [Información adicional](#secure-and-streamline-user-access-in-a-db2-federation-database-on-aws-by-using-trusted-contexts-additional).
## Requisitos previos y limitaciones
**Requisitos previos **
+ Una cuenta de AWS activa
+ Una instancia de Db2 que se ejecuta en una instancia de Amazon EC2
+ Un Db2 remoto para una z/OS base de datos que se ejecuta en las instalaciones
+ La red local conectada a AWS a través de [AWS Site-to-Site VPN](https://aws.amazon.com/vpn/) o [AWS Direct Connect](https://aws.amazon.com/directconnect/)
## Arquitectura
**Arquitectura de destino**
![\[El mainframe local se conecta a través de un servidor Db2 local y una VPN a la base de datos de Db2 on. EC2\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/9e04f0fe-bae2-412a-93ac-83da50222017/images/0a384695-7907-4fb8-bb7e-d170dcc114af.png)
## Tools (Herramientas)
**Servicios de AWS**
+ [Amazon Elastic Compute Cloud (Amazon EC2)](https://docs.aws.amazon.com/ec2/) proporciona capacidad informática escalable en la nube de AWS. Puede lanzar tantos servidores virtuales como necesite y escalarlos o reducirlos con rapidez.
+ La [ Site-to-SiteVPN de AWS](https://docs.aws.amazon.com/vpn/latest/s2svpn/VPC_VPN.html) le ayuda a transferir el tráfico entre las instancias que lanza en AWS y su propia red remota.
**Otras herramientas**
+ [db2cli](https://www.ibm.com/docs/en/db2/11.5?topic=commands-db2cli-db2-interactive-cli) es el comando de la interfaz de la línea de comandos (CLI) interactiva de Db2.
## Epics
### Habilite la federación en la base de datos Db2 LUW que se ejecuta en AWS
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Habilite la federación en la base de datos DB2 LUW. | Para habilitar la federación en DB2 LUW, ejecute el siguiente comando.update dbm cfg using federated YES
| Administrador de base de datos |
| Reinicie la base de datos. | Para reiniciar la base de datos, ejecute el comando siguiente:db2stop force;
db2start;
| Administrador de base de datos |
### Cataloga la base de datos remota
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cataloga el subsistema Db2 z/OS remoto. | Para catalogar la z/OS base de datos Db2 remota en Db2 LUW que se ejecuta en AWS, utilice el siguiente comando de ejemplo.catalog TCPIP NODE tcpnode REMOTE mainframehost SERVER mainframeport
| Administrador de base de datos |
| Catalogue la base de datos remota. | Para catalogar la base de datos remota, utilice el siguiente comando de ejemplo. catalog db dbnam1 as ndbnam1 at node tcpnode
| Administrador de base de datos |
### Cree la definición de servidor remoto
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Recopile las credenciales de usuario para la base de datos remota de Db2. z/OS | Antes de continuar con los siguientes pasos, recopile la siguiente información:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/secure-and-streamline-user-access-in-a-db2-federation-database-on-aws-by-using-trusted-contexts.html) | Administrador de base de datos |
| Cree la capa DRDA. | Ejecute el siguiente comando para crear una capa DRDA.CREATE WRAPPER DRDA;
| Administrador de base de datos |
| Cree la definición del servidor. | Para crear la definición del servidor, ejecute el siguiente comando de ejemplo.CREATE SERVER ndbserver
TYPE DB2/ZOS VERSION 12
WRAPPER DRDA
AUTHORIZATION "dbuser1" PASSWORD "dbpasswd" OPTIONS ( DBNAME 'ndbnam1',FED_PROXY_USER 'ZPROXY' );
En esta definición, `FED_PROXY_USER` especifica el usuario proxy que se utilizará para establecer conexiones de confianza a la base de datos de Db2 z/OS . El ID de usuario y la contraseña de autorización solo son necesarios para crear el objeto de servidor remoto en la base de datos de Db2 LUW. No se utilizarán más adelante durante el tiempo de ejecución. | Administrador de base de datos |
### Creación de asignaciones de usuarios
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un asignación de usuarios para el usuario proxy. | Para crear un asignación de usuarios para el usuario proxy, ejecute el siguiente comando.CREATE USER MAPPING FOR ZPROXY SERVER ndbserver OPTIONS (REMOTE_AUTHID 'ZPROXY', REMOTE_PASSWORD 'zproxy');
| Administrador de base de datos |
| Cree asignaciones de usuarios para cada usuario en Db2 LUW. | Cree asignaciones de usuarios para todos los usuarios de la base de datos de Db2 LUW en AWS que necesiten acceder a datos remotos a través del usuario proxy. Ejecute el siguiente comando para crear las asignaciones de usuario.CREATE USER MAPPING FOR PERSON1 SERVER ndbserver OPTIONS (REMOTE_AUTHID 'USERZID', USE_TRUSTED_CONTEXT 'Y');
La declaración especifica que un usuario de Db2 LUW (`PERSON1`) puede establecer una conexión de confianza con la base de datos remota de Db2 z/OS (). `USE_TRUSTED_CONTEXT 'Y'` Una vez establecida la conexión a través del usuario proxy, el usuario puede acceder a los datos mediante el ID de z/OS usuario de Db2 (). `REMOTE_AUTHID 'USERZID'` | Administrador de base de datos |
### Cree el objeto de contexto de confianza
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree el objeto de contexto de confianza. | Para crear el objeto de contexto de confianza en la z/OS base de datos remota de Db2, utilice el siguiente comando de ejemplo.CREATE TRUSTED CONTEXT CTX_LUW_ZOS
BASED UPON CONNECTION USING SYSTEM AUTHID ZPROXY
ATTRIBUTES (
ADDRESS '10.10.10.10'
)
NO DEFAULT ROLE
ENABLE
WITH USE FOR PUBLIC WITHOUT AUTHENTICATION;
En esta definición, `CTX_LUW_ZOS` es un nombre arbitrario para el objeto de contexto de confianza. El objeto contiene el ID del usuario proxy y la dirección IP del servidor desde el que debe originarse la conexión de confianza. En este ejemplo, el servidor de la base de datos Db2 LUW en AWS. También puede utilizar el nombre de dominio en lugar de la dirección IP. La cláusula `WITH USE FOR PUBLIC WITHOUT AUTHENTICATION` indica que se permite cambiar el ID de usuario en una conexión de confianza para cada ID de usuario. No es necesario proporcionar una contraseña. | Administrador de base de datos |
## Recursos relacionados
+ [Instalación de control de acceso a los recursos de IBM (RACF)](https://www.ibm.com/products/resource-access-control-facility)
+ [Federación IBM Db2 LUW](https://www.ibm.com/docs/en/db2/11.5?topic=federation)
+ [Contextos de confianza](https://www.ibm.com/docs/en/db2-for-zos/13?topic=contexts-trusted)
## Información adicional
**Contextos de confianza de Db2**
Un contexto de confianza es un objeto de base de datos de Db2 que define una relación de confianza entre un servidor federado y un servidor de base de datos remoto. Para definir una relación de confianza, el contexto de confianza especifica los atributos de confianza. Existen tres tipos de atributos de confianza:
+ El ID de autorización del sistema que realiza la solicitud de conexión inicial a la base de datos
+ La dirección IP o el nombre de dominio desde los que se realiza la conexión
+ La configuración de cifrado para las comunicaciones de datos entre el servidor de la base de datos y el cliente de la base de datos
Se establece una conexión de confianza cuando todos los atributos de una solicitud de conexión coinciden con los atributos especificados en cualquier objeto de contexto de confianza definido en el servidor. Existen dos tipos diferentes de conexiones de confianza: implícitas y explícitas. Una vez establecida una conexión de confianza implícita, el usuario hereda un rol que no está disponible para él fuera del ámbito de esa definición de conexión de confianza. Una vez establecida una conexión de confianza explícita, los usuarios pueden conectarse a la misma conexión física, con o sin autenticación. Además, a los usuarios de Db2 se les pueden asignar roles que especifiquen privilegios que solo se utilizarán dentro de la conexión de confianza. Este patrón utiliza una conexión de confianza explícita.
*Contexto de confianza en este patrón*
Una vez completado el patrón, PERSON1 en Db2, LUW accede a los datos remotos de Db2 z/OS mediante un contexto de confianza federado. La conexión para PERSON1 se establece a través de un usuario proxy si la conexión se origina en la dirección IP o el nombre de dominio que se especifica en la definición del contexto de confianza. Una vez establecida la conexión, el ID PERSON1 de z/OS usuario de Db2 correspondiente se cambia sin necesidad de volver a autenticarse, y el usuario puede acceder a los datos u objetos en función de los privilegios de Db2 configurados para ese usuario.
*Ventajas de los contextos de confianza federados*
+ Este enfoque mantiene el principio del privilegio mínimo al eliminar el uso de un ID de usuario o de aplicación común, que requeriría un conjunto de todos los privilegios que requieren todos los usuarios.
+ La identidad real del usuario que realiza la transacción tanto en la base de datos federada como en la remota siempre se conoce y se puede auditar.
+ El rendimiento mejora porque la conexión física se reutiliza entre los usuarios sin necesidad de que el servidor federado vuelva a autenticarse.
# Transfiera z/OS datos de Db2 a gran escala a Amazon S3 en archivos CSV
*Bruno Sahinoglu, Abhijit Kshirsagar e Ivan Schuster, Amazon Web Services*
## Resumen
Un mainframe sigue siendo el sistema de registro de muchas empresas que conservan una enorme cantidad de datos, incluidas entidades de datos maestros con registros de las transacciones comerciales actuales e históricas. A menudo está aislado, y los sistemas distribuidos de la misma empresa no pueden acceder fácilmente a él. Con la aparición de la tecnología en la nube y la democratización de los macrodatos, las empresas tratan de usar la información oculta en los datos del mainframe para desarrollar nuevas capacidades empresariales.
Con ese objetivo, las empresas buscan abrir sus datos Db2 de mainframe a su entorno de nube de Amazon Web Services (AWS). Los motivos empresariales son varios, y los métodos de transferencia varían de un caso a otro. Es posible que prefiera conectar la aplicación directamente al mainframe, o que prefiera replicar los datos prácticamente en tiempo real. Si el caso de uso es alimentar un almacén de datos o un lago de datos, disponer de una up-to-date copia ya no es un problema y el procedimiento descrito en este patrón puede ser suficiente, especialmente si se quiere evitar los costes de licencia de productos de terceros. Otro caso de uso podría ser la transferencia de datos de un mainframe para un proyecto de migración. En un escenario de migración, es necesario contar con datos para realizar las pruebas de equivalencia funcional. El enfoque descrito en esta publicación es una forma rentable de transferir los datos de Db2 al entorno de nube de AWS.
Dado que Amazon Simple Storage Service (Amazon S3) es uno de los servicios de AWS más integrados, puede acceder a los datos desde allí y recopilar información directamente mediante otros servicios de AWS, como Amazon Athena, AWS Lambda Functions o Amazon. QuickSight También puede cargar los datos en Amazon Aurora o Amazon DynamoDB mediante AWS Glue o AWS Database Migration Service (AWS DMS). Con ese objetivo en mente, este patrón describe cómo descargar datos de Db2 en archivos CSV en formato ASCII en el mainframe y transferir los archivos a Amazon S3.
Para ello, se han desarrollado [scripts de mainframe](https://github.com/aws-samples/unloaddb2-samples) para ayudar a generar lenguajes de control de tareas (JCLs) para descargar y transferir tantas tablas de Db2 como necesite.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Usuario del sistema z/OS operativo IBM con autorización para ejecutar scripts JCL y Restructured Extended Executor (REXX).
+ Acceso a los servicios del sistema z/OS Unix (USS) para generar claves públicas y privadas de SSH (Secure Shell).
+ Un bucket de S3 con permisos de escritura. Para obtener más información, consulte la sección [Cree su primer bucket de S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-bucket.html) en la documentación de Amazon S3.
+ Un servidor habilitado para el protocolo SSH File Transfer (SFTP) de AWS Transfer Family con **Service Managed** como proveedor de identidad y Amazon S3 como servicio de almacenamiento de AWS. Para obtener más información, consulte [Crear un servidor habilitado para SFTP](https://docs.aws.amazon.com/transfer/latest/userguide/create-server-sftp.html) en la documentación de AWS Transfer Family.
**Limitaciones**
+ Este enfoque no es adecuado para la sincronización de datos prácticamente en tiempo real o en tiempo real.
+ Los datos solo se pueden mover de Db2 z/OS a Amazon S3, y no al revés.
## Arquitectura
**Pila de tecnología de origen**
+ Mainframe que ejecuta Db2 en z/OS
**Pila de tecnología de destino**
+ AWS Transfer Family
+ Amazon S3
+ Amazon Athena
+ Amazon QuickSight
+ AWS Glue
+ Amazon Relational Database Service (Amazon RDS)
+ Amazon Aurora
+ Amazon Redshift
**Arquitectura de origen y destino**
El siguiente diagrama muestra el proceso de generación, extracción y transferencia de z/OS datos de Db2 en formato CSV ASCII a un bucket de S3.
![\[Data flow from corporate data center to Nube de AWS, showing mainframe extraction and cloud processing steps.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/66e6fa1a-1c7d-4b7a-8404-9ba85e433b24/images/87b13e0d-0be9-4462-bdbf-67342334416c.png)
1. Se selecciona una lista de tablas para la migración de datos del catálogo de Db2.
1. La lista se usa para impulsar la generación de trabajos de descarga con las columnas numéricas y de datos en formato externo.
1. A continuación, los datos se transfieren a Amazon S3 mediante AWS Transfer Family.
1. Un trabajo de extracción, transformación y carga (ETL) de AWS Glue puede transformar los datos y cargarlos en un bucket procesado en el formato especificado, o bien AWS Glue puede introducir los datos directamente en la base de datos.
1. Amazon Athena y Amazon se QuickSight pueden usar para consultar y renderizar los datos para impulsar el análisis.
En el siguiente diagrama se muestra un flujo lógico de todo el proceso.
![\[Flowchart showing JCL process with TABNAME, REXXEXEC, and JCL decks steps, including inputs and outputs.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/66e6fa1a-1c7d-4b7a-8404-9ba85e433b24/images/d72f2572-10c9-43f9-b6c9-7e57c9a69d52.png)
1. El primer JCL, denominado TABNAME, usará la utilidad DSNTIAUL de Db2 para extraer y generar la lista de tablas que planea descargar de Db2. Para elegir las tablas, debe adaptar manualmente la entrada SQL para seleccionar y añadir criterios de filtro que incluyan uno o más esquemas de Db2.
1. El segundo JCL, denominado REXXEXEC, usará un esqueleto de JCL y el programa REXX proporcionado para procesar la lista de tablas creada por el JCL TABNAME y generar un JCL por nombre de tabla. Cada JCL incluirá un paso para descargar la tabla y otro paso para enviar el archivo al bucket de S3 mediante el protocolo SFTP.
1. El último paso consiste en ejecutar el JCL para descargar la tabla y transferir el archivo a AWS. Todo el proceso se puede automatizar con AWS o mediante un programador en las instalaciones.
## Tools (Herramientas)
**Servicios de AWS**
+ [Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html) es un servicio interactivo de consultas que le permite analizar datos directamente en Amazon Simple Storage Service (Amazon S3) usando SQL estándar.
+ [Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/CHAP_AuroraOverview.html) es un motor de base de datos relacional completamente administrado diseñado para la nube y compatible con MySQL y PostgreSQL.
+ [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html) es un servicio de extracción, transformación y carga (ETL) completamente administrado. Ayuda a clasificar, limpiar, enriquecer y mover datos de forma fiable entre almacenes de datos y flujos de datos.
+ [Amazon QuickSight](https://docs.aws.amazon.com/quicksight/latest/user/welcome.html) es un servicio de inteligencia empresarial (BI) a escala de nube que le ayuda a visualizar, analizar y elaborar informes sobre sus datos en un único panel de control.
+ [Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/gsg/getting-started.html) es un servicio de almacenamiento de datos administrado de varios petabytes en la nube de AWS.
+ [Amazon Relational Database Service (Amazon RDS)](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Welcome.html) le ayuda a configurar, utilizar y escalar una base de datos relacional en la nube de AWS.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que le ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
+ [AWS Transfer Family](https://docs.aws.amazon.com/transfer/latest/userguide/what-is-aws-transfer-family.html) es un servicio de transferencia segura que le permite transferir archivos dentro y fuera de los servicios de almacenamiento de AWS.
**Herramientas de mainframe**
+ El [Protocolo SSH File Transfer (SFTP)](https://www.ssh.com/academy/ssh/sftp-ssh-file-transfer-protocol) es un protocolo seguro de transferencia de archivos que permite el inicio de sesión remoto y la transferencia de archivos entre servidores. SSH proporciona seguridad al cifrar todo el tráfico.
+ [DSNTIAUL](https://www.ibm.com/docs/en/db2-for-zos/11?topic=dpasp-dsntiaul-sample-program) es un programa de muestra proporcionado por IBM para descargar datos.
+ [DSNUTILB](https://www.ibm.com/docs/en/db2-for-zos/11?topic=sharing-recommendations-utilities-in-coexistence) es un programa de utilidades por lotes proporcionado por IBM para descargar datos con diferentes opciones de DSNTIAUL.
+ [z/OS OpenSSH es un puerto SSH](https://www.ibm.com/docs/en/zos/2.4.0?topic=zbed-zos-openssh) de software de código abierto que se ejecuta en el Servicio de Sistema Unix bajo la red del sistema operativo IBM. z/OS. SSH is a secure, encrypted connection program between two computers running on a TCP/IP Proporciona múltiples utilidades, como ssh-keygen.
+ El script [REXX (Restructured Extended Executor)](https://www.ibm.com/docs/en/zos/2.1.0?topic=guide-learning-rexx-language) se usa para automatizar la generación de JCL con los pasos Db2 Unload y SFTP.
**Código**
[El código de este patrón está disponible en el repositorio unloaddb2. GitHub ](https://github.com/aws-samples/unloaddb2-samples)
## Prácticas recomendadas
Para la primera descarga, lo generado JCLs debería descargar todos los datos de la tabla.
Tras la primera descarga completa, realice descargas graduales para mejorar el rendimiento y ahorrar costos. Actualice la consulta SQL de la plantilla JCL para adaptarla a cualquier cambio en el proceso de descarga.
Puede convertir el esquema manualmente o mediante un script de Lambda con SYSPUNCH de Db2 como entrada. Para un proceso industrial, la [herramienta de conversión de esquemas (SCT) de AWS](https://docs.aws.amazon.com/SchemaConversionTool/latest/userguide/CHAP_Source.DB2zOS.html) es la opción recomendada.
Por último, use un programador basado en mainframe o un programador en AWS con un agente en el mainframe para ayudar a gestionar y automatizar todo el proceso.
## Epics
### Configuración del bucket de S3
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree el bucket de S3. | Para obtener instrucciones, consulte [Crear su primer bucket de S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-bucket.html). | AWS general |
### Configure el servidor Transfer Family
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un servidor compatible con SFTP. | Para abrir y crear un servidor SFTP en la [consola de AWS Transfer Family](https://console.aws.amazon.com/transfer/), haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html) | AWS general |
| Cree un rol de IAM para Transfer Family. | Para crear un rol de AWS Identity and Access Management (IAM) que permita a Transfer Family obtener acceso a Amazon S3, siga las instrucciones de [Crear una política y rol de IAM](https://docs.aws.amazon.com/transfer/latest/userguide/requirements-roles.html). | Administrador de AWS |
| Añada un usuario gestionado por el servicio Amazon S3. | Para añadir el usuario gestionado por el servicio Amazon S3, siga las instrucciones de la [documentación de AWS](https://docs.aws.amazon.com/transfer/latest/userguide/service-managed-users.html#add-s3-user) y use su ID de usuario de mainframe. | AWS general |
### Proteja el protocolo de comunicación
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree la clave de SSH. | En el entorno de USS de su servidor principal, ejecute el siguiente comando.ssh-keygen -t rsa
Cuando se le pida una contraseña, deje el campo vacío. | Desarrollador de Mainframe |
| Proporcione los niveles de autorización correctos a la carpeta SSH y a los archivos de clave. | De forma predeterminada, las claves públicas y privadas se almacenarán en el directorio de usuario `/u/home/username/.ssh`.Debe conceder autorización 644 a los archivos de clave, y 700 a la carpeta.chmod 644 .ssh/id_rsa
chmod 700 .ssh
| Desarrollador de Mainframe |
| Copie el contenido de la clave pública a su usuario gestionado por el servicio Amazon S3. | Para copiar el contenido de clave pública generado por USS abra la [consola de AWS Transfer Family](https://console.aws.amazon.com/transfer/).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html) | Desarrollador de Mainframe |
### Genera el JCLs
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Genere la lista de tablas Db2 incluidas. | Proporcione el código SQL de entrada para crear una lista de las tablas destinadas a la migración de datos. Este paso requiere que especifique los criterios de selección consultando la tabla SYSIBM.SYSTABLES del catálogo de Db2 mediante una cláusula where de SQL. Los filtros se pueden personalizar para incluir un esquema específico, o bien nombres de tablas que comiencen con un prefijo concreto o en función de una marca de tiempo para la descarga gradual. El resultado se captura en un conjunto de datos secuencial físico (PS) en el mainframe. Este conjunto de datos servirá de entrada para la siguiente fase de generación de JCL.Antes de usar JCL TABNAME (puede renombrarlo si es necesario), realice los siguientes cambios:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)**Trabajo de extracción de lista de tablas de Db2**
//*
//* UNLOAD ALL THE TABLE NAMES FOR A PARTICULAR SCHEMA
//*
//STEP01 EXEC PGM=IEFBR14
//*
//DD1 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(1000,(1,1)),
// DSN=.DSN81210.TABLIST
//*
//DD2 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(1000,(1,1)),
// DSN=.DSN81210.SYSPUNCH
//*
//UNLOAD EXEC PGM=IKJEFT01,DYNAMNBR=20
//SYSTSPRT DD SYSOUT=*
//STEPLIB DD DISP=SHR,DSN=DSNC10.DBCG.SDSNEXIT
// DD DISP=SHR,DSN=DSNC10.SDSNLOAD
// DD DISP=SHR,DSN=CEE.SCEERUN
// DD DISP=SHR,DSN=DSNC10.DBCG.RUNLIB.LOAD
//SYSTSIN DD *
DSN SYSTEM(DBCG)
RUN PROGRAM(DSNTIAUL) PLAN(DSNTIB12) PARMS('SQL') -
LIB('DSNC10.DBCG.RUNLIB.LOAD')
END
//SYSPRINT DD SYSOUT=*
//*
//SYSUDUMP DD SYSOUT=*
//*
//SYSREC00 DD DISP=(NEW,CATLG,DELETE),
// UNIT=SYSDA,SPACE=(32760,(1000,500)),
// DSN=.DSN81210.TABLIST
//*
//SYSPUNCH DD DISP=(NEW,CATLG,DELETE),
// UNIT=SYSDA,SPACE=(32760,(1000,500)),
// VOL=SER=SCR03,RECFM=FB,LRECL=120,BLKSIZE=12
// DSN=.DSN81210.SYSPUNCH
//*
//SYSIN DD *
SELECT CHAR(CREATOR), CHAR(NAME)
FROM SYSIBM.SYSTABLES
WHERE OWNER = ''
AND NAME LIKE '%'
AND TYPE = 'T';
/*
| Desarrollador de Mainframe |
| Modifique las plantillas de JCL. | Las plantillas JCL proporcionadas con este patrón contienen una tarjeta de trabajo y nombres de bibliotecas genéricas. Sin embargo, la mayoría de los sitios de mainframe tendrán sus propios estándares de nomenclatura para los nombres de conjuntos de datos, bibliotecas y tarjetas de trabajo. Por ejemplo, es posible que necesite una clase de trabajo específica para ejecutar trabajos de Db2. El subsistema Job Entry implementa JES2 y JES3 puede imponer cambios adicionales. Las bibliotecas de carga estándar pueden tener un primer calificador diferente a `SYS1`, que es el predeterminado de IBM. Por lo tanto, personalice las plantillas para adecuarlas a los estándares específicos de su sitio antes de ejecutarlas.Realice los siguientes cambios en el esqueleto de JCL UNLDSKEL:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)**Descargue el esqueleto de JCL mediante SFTP**//&USRPFX.U JOB (DB2UNLOAD),'JOB',CLASS=A,MSGCLASS=A,
// TIME=1440,NOTIFY=&USRPFX
//* DELETE DATASETS
//STEP01 EXEC PGM=IEFBR14
//DD01 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(TRK,(1,1)),
// DSN=&USRPFX..DB2.PUNCH.&JOBNAME
//DD02 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(TRK,(1,1)),
// DSN=&USRPFX..DB2.UNLOAD.&JOBNAME
//*
//* RUNNING DB2 EXTRACTION BATCH JOB FOR AWS DEMO
//*
//UNLD01 EXEC PGM=DSNUTILB,REGION=0M,
// PARM=',UNLOAD'
//STEPLIB DD DISP=SHR,DSN=DSNC10.DBCG.SDSNEXIT
// DD DISP=SHR,DSN=DSNC10.SDSNLOAD
//SYSPRINT DD SYSOUT=*
//UTPRINT DD SYSOUT=*
//SYSOUT DD SYSOUT=*
//SYSPUN01 DD DISP=(NEW,CATLG,DELETE),
// SPACE=(CYL,(1,1),RLSE),
// DSN=&USRPFX..DB2.PUNCH.&JOBNAME
//SYSREC01 DD DISP=(NEW,CATLG,DELETE),
// SPACE=(CYL,(10,50),RLSE),
// DSN=&USRPFX..DB2.UNLOAD.&JOBNAME
//SYSPRINT DD SYSOUT=*
//SYSIN DD *
UNLOAD
DELIMITED COLDEL ','
FROM TABLE &TABNAME
UNLDDN SYSREC01
PUNCHDDN SYSPUN01
SHRLEVEL CHANGE ISOLATION UR;
/*
//*
//* FTP TO AMAZON S3 BACKED FTP SERVER IF UNLOAD WAS SUCCESSFUL
//*
//SFTP EXEC PGM=BPXBATCH,COND=(4,LE),REGION=0M
//STDPARM DD *
SH cp "//'&USRPFX..DB2.UNLOAD.&JOBNAME'"
&TABNAME..csv;
echo "ascii " >> uplcmd;
echo "PUT &TABNAME..csv " >>>> uplcmd;
sftp -b uplcmd -i .ssh/id_rsa &FTPUSER.@&FTPSITE;
rm &TABNAME..csv;
//SYSPRINT DD SYSOUT=*
//STDOUT DD SYSOUT=*
//STDENV DD *
//STDERR DD SYSOUT=*
| Desarrollador de Mainframe |
| Genere el JCL de descarga masiva. | Este paso implica ejecutar un script REXX en un entorno ISPF mediante JCL. Proporcione la lista de tablas incluidas en el primer paso como entrada para la generación masiva de JCL con el nombre `TABLIST DD`. El JCL generará un nuevo JCL por nombre de tabla en un conjunto de datos particionado definido por el usuario y especificado con el nombre `ISPFILE DD`. Asigne esta biblioteca de antemano. Cada nuevo JCL tendrá dos pasos: uno para descargar la tabla de Db2 en un archivo y otro para enviar el archivo al bucket de S3.Realice los siguientes cambios en el JCL REXXEXEC (puede cambiar el nombre):[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)**Generación masiva de trabajos JCL**//RUNREXX JOB (CREATEJCL),'RUNS ISPF TABLIST',CLASS=A,MSGCLASS=A,
// TIME=1440,NOTIFY=&SYSUID
//* Most of the values required can be updated to your site specific
//* values using the command 'TSO ISRDDN' in your ISPF session.
//* Update all the lines tagged with //update marker to desired
//* site specific values.
//ISPF EXEC PGM=IKJEFT01,REGION=2048K,DYNAMNBR=25
//SYSPROC DD DISP=SHR,DSN=USER.Z23D.CLIST
//SYSEXEC DD DISP=SHR,DSN=.TEST.REXXLIB
//ISPPLIB DD DISP=SHR,DSN=ISP.SISPPENU
//ISPSLIB DD DISP=SHR,DSN=ISP.SISPSENU
// DD DISP=SHR,DSN=.TEST.ISPSLIB
//ISPMLIB DD DSN=ISP.SISPMENU,DISP=SHR
//ISPTLIB DD DDNAME=ISPTABL
// DD DSN=ISP.SISPTENU,DISP=SHR
//ISPTABL DD LIKE=ISP.SISPTENU,UNIT=VIO
//ISPPROF DD LIKE=ISP.SISPTENU,UNIT=VIO
//ISPLOG DD SYSOUT=*,RECFM=VA,LRECL=125
//SYSPRINT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSUDUMP DD SYSOUT=*
//SYSDBOUT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSUDUMP DD SYSOUT=*
//SYSDBOUT DD SYSOUT=*
//SYSHELP DD DSN=SYS1.HELP,DISP=SHR
//SYSOUT DD SYSOUT=*
//* Input list of tablenames
//TABLIST DD DISP=SHR,DSN=.DSN81210.TABLIST
//* Output pds
//ISPFILE DD DISP=SHR,DSN=.TEST.JOBGEN
//SYSTSIN DD *
ISPSTART CMD(ZSTEPS )
/*
Antes de ejecutar el script REXX, realice los siguientes cambios:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)**Script ZSTEPS REXX**/*REXX - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */
/* 10/27/2021 - added new parms to accommodate ftp */
Trace "o"
parse arg usrpfx ftpuser ftpsite
Say "Start"
Say "Ftpuser: " ftpuser "Ftpsite:" ftpsite
Say "Reading table name list"
"EXECIO * DISKR TABLIST (STEM LINE. FINIS"
DO I = 1 TO LINE.0
Say I
suffix = I
Say LINE.i
Parse var LINE.i schema table rest
tabname = schema !! "." !! table
Say tabname
tempjob= "LOD" !! RIGHT("0000" !! i, 5)
jobname=tempjob
Say tempjob
ADDRESS ISPEXEC "FTOPEN "
ADDRESS ISPEXEC "FTINCL UNLDSKEL"
/* member will be saved in ISPDSN library allocated in JCL */
ADDRESS ISPEXEC "FTCLOSE NAME("tempjob")"
END
ADDRESS TSO "FREE F(TABLIST) "
ADDRESS TSO "FREE F(ISPFILE) "
exit 0
| Desarrollador de Mainframe |
### Ejecute el JCLs
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Realice el paso de descarga de Db2. | Tras la generación del JCL, tendrá tantas tablas JCLs como desee descargar.Esta historia emplea un ejemplo generado por el JCL para explicar la estructura y los pasos más importantes.No tiene que hacer nada. La siguiente información es solo para referencia. Si su intención es enviar las JCLs que ha generado en el paso anterior, vaya a *Enviar la LODnnnnn JCLs tarea*.Al descargar datos de Db2 usando un JCL con la utilidad DSNUTILB Db2 proporcionada por IBM, debe asegurarse de que los datos descargados no contengan datos numéricos comprimidos. Para ello, utilice el parámetro de DSNUTILB `DELIMITED`.El parámetro `DELIMITED` permite descargar los datos en formato CSV añadiendo un carácter como delimitador y comillas dobles para el campo de texto, eliminando el relleno de la columna VARCHAR y convirtiendo todos los campos numéricos a FORMATO EXTERNO, incluidos los campos de FECHA.El siguiente ejemplo muestra el aspecto del paso de descarga en el JCL generado, usando el carácter de coma como delimitador.
UNLOAD
DELIMITED COLDEL ','
FROM TABLE SCHEMA_NAME.TBNAME
UNLDDN SYSREC01
PUNCHDDN SYSPUN01
SHRLEVEL CHANGE ISOLATION UR;
| Desarrollador de mainframe, ingeniero de sistemas |
| Realice el paso de SFTP. | Para usar el protocolo SFTP de un JCL, emplee la utilidad BPXBATCH. La utilidad SFTP no puede acceder directamente a los conjuntos de datos de MVS. Puede usar el comando de copia (`cp`) para copiar el archivo secuencial `&USRPFX..DB2.UNLOAD.&JOBNAME` al directorio USS, donde se convierte en `&TABNAME..csv`.Ejecute el comando `sftp` con la clave privada (`id_rsa`) y la ID de usuario de RACF como nombre de usuario para conectarse a la dirección IP de AWS Transfer Family.SH cp "//'&USRPFX..DB2.UNLOAD.&JOBNAME'"
&TABNAME..csv;
echo "ascii " >> uplcmd;
echo "PUT &TABNAME..csv " >>>> uplcmd;
sftp -b uplcmd -i .ssh/id_rsa &FTPUSER.@&FTP_TF_SITE;
rm &TABNAME..csv;
| Desarrollador de mainframe, ingeniero de sistemas |
| Envíe el LODnnnnn JCLs. | El JCL anterior generaba todas las tablas de LODnnnnn JCL que debían descargarse, transformarse en CSV y transferirse al bucket de S3.Ejecute el `submit` comando en todas las JCLs que se hayan generado. | Desarrollador de mainframe, ingeniero de sistemas |
## Recursos relacionados
Para obtener más información sobre las diferentes herramientas y soluciones usadas en este documento, consulte lo siguiente:
+ [Guía del usuario de z/OS OpenSSH](https://www-01.ibm.com/servers/resourcelink/svc00100.nsf/pages/zOSV2R4sc276806/$file/foto100_v2r4.pdf)
+ [Db2 z/OS — Ejemplos de sentencias de control UNLOAD](https://www.ibm.com/docs/en/db2-for-zos/11?topic=unload-sample-control-statements)
+ [Db2 z/OS — Descarga de archivos delimitados](https://www.ibm.com/docs/en/db2-for-zos/11?topic=unload-unloading-delimited-files)
+ [Transfer Family: cree un servidor habilitado para SFTP](https://docs.aws.amazon.com/transfer/latest/userguide/create-server-sftp.html)
+ [Transfer Family: trabajar con usuarios gestionados por servicios](https://docs.aws.amazon.com/transfer/latest/userguide/service-managed-users.html)
## Información adicional
Una vez que tenga sus datos de Db2 en Amazon S3, podrá obtener información de múltiples maneras. Como Amazon S3 se integra con los servicios de análisis de datos de AWS, puede consumir o exponer libremente estos datos de forma distribuida. Por ejemplo, puede hacer lo siguiente:
+ Cree un [lago de datos en Amazon S3](https://aws.amazon.com/products/storage/data-lake-storage/) y extraiga información valiosa mediante query-in-place el uso de herramientas de análisis y aprendizaje automático sin mover los datos.
+ Iniciar una [función de Lambda](https://aws.amazon.com/lambda/) configurando un flujo de trabajo de procesamiento posterior a la carga integrado con AWS Transfer Family.
+ Desarrollar nuevos microservicios para acceder a los datos en Amazon S3 o en una [base de datos totalmente administrada](https://aws.amazon.com/free/database/?trk=ps_a134p000007CdNEAA0&trkCampaign=acq_paid_search_brand&sc_channel=PS&sc_campaign=acquisition_FR&sc_publisher=Google&sc_category=Database&sc_country=FR&sc_geo=EMEA&sc_outcome=acq&sc_detail=amazon%20relational%20database%20service&sc_content=Relational%20Database_e&sc_matchtype=e&sc_segment=548727697660&sc_medium=ACQ-P|PS-GO|Brand|Desktop|SU|Database|Solution|FR|EN|Text&s_kwcid=AL!4422!3!548727697660!e!!g!!amazon%20relational%20database%20service&ef_id=CjwKCAjwzt6LBhBeEiwAbPGOgcGbQIl1-QsbHfWTgMZSSHEXzSG377R9ZyK3tCcbnHuT45L230FufxoCeEkQAvD_BwE:G:s&s_kwcid=AL!4422!3!548727697660!e!!g!!amazon%20relational%20database%20service) con [AWS Glue](https://aws.amazon.com/glue/), un servicio de integración de datos sin servidor que facilita la detección, preparación y combinación de datos para el análisis, el machine learning y el desarrollo de aplicaciones.
En un caso de uso de migración, dado que puede transferir cualquier dato del mainframe a S3, puede hacer lo siguiente:
+ Retirar la infraestructura física y crear una estrategia de archivado de datos rentable con Amazon S3 Glacier y S3 Glacier Deep Archive.
+ Crear soluciones de copia de seguridad y restauración escalables, duraderas y seguras con Amazon S3 y otros servicios de AWS, como S3 Glacier y Amazon Elastic File System (Amazon EFS), para mejorar o reemplazar las capacidades existentes en las instalaciones.
# Transforma Easytrieve a idiomas modernos mediante el uso personalizado AWS Transform
*Shubham Roy, Subramanyam Malisetty y Harshitha Shashidhar, de Amazon Web Services*
## Resumen
[https://techdocs.broadcom.com/us/en/ca-mainframe-software/devops/ca-easytrieve-report-generator/11-6.html](https://techdocs.broadcom.com/us/en/ca-mainframe-software/devops/ca-easytrieve-report-generator/11-6.html) language-to-language Aborda los desafíos de modernizar las cargas de trabajo EZT exclusivas y exclusivas de mainframe que se utilizan habitualmente para el procesamiento de datos por lotes y la generación de informes. Este patrón reemplaza los enfoques de migración costosos, prolongados y propensos a errores, que se basan en herramientas patentadas y una experiencia poco común en mainframe, por una solución automatizada de inteligencia artificial basada en agentes que usted crea. AWS Transform
Este patrón proporciona una definición de transformación personalizada lista para usar para la transformación EZT. La definición utiliza varias entradas de transformación:
+ Reglas de negocio de EZT extraídas mediante un [AWS Transform mainframe](https://aws.amazon.com/transform/mainframe/)
+ Documentación de referencia sobre la programación de EZT
+ Código fuente de EZT
+ Conjuntos de datos de entrada y salida de mainframe
AWS Transform custom utiliza estas entradas para generar aplicaciones funcionalmente equivalentes en los lenguajes de destino modernos, como Java o Python.
El proceso de transformación utiliza funciones inteligentes de ejecución de pruebas, depuración automática y corrección iterativa para validar la equivalencia funcional con los resultados esperados. También es compatible con el aprendizaje continuo, lo que permite la definición de transformación personalizada para mejorar la precisión y la coherencia en las transformaciones sucesivas. Con este patrón, las organizaciones pueden reducir el esfuerzo y el riesgo de migración, hacer frente a la deuda técnica especializada en mainframes y modernizar las cargas de trabajo de EZT AWS para mejorar la agilidad, la fiabilidad, la seguridad y la innovación.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Una cuenta activa AWS
+ Una carga de trabajo EZT para mainframe con datos de entrada y salida
**Limitaciones**
*Limitaciones de alcance*
+ **Compatibilidad con el lenguaje: solo se admite** la transformación de EZT a Java para este patrón de transformación específico.
+ **Fuera de alcance**: la transformación de otros lenguajes de programación de mainframe requiere una nueva definición de transformación personalizada en formato personalizado. AWS Transform
*Limitaciones del proceso*
+ **Dependencia de la validación**: sin los datos de salida de referencia, la transformación no se puede validar.
+ **Lógica patentada**: las utilidades altamente específicas y desarrolladas a medida requieren documentación de usuario adicional y materiales de referencia para que el agente de IA las interprete correctamente.
*Limitaciones técnicas*
+ **Límites de servicio**: para ver los límites y las cuotas de servicio AWS Transform personalizados, consulte la [Guía AWS Transform del usuario (Cuotas](https://docs.aws.amazon.com/transform/latest/userguide/transform-limits.html)) y la [referencia AWS general (Transformar cuotas](https://docs.aws.amazon.com/general/latest/gr/aws-transform.html)).
**Versiones de producto**
+ AWS Transform CLI — Última versión
+ Node.js: versión 20 o posterior
+ Git — Última versión
+ Entorno de destino
+ Java: versión 17 o posterior
+ Spring Boot: la versión 3.x es el objetivo principal de las aplicaciones refactorizadas
+ Maven: versión 3.6 o posterior
## Arquitectura
**Pila de tecnología de origen**
+ **Sistema operativo**: IBM z/OS
+ **Lenguaje de programación** — Easytrieve, lenguaje de control de tareas (JCL)
+ **Base de datos**: IBM DB2 for z/OS, método de acceso al almacenamiento virtual (VSAM), archivos planos de mainframe
**Pila de tecnología de destino**
+ **Sistema operativo** — Amazon Linux
+ **Computación**: Amazon Elastic Compute Cloud (Amazon EC2)
+ Lenguaje de **programación**: Java
+ **Base de datos** Amazon Relational Database Service (Amazon RDS)
**Arquitectura de destino**
![\[diagrama de arquitectura de destino para usar AWS Transform custom para transformar EZT en código moderno.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/71f15422-42cb-4c7e-94fa-051a4f130445/images/eb89eed0-dd55-485c-a433-9869162eaad9.png)
**Flujo de trabajo**
Esta solución utiliza un patrón de transformación de language-to-language migración AWS Transform personalizado para modernizar las aplicaciones Easytrieve (EZT) de mainframe a Java mediante un flujo de trabajo automatizado de cuatro pasos.
*Paso 1: Proporcione su código heredado a Mainframe, que: AWS Transform *
+ Analiza el código
+ Extrae la lógica empresarial de alto nivel
+ Extrae la lógica empresarial detallada.
*Paso 2: Crea una carpeta con las entradas necesarias:*
+ Reglas de negocio de EZT extraídas mediante un AWS Transform mainframe
+ Documentación de referencia sobre la programación de EZT
+ Código fuente de EZT
+ Conjuntos de datos de entrada y salida de mainframe
*Paso 3: Crear y ejecutar una definición de transformación personalizada*
1. Utilice la AWS Transform CLI para describir los objetivos de transformación en lenguaje natural. AWS Transform custom analiza las guías de programación BRE, código fuente y EZT para generar una definición de transformación personalizada para que los desarrolladores la revisen y aprueben.
1. A continuación, invoque la AWS Transform CLI con el código fuente del proyecto. AWS Transform custom crea planes de transformación, convierte EZT a Java tras su aprobación, genera archivos auxiliares, crea el JAR ejecutable y valida los criterios de salida.
1. Utilice el agente de validación para probar la equivalencia funcional con la salida del mainframe. El agente de autodepuración corrige los problemas de forma autónoma. Los resultados finales incluyen informes de validación de código Java y HTML validados.
**Automatización y escala**
+ Arquitectura de ejecución multimodo de Agentic AI: AWS Transform custom aprovecha la IA de Agentic con 3 modos de ejecución (conversacional, interactivo y totalmente automatizado) para automatizar tareas de transformación complejas, como el análisis de código, la refactorización, la planificación de la transformación y las pruebas.
+ Sistema de comentarios sobre el aprendizaje adaptativo: la plataforma implementa mecanismos de aprendizaje continuo mediante el análisis de muestras de código, el análisis de la documentación y la integración de los comentarios de los desarrolladores con las definiciones de transformación versionadas.
+ Arquitectura de procesamiento simultáneo de aplicaciones: el sistema permite la ejecución paralela distribuida de múltiples operaciones de transformación de aplicaciones simultáneamente en una infraestructura escalable.
## Tools (Herramientas)
**Servicios de AWS **
+ [AWS Transform custom](https://docs.aws.amazon.com/transform/latest/userguide/custom.html) es un servicio de IA de agencia que se utiliza para transformar las aplicaciones EZT heredadas en lenguajes de programación modernos.
+ [AWS Transform](https://docs.aws.amazon.com/transform/latest/userguide/what-is-service.html)utiliza la IA agentic para ayudarlo a acelerar la modernización de las cargas de trabajo heredadas, como .NET, los mainframes y las cargas de trabajo. VMware
+ [AWS Transform para mainframe](https://docs.aws.amazon.com/transform/latest/userguide/transform-app-mainframe.html) se utiliza para analizar las aplicaciones EZT heredadas a fin de extraer la lógica empresarial integrada y generar una documentación exhaustiva sobre las reglas empresariales, que incluye resúmenes de lógica, definiciones de acrónimos y bases de conocimiento estructuradas. Sirven como datos de entrada para personalizarlos. AWS Transform
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos. Amazon S3 sirve como el servicio de almacenamiento principal de AWS Transform Custom para almacenar definiciones de transformaciones, repositorios de código y resultados de procesamiento.
+ [AWS Identity and Access Management (IAM)](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html) le ayuda a administrar de forma segura el acceso a sus AWS recursos al controlar quién está autenticado y autorizado a usarlos. La IAM proporciona un marco de seguridad AWS Transform personalizado, gestionando los permisos y el control de acceso para las operaciones de transformación.
**Otras herramientas**
+ [AWS Transform CLI](https://docs.aws.amazon.com/transform/latest/userguide/custom-command-reference.html) es la interfaz de línea de comandos AWS Transform personalizada, que permite a los desarrolladores definir, ejecutar y administrar transformaciones de código personalizadas a través de conversaciones en lenguaje natural y modos de ejecución automatizados. AWS Transform custom admite sesiones interactivas (atx custom def exec) y transformaciones autónomas para una modernización escalable de las bases de código.
+ El sistema de control de versiones de [Git](https://git-scm.com/doc) se utiliza para la protección de sucursales, el seguimiento de cambios y las capacidades de reversión durante la aplicación de correcciones automatizadas.
+ [Java](https://www.java.com/en/) es el lenguaje de programación y el entorno de desarrollo utilizados en este patrón.
**Repositorio de código**
El código de este patrón está disponible en [Easytrieve to Modern Languages Transformation with AWS Transform](https://github.com/aws-samples/sample-mainframe-easytrieve-transform?tab=readme-ov-file#easytrieve-to-modern-languages-transformation-with-aws-transform-custom) Custom on. GitHub
## Prácticas recomendadas
+ Establezca una estructura de proyecto estandarizada: cree una estructura de cuatro carpetas (código fuente, bre-doc, datos de entrada y datos de salida), valide la integridad y documente el contenido antes de la transformación.
+ Utilice archivos de referencia para la validación: utilice archivos de entrada de referencia de producción, realice una comparación con la salida de referencia y acepte la tolerancia cero ante las desviaciones. byte-by-byte
+ Utilice todos los documentos de referencia disponibles: para aumentar la precisión de la transformación, proporcione todos los documentos de referencia disponibles, como los requisitos empresariales y las listas de verificación de codificación.
+ Proporcione información para mejorar la calidad: AWS Transform Custom extrae automáticamente lo aprendido de las ejecuciones de transformación (comentarios de los desarrolladores, problemas de código) y crea elementos de conocimiento para ellos. Después de cada transformación exitosa, revise los elementos de conocimiento y apruebe el que le gustaría utilizar en futuras ejecuciones. Esto mejora la calidad de las futuras transformaciones.
## Epics
### Genere un extracto de reglas de negocio (BRE)
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Configure AWS Transform para un mainframe. | Configure el entorno y los permisos necesarios AWS Identity and Access Management (IAM) para respaldar los flujos de trabajo de modernización del mainframe. Para obtener más información, consulte la documentación sobre [la transformación de las aplicaciones de mainframe.](https://docs.aws.amazon.com/transform/latest/userguide/transform-app-mainframe-workflow.html) AWS | Desarrollador de aplicaciones |
| Genere documentación sobre Business Rule Extract (BRE). | Extraiga la lógica empresarial del código EZT o COBOL fuente para generar documentación funcional. Para obtener instrucciones sobre cómo iniciar el proceso de extracción y revisar el resultado, consulte [Extraer la lógica empresarial](https://docs.aws.amazon.com/transform/latest/userguide/transform-app-mainframe-workflow.html#transform-app-mainframe-workflow-extract-business-logic) en la AWS Transform documentación. | Desarrollador de aplicaciones |
### Configure una configuración AWS Transform personalizada
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Aprovisione la infraestructura de AWS Transform forma personalizada. | Implemente la infraestructura lista para la producción necesaria para alojar un entorno de transformación seguro. Esto incluye una instancia privada de Amazon EC2 configurada con las herramientas, los permisos de IAM y la configuración de red necesarios para convertir el código de Easytrieve. Para aprovisionar el entorno mediante la infraestructura como código (IaC), siga las instrucciones de implementación del repositorio Personalizado y transformado [a lenguajes modernos de Easytrieve](https://github.com/aws-samples/sample-mainframe-easytrieve-transform). AWS Transform GitHub | Desarrollador de aplicaciones, administrador de AWS |
| Prepare los materiales de entrada para la transformación. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | Desarrollador de aplicaciones |
### Crea una definición de transformación personalizada
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree una definición de transformación. | Siga estos pasos para crear la definición de transformación personalizada para la transformación de EZT a Java con validación funcional.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | Desarrollador de aplicaciones |
| Publique la definición de transformación. | Tras revisar y validar la definición de transformación, puede publicarla en el registro AWS Transform personalizado con un mensaje en lenguaje natural y proporcionar un nombre de definición, por ejemplo, *EasyTrieve-to-Java-Migration*. | Desarrollador de aplicaciones |
### Prepare los datos de referencia para su validación.
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Revise el resumen de validación de la transformación. | Antes de ejecutar la transformación AWS Transform personalizada, compruebe que la `input-data` carpeta contiene los archivos de datos necesarios capturados antes de ejecutar el trabajo por lotes del mainframe. Tras ejecutar el trabajo por lotes en el ordenador central, asegúrese de que la `output-data` carpeta capture los archivos resultantes. Todos los archivos están en formato Sequential/Text/DB 2 y utilizan la codificación EBCDIC según los requisitos de ejecución.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | Desarrollador de aplicaciones |
| Ejecute el trabajo de transformación personalizado. | Ejecute el comando AWS Transform CLI y elija la opción interactiva o no interactiva::# Non-interactive execution (fully autonomous):
atx custom def exec \
--transformation-name "Easytrieve-to-Java-Migration" \
--code-repository-path ~/root/transform-workspace/mainframe-source/source-code \
--build-command "mvn clean install" \
--non-interactive \
--trust-all-tools \
# Interactive execution (with human oversight):
atx custom def exec \
-n "Easytrieve-to-Java-Migration" \
-p ~/root/transform-workspace/mainframe-source/source-code \
-c "mvn clean install"
# Resume interrupted execution:
atx -resume
# OR
atx --conversation-id
AWS Transform se valida automáticamente mediante build/test comandos durante la ejecución de la transformación. | Desarrollador de aplicaciones |
### Valide y entregue el código probado
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Revise el resumen de validación de la transformación. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | Desarrollador de aplicaciones |
| Acceda a los informes de validación. | Introduzca estos comandos para revisar los artefactos de validación detallados:# Full validation report
cat ~/.aws/atx/custom/$LATEST_SESSION/artifacts/validation_report.html
# Generated code location
ls ~/.aws/atx/custom/$LATEST_SESSION/generated/
# Execution logs
cat ~/.aws/atx/custom/$LATEST_SESSION/logs/execution.log
| Desarrollador de aplicaciones |
| Habilite los elementos de conocimiento para un aprendizaje continuo. | Mejore la precisión de la transformación futura al incluir los elementos de conocimiento sugeridos en su configuración persistente. Tras una transformación, el agente almacena los patrones identificados y las reglas de mapeo en el directorio de sesión local. Para revisar y aplicar estos elementos aprendidos, ejecute estos comandos en su instancia de Amazon EC2:# List all knowledge items for a specific transformation definition
atx custom def list-ki -n
# Retrieve the details of a specific knowledge item
atx custom def get-ki -n --id
# Update the status of a knowledge item (ENABLED or DISABLED)
atx custom def update-ki-status -n --id --status ENABLED
# Update the knowledge item configuration to enable auto-approval
atx custom def update-ki-config -n --auto-enabled TRUE
| Desarrollador de aplicaciones |
## Resolución de problemas
| Problema | Solución |
| --- | --- |
| *Configuración de las rutas de entrada y salida*Los archivos de entrada no se leen o los archivos de salida no se escriben correctamente. | Especifique la ruta completa del directorio donde se almacenan los archivos de entrada e indique claramente la ubicación en la que debe escribirse la salida. Asegúrese de que los permisos de acceso adecuados estén configurados para estos directorios. Las mejores prácticas incluyen el uso de rutas absolutas en lugar de rutas relativas para evitar la ambigüedad y la verificación de que todas las rutas especificadas existan con los permisos adecuados read/write . |
| *Reanudar las ejecuciones interrumpidas*La ejecución se interrumpió o debe continuar desde donde se detuvo | Puede reanudar la ejecución desde donde la dejó proporcionando el ID de conversación en el comando CLI.Busque el ID de la conversación en los registros del intento de ejecución anterior. |
| *Resolver las restricciones de memoria*Se produce un error de memoria insuficiente durante la ejecución. | Puede solicitar AWS Transform compartir el tamaño actual de la JVM en memoria y, a continuación, aumentar la asignación de memoria en función de esta información. Este ajuste ayuda a adaptarse a mayores requisitos de procesamiento.Considere la posibilidad de dividir los trabajos grandes en lotes más pequeños si persisten las limitaciones de memoria después de los ajustes. |
| *Abordar las discrepancias en los archivos de salida*Los archivos de salida no coinciden con las expectativas e AWS Transform indican que no es posible realizar más cambios. | Proporcione comentarios específicos y razones técnicas que expliquen por qué la salida actual es incorrecta. Incluya documentación técnica o empresarial adicional para respaldar sus requisitos. Este contexto detallado ayuda a AWS Transform corregir el código para generar los archivos de salida adecuados. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) |
## Recursos relacionados
+ [AWS Transform documentación personalizada](https://docs.aws.amazon.com/transform/latest/userguide/custom.html)
+ [Generador de informes Easytrieve 11.6](https://techdocs.broadcom.com/us/en/ca-mainframe-software/devops/ca-easytrieve-report-generator/11-6/getting-started.html)
## Conexiones
Para acceder al contenido adicional asociado a este documento, descomprima el archivo: [attachment.zip](samples/p-attach/71f15422-42cb-4c7e-94fa-051a4f130445/attachments/attachment.zip)
# Más patrones
**Topics**
+ [Implemente las automatizaciones de seguridad para la AWS WAF solución mediante Terraform](deploy-the-security-automations-for-aws-waf-solution-by-using-terraform.md)
+ [Replicar bases de datos de unidades centrales en AWS mediante Precisely Connect](replicate-mainframe-databases-to-aws-by-using-precisely-connect.md)