result : results) {
processComplexData(result);
}
```
*最適化戦略を合わせて使用する*
これらの 3 つの戦略は相乗的に機能します。API は効率的なデータアクセスのためのツールを提供し、キャッシュはデータ取り出しを繰り返す必要性を減らし、ビジネスロジックの最適化はこれらの API を可能な限り最も効果的な方法で使用できるようにします。これらの最適化を定期的にモニタリングおよび調整することで、確実に、モダナイズされたアプリケーションの信頼性と機能を維持しながら、パフォーマンスを継続的に向上させることができます。成功の鍵は、アプリケーションの特性とパフォーマンス目標に基づいて各戦略を適用するタイミングと方法を理解することです。
## ツール
+ [JProfiler](https://www.ej-technologies.com/jprofiler) は、開発者とパフォーマンスエンジニア向けに設計された Java プロファイリングツールです。Java アプリケーションを分析して、パフォーマンスのボトルネック、メモリリーク、スレッドの問題を特定するのに役立ちます。JProfiler は、CPU、メモリ、スレッドプロファイリングや、データベースと Java 仮想マシン (JVM) のモニタリングを提供することで、アプリケーションの動作に関するインサイトを提供します。
**注記**
JProfiler の代わりに、[Java VisualVM](https://visualvm.github.io/) を使用することもできます。これは、Java アプリケーションのパフォーマンスのプロファイリングとモニタリングを行う無料のオープンソースツールであり、CPU 使用率、メモリ消費量、スレッド管理、ガベージコレクション統計をリアルタイムでモニタリングします。Java VisualVM は組み込みの JDK ツールであるため、基本的なプロファイリングのニーズに対しては JProfiler よりもコスト効率が高くなります。
+ [pgAdmin](https://www.pgadmin.org/) はオープンソースの PostgreSQL 向け管理開発ツールです。データベースオブジェクトの作成、管理、使用を支援するグラフィカルインターフェイスを提供します。pgAdmin を使用すると、単純な SQL クエリの記述から複雑なデータベースの開発まで、幅広いタスクを実行できます。その機能には、SQL エディタを強調表示する構文、サーバー側のコードエディタ、SQL、シェル、バッチタスクのスケジュールエージェント、初心者と経験豊富な PostgreSQL ユーザーの両方に対するすべての PostgreSQL 機能のサポートが含まれます。
## ベストプラクティス
パフォーマンスホットスポットの特定:
+ 最適化を開始する前に、パフォーマンスのベースラインメトリクスを文書化します。
+ ビジネス要件に基づき、パフォーマンス改善の明確な目標を設定します。
+ ベンチマークを行うときは、詳細なログ記録はパフォーマンスに影響する可能性があるため、無効にします。
+ パフォーマンステストスイートを設定して、定期的に実行します。
+ pgAdmin の最新バージョンを使用してください。(古いバージョンは `EXPLAIN` クエリプランに対応していません)
+ ベンチマークでは、最適化が完了したら JProfiler をデタッチします。これによりレイテンシーが増加するためです。
+ ベンチマークでは、必ずデバッグモードではなく開始モードでサーバーを実行してください。デバッグモードではレイテンシーが増加するためです。
最適化戦略:
+ `application.yaml` ファイルで **SetMaxResults** 値を設定し、システム仕様に従って適切なサイズのバッチを指定します。
+ データボリュームとメモリの制約に基づいて、**SetMaxResults** 値を設定します。
+ 後続の呼び出しが `.readNextEqual()` である場合にのみ、**SetOnGreatorOrEqual** を **SetOnEqual** に変更します。
+ バッチ書き込みまたは更新オペレーションでは、最後のバッチについては、設定されたバッチサイズより小さく、書き込みまたは更新オペレーションによって失われる可能性があるため、個別に処理します。
キャッシュ:
+ `processImpl` でキャッシュするために導入するフィールドは実行のたびに変更し、常にその `processImpl` のコンテキストで定義するようにしてください。また、フィールドは `doReset()` または `cleanUp()` メソッドを使用してクリアする必要があります。
+ インメモリキャッシュを実装する場合は、キャッシュのサイズを適正化します。メモリに非常に大きなキャッシュが保存されていると、すべてのリソースが占有され、アプリケーションの全体的なパフォーマンスに影響が及ぶ可能性があります。
SQLExecutionBuilder:
+ SQLExecutionBuilder で使用する予定のクエリの場合は、`PROGRAMNAME_STATEMENTNUMBER` などのキー名を使用します。
+ SQLExecutionBuilder を使用する場合は、常に `Sqlcod` フィールドを確認してください。このフィールドには、クエリが正しく実行されたか、エラーが発生したかを明示する値が含まれています。
+ パラメータ化されたクエリを使用して SQL インジェクションを防ぎます。
ビジネスロジックの最適化:
+ コードを再構築するときは機能的同等性を維持し、関連するプログラムのサブセットに対してリグレッションテストとデータベース比較を実行します。
+ 比較のためにプロファイリングのスナップショットを維持します。
## エピック
### JProfiler と pgAdmin をインストールする
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| JProfiler をインストールして設定します。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | アプリ開発者 |
| pgAdmin をインストールして設定します。 | このステップでは、DB クライアントをインストールして自分のデータベースをクエリするように設定します。このパターンでは、データベースクライアントとして PostgreSQL データベースと pgAdmin を使用します。別のデータベースエンジンを使用する場合は、対応する DB クライアントのドキュメントに従ってください。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | アプリ開発者 |
### ホットスポットを特定する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| AWS Blu Age アプリケーションで SQL クエリのログ記録を有効にします。 | [アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)セクションで説明されているように、 AWS Blu Age アプリケーションの `application.properties` ファイルで SQL クエリログ記録のロガーを有効にします。 | アプリ開発者 |
| クエリ `EXPLAIN` プランを生成して分析し、データベースのパフォーマンスホットスポットを特定します。 | 詳しくは「[アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)」セクションをご確認ください。 | アプリ開発者 |
| JProfiler のスナップショットを作成して、パフォーマンスの低いテストケースを分析します。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | アプリ開発者 |
| JProfiler スナップショットを分析し、パフォーマンスのボトルネックを特定します。 | 次の手順に従って、JProfiler スナップショットを分析します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html)JProfiler の使用について、詳しくは「[アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)」セクションおよび[ JProfiler ドキュメント](https://www.ej-technologies.com/jprofiler/docs)をご確認ください。 | アプリ開発者 |
### ベースラインを確立する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 最適化を実装する前に、パフォーマンスベースラインを確立します。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) | アプリ開発者 |
### 最適化戦略を適用する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 読み取りの呼び出しを最適化します。 | DAOManager **SetMaxResults** メソッドを使用して、データの取得を最適化します。手法の詳細については「[アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)」セクションをご確認ください。 | アプリ開発者、DAOManager |
| データベースへの複数回の呼び出しを避けるために、ビジネスロジックをリファクタリングします。 | SQL `JOIN` 句を使用してデータベース呼び出しを減らします。詳細と例については、「[アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)」セクションの「*ビジネスロジックの最適化*」を参照してください。 | アプリケーション開発者、SQLExecutionBuilder |
| コードをリファクタリングし、キャッシュを使用して読み取り呼び出しのレイテンシーを短縮します。 | この手法の詳細については、「[アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)」セクションの「*キャッシュ*」を参照してください。 | アプリ開発者 |
| 複数の DAOManager オペレーションを使用して単純な更新オペレーションを行う非効率的なコードを書き換えます。 | データベース内のデータを直接更新する方法の詳細については、「[アーキテクチャ](#optimize-performance-aws-blu-age-modernized-application-architecture)」セクションの「*ビジネスロジックの最適化*」を参照してください。 | アプリ開発者 |
### 最適化戦略をテストする
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 機能同等性を維持しながら、各最適化の変更を繰り返し検証します。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html)ベースラインメトリクスをリファレンスとして使用すると、システムの信頼性を維持しながら、各最適化の影響を正確に測定できます。 | アプリデベロッパー |
## トラブルシューティング
| 問題 | ソリューション |
| --- | --- |
| 最新のアプリケーションを実行すると、エラー `Query_ID not found` の例外が表示されます。 | この問題を解決するには。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) |
| インデックスを追加しましたが、パフォーマンスが向上していません。 | 次の手順に従って、クエリエンジンがインデックスを使用していることを確認します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) |
| out-of-memory の例外が発生しました。 | コードが、データ構造によって保持されていたメモリを解放していることを確認します。 |
| バッチ書き込みオペレーションで、テーブルのレコードが欠落します。 | コードを確認し、バッチ数がゼロでない場合に追加の書き込みオペレーションが実行されていることを確認します。 |
| SQL ログはアプリケーションログには表示されません。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/optimize-performance-aws-blu-age-modernized-application.html) |
## 関連リソース
+ [AWS Blu Age を使用したアプリケーションの自動リファクタリング](https://docs.aws.amazon.com/m2/latest/userguide/refactoring-m2.html) (*AWS Mainframe Modernization ユーザーガイド*)
+ [pgAdmin ドキュメント](https://www.pgadmin.org/docs/)
+ [JProfiler ドキュメント](https://www.ej-technologies.com/jprofiler/docs)
# トラステッドコンテキストを使用して、AWS の Db2 フェデレーションデータベースのユーザーアクセスを保護し、合理化する
*Amazon Web Services、Sai Parthasaradhi*
## 概要
多くの企業がレガシーメインフレームワークロードをAmazon Web Services (AWS) に移行しています。この移行には、IBM Db2 for z/OS データベースを Amazon Elastic Compute Cloud (Amazon EC2) 上の Linux、Unix、および Windows (LUW) 用の Db2 (LUW) に移行することが含まれます。オンプレミスから AWS への段階的移行中、すべてのアプリケーションとデータベースが Db2 LUW に完全に移行されるまで、ユーザーは IBM Db2 z/OS と Amazon EC2 上の Db2 LUW のデータにアクセスする必要がある場合があります。このようなリモートデータアクセスのシナリオでは、プラットフォームが異なれば使用する認証メカニズムも異なるため、ユーザー認証は難しい場合があります。
このパターンは、Db2 for z/OS をリモートデータベースとして Db2 for LUW 上にフェデレーションサーバーをセットアップする方法を網羅しています。このパターンでは、トラステッドコンテキストを使用して、リモートデータベースで再認証することなく、ユーザーの ID を Db2 LUW から Db2 z/OS に伝達します。トラステッドコンテキストについて詳しくは、「[追加情報](#secure-and-streamline-user-access-in-a-db2-federation-database-on-aws-by-using-trusted-contexts-additional)」セクションを参照してください。
## 前提条件と制限事項
**前提条件**
+ アクティブな AWS アカウント
+ Amazon EC2 インスタンスで実行されている Db2 インスタンス
+ オンプレミスで実行されているリモート Db2 for z/OS データベース
+ [AWS Site-to-Site VPN](https://aws.amazon.com/vpn/) または [AWS Direct Connect](https://aws.amazon.com/directconnect/) を介して AWS に接続されたオンプレミスネットワーク
## アーキテクチャ
**ターゲットアーキテクチャ**
![\[オンプレミスのメインフレームは、オンプレミスの Db2 サーバーと VPN を介して EC2 上の Db2 DB に接続します。\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/images/pattern-img/9e04f0fe-bae2-412a-93ac-83da50222017/images/0a384695-7907-4fb8-bb7e-d170dcc114af.png)
## ツール
** サービス**
+ 「[Amazon Elastic Compute Cloud (Amazon EC2)](https://docs.aws.amazon.com/ec2/)」は、AWS クラウドでスケーラブルなコンピューティング容量を提供します。必要な数の仮想サーバーを起動することができ、迅速にスケールアップまたはスケールダウンができます。
+ [AWS Site-to-Site VPN](https://docs.aws.amazon.com/vpn/latest/s2svpn/VPC_VPN.html) は、AWS で起動するインスタンスと独自のリモートネットワーク間でトラフィックを渡すのに役立ちます。
**その他のツール**
+ [db2cli](https://www.ibm.com/docs/en/db2/11.5?topic=commands-db2cli-db2-interactive-cli) は Db2 のインタラクティブコマンドラインインターフェイス (CLI)コマンドです。
## エピック
### AWS で実行されている Db2 LUW データベースでフェデレーションを有効にする
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| DB2 LUW データベースでフェデレーションを有効にします。 | DB2 LUW でフェデレーションを有効にするには、次のコマンドを実行します。update dbm cfg using federated YES
| DBA |
| データベースを再起動します。 | データベースを再起動するには、次のコマンドを実行します。db2stop force;
db2start;
| DBA |
### リモートデータベースをカタログ化する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| リモート Db2 z/OS サブシステムをカタログ化します。 | AWS で実行されている Db2 LUW 上のリモート Db2 z/OS データベースをカタログ化するには、以下のサンプルコマンドを使用します。catalog TCPIP NODE tcpnode REMOTE mainframehost SERVER mainframeport
| DBA |
| リモートデータベースをカタログ化します。 | リモートデータベースをカタログするには、次のコマンド例を使用します。catalog db dbnam1 as ndbnam1 at node tcpnode
| DBA |
### リモートサーバー定義を作成する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| リモート Db2 z/OS データベースのユーザー認証情報を収集します。 | 次の手順に進む前に、以下の情報を収集します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/secure-and-streamline-user-access-in-a-db2-federation-database-on-aws-by-using-trusted-contexts.html) | DBA |
| DRDA ラッパーを作成します。 | DRDA ラッパーを作成するには、次のコマンドを実行します。CREATE WRAPPER DRDA;
| DBA |
| サーバー定義を作成します。 | サーバー定義を作成するには、次のコマンド例を実行します。CREATE SERVER ndbserver
TYPE DB2/ZOS VERSION 12
WRAPPER DRDA
AUTHORIZATION "dbuser1" PASSWORD "dbpasswd" OPTIONS ( DBNAME 'ndbnam1',FED_PROXY_USER 'ZPROXY' );
この定義では、`FED_PROXY_USER` が Db2 z/OS データベースへの信頼できる接続を確立するために使用するプロキシユーザーを指定します。認可ユーザー ID とパスワードは、Db2 LUW データベースにリモートサーバーオブジェクトを作成する場合にのみ必要です。これらは後のランタイムには使用されません。 | DBA |
### ユーザーマッピングの作成
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| プロキシユーザーのユーザーマッピングを作成します。 | プロキシユーザーのユーザーマッピングを作成するには、次のコマンドを実行します。CREATE USER MAPPING FOR ZPROXY SERVER ndbserver OPTIONS (REMOTE_AUTHID 'ZPROXY', REMOTE_PASSWORD 'zproxy');
| DBA |
| Db2 LUW で各ユーザーのユーザーマッピングを作成します。 | プロキシユーザーを介してリモートデータにアクセスする必要がある AWS 上の Db2 LUW データベース上のすべてのユーザーのユーザーマッピングを作成します。ユーザーマッピングを作成するには、次のコマンドを実行します。CREATE USER MAPPING FOR PERSON1 SERVER ndbserver OPTIONS (REMOTE_AUTHID 'USERZID', USE_TRUSTED_CONTEXT 'Y');
このステートメントは、Db2 LUW (`PERSON1`) 上のユーザーがリモート Db2 z/OS データベース (`USE_TRUSTED_CONTEXT 'Y'`) への信頼できる接続を確立できることを明記しています。プロキシユーザーを介して接続が確立されると、ユーザーは Db2 z/OS ユーザー ID (`REMOTE_AUTHID 'USERZID'`) を使用してデータにアクセスできます。 | DBA |
### トラステッドコンテキストオブジェクトを作成する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| トラステッドコンテキストオブジェクトを作成します。 | リモート Db2 z/OS データベースにトラステッドコンテキストオブジェクトを作成するには、以下のサンプルコマンドを使用します。CREATE TRUSTED CONTEXT CTX_LUW_ZOS
BASED UPON CONNECTION USING SYSTEM AUTHID ZPROXY
ATTRIBUTES (
ADDRESS '10.10.10.10'
)
NO DEFAULT ROLE
ENABLE
WITH USE FOR PUBLIC WITHOUT AUTHENTICATION;
この定義では、`CTX_LUW_ZOS` はトラステッドコンテキストオブジェクトの任意の名前です。このオブジェクトには、信頼できる接続の発信元となるサーバーのプロキシユーザー ID と IP アドレスが含まれます。この例では、サーバーは AWS 上の Db2 LUW データベースです。IP アドレスの代わりにドメイン名を使用できます。この条項は、信頼できる接続でのユーザー ID の切り替えがすべてのユーザー ID で許可されていることを `WITH USE FOR PUBLIC WITHOUT AUTHENTICATION` 示しています。パスワードを入力する必要はありません。 | DBA |
## 関連リソース
+ [IBM Resource Access Control Facility (RACF)](https://www.ibm.com/products/resource-access-control-facility)
+ [IBM Db2 LUW Federation](https://www.ibm.com/docs/en/db2/11.5?topic=federation)
+ [Trusted contexts](https://www.ibm.com/docs/en/db2-for-zos/13?topic=contexts-trusted)
## 追加情報
**Db2 トラステッドコンテキスト**
トラステッドコンテキストは、フェデレーションサーバーとリモートデータベースサーバー間の信頼関係を定義する Db2 データベースオブジェクトです。信頼できる関係を定義するために、トラステッドコンテキストは信頼属性を指定します。信頼属性には、3 つのタイプがあります。
+ 最初のデータベース接続要求を行うシステム許可 ID
+ 接続元の IP アドレスまたはドメイン名
+ データベースサーバーとデータベースクライアント間のデータ通信の暗号化設定
接続要求のすべての属性が、サーバー上で定義されているトラステッドコンテキストオブジェクトで指定されている属性と一致すると、信頼できる接続が確立されます。信頼接続には、暗黙的な接続と明示的な接続の 2 つのタイプがあります。暗黙的な信頼接続が確立されると、その信頼された接続定義の範囲外では使用できないロールがユーザーに継承されます。明示的な信頼された接続が確立されると、ユーザーは認証の有無にかかわらず、同じ物理接続に切り替えることができます。さらに、Db2 ユーザーには、信頼できる接続内でのみ使用できる権限を指定するロールを付与できます。このパターンでは、明示的な信頼できる接続を使用します。
このパターンのトラステッドコンテキスト
パターンが完成すると、Db2 LUW 上の PERSON1 は、フェデレーテッドトラステッドコンテキストを使用して Db2 z/OS のリモートデータにアクセスします。PERSON1 への接続がトラステッドコンテキスト定義で指定されている IP アドレスまたはドメイン名から発信されている場合、PERSON1 への接続はプロキシユーザーを介して確立されます。接続が確立されると、PERSON1 の対応する Db2 z/OS ユーザー ID は再認証なしで切り替えられ、ユーザーはそのユーザーに設定された Db2 権限に基づいてデータまたはオブジェクトにアクセスできます。
フェデレーションされたトラステッドコンテキストの利点
+ このアプローチでは、すべてのユーザーが必要とするすべての特権のスーパーセットを必要とする共通のユーザー ID やアプリケーション ID を使用する必要がなくなるため、最小特権という原則が維持されます。
+ フェデレーテッドデータベースとリモートデータベースの両方でトランザクションを実行するユーザーの実際の ID は常に知られており、監査することができます。
+ フェデレーションサーバーによる再認証を必要とせずに物理接続がユーザー間で再利用されるので、パフォーマンスが向上します。
# 大規模な Db2 z/OS データを CSV ファイルで Amazon S3 に転送する
*Amazon Web Services、Bruno Sahinoglu、Abhijit Kshirsagar、Ivan Schuster*
## 概要
メインフレームは今でも多くの企業の記録システムであり、現在および過去のビジネストランザクションの記録を持つマスターデータエンティティを含む大量のデータを含んでいます。多くの場合、サイロ化されており、同じ企業内の分散システムからは簡単にはアクセスできません。クラウドテクノロジーの出現とビッグデータの民主化に伴い、企業はメインフレームデータに隠された洞察を利用して新しいビジネス機能を開発することに関心を持っています。
この目標を掲げて、エンタプライズはメインフレームの Db2 データをAmazon Web Services (AWS) クラウド環境に公開しようとしています。ビジネス上の理由はいくつかあり、転送方法はケースごとに異なります。アプリケーションをメインフレームに直接接続したい場合もあれば、データをほぼリアルタイムで複製したい場合もあります。ユースケースがデータウェアハウスまたはデータレイクへのフィードである場合、最新のコピーを用意することはもはや問題ではなく、特にサードパーティ製品のライセンスコストを避けたい場合は、このパターンで説明されている手順で十分かもしれません。別の使用例としては、移行プロジェクトのメインフレームデータ転送が挙げられます。移行シナリオでは、機能同等性テストを実行するにはデータが必要です。この記事で説明するアプローチは、Db2 データをAWS クラウド環境に転送するための費用対効果の高い方法です。
Amazon Simple Storage Service (Amazon S3) は最も統合された AWS サービスの 1 つであるため、そこからデータにアクセスし、Amazon Athena、AWS Lambda 関数、Amazon QuickSight などの他の AWS サービスを使用して直接洞察を収集できます。AWS Glue または AWS Database Migration Service (AWS DMS) を使用して Amazon Aurora または Amazon DynamoDB にデータをロードすることもできます。その目的を念頭に置いて、メインフレームで ASCII 形式の CSV ファイルの Db2 データをアンロードし、ファイルを Amazon S3 に転送する方法について説明します。
この目的のために、必要な数の Db2 テーブルをアンロードして転送するためのジョブ制御言語 (JCL) を生成するのに役立つ「[メインフレームスクリプト](https://github.com/aws-samples/unloaddb2-samples)」が開発されました。
## 前提条件と制限
**前提条件**
+ 再構築拡張エグゼキューター (REXX) と JCL スクリプトを実行する権限を持つ IBM z/OS オペレーティングシステムユーザー。
+ z/OS Unix システムサービス (USS) にアクセスして SSH (セキュアシェル) のプライベートキーとパブリックキーを生成します。
+ 書き込み可能な S3 バケット。詳細については、Amazon S3 ドキュメントの「[最初の S3 バケットの作成](https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-bucket.html)」を参照してください。
+ AWS Transfer Family SSH ファイル転送プロトコル (SFTP) 対応サーバー。ID プロバイダーとして**サービスマネージド**、AWS ストレージサービスとして Amazon S3 を使用しています。詳細については、AWS Transfer Family ドキュメントの「[SFTP 対応サーバーの作成](https://docs.aws.amazon.com/transfer/latest/userguide/create-server-sftp.html)」を参照してください。
**制限事項**
+ この方法は、ほぼリアルタイムまたはリアルタイムのデータ同期には適していません。
+ データはDb2 z/OSからAmazon S3 にのみ移動でき、その逆はできません。
## アーキテクチャ
**ソーステクノロジースタック**
+ z/OS で Db2 を実行するメインフレーム
**ターゲットテクノロジースタック**
+ AWS Transfer Family
+ Amazon S3
+ Amazon Athena
+ Amazon QuickSight
+ AWS Glue
+ Amazon Relational Database Service (Amazon RDS)
+ Amazon Aurora
+ Amazon Redshift
**ソースアーキテクチャとターゲットアーキテクチャ**
次の図は、Db2 z/OS データを ASCII CSV 形式で生成、抽出、S3 バケットに転送するプロセスを示しています。
![\[Data flow from corporate data center to AWS クラウド, showing mainframe extraction and cloud processing steps.\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/images/pattern-img/66e6fa1a-1c7d-4b7a-8404-9ba85e433b24/images/87b13e0d-0be9-4462-bdbf-67342334416c.png)
1. Db2 カタログからデータを移行するテーブルのリストが選択されます。
1. このリストは、外部フォーマットの数値列とデータ列を含むアンロードジョブの生成に使用されます。
1. その後、データは AWS Transfer Family を使用して Amazon S3 に転送されます。
1. AWS Glue の抽出、変換、ロード (ETL) ジョブでは、データを変換し、指定された形式で処理済みのバケットにロードできます。また、AWS Glue はデータをデータベースに直接フィードできます。
1. Amazon Athena と Amazon QuickSight を使用してデータをクエリしてレンダリングし、分析に役立てることができます。
次の図は、プロセス全体の論理的な流れを示しています。
![\[Flowchart showing JCL process with TABNAME, REXXEXEC, and JCL decks steps, including inputs and outputs.\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/images/pattern-img/66e6fa1a-1c7d-4b7a-8404-9ba85e433b24/images/d72f2572-10c9-43f9-b6c9-7e57c9a69d52.png)
1. 最初の JCL は TABNAME と呼ばれ、Db2 ユーティリティ DSNTIAUL を使用して、Db2 からアンロードする予定のテーブルのリストを抽出し、生成します。テーブルを選択するには、SQL 入力を手動で調整して選択し、フィルター条件を追加して 1 つ以上の Db2 スキーマを含める必要があります。
1. REXXEXEC と呼び出された 2 番目の JCL は、JCL スケルトンと REXX プログラムを使用して JCL TABNAME によって作成されたテーブルリストを処理し、テーブル名ごとに 1 つの JCL を生成します。各 JCL には、テーブルをアンロードするステップと、SFTP プロトコルを使用して S3 バケットにファイルを送信するステップが 1 つずつ含まれます。
1. 最後のステップは、JCL を実行してテーブルをアンロードし、ファイルを AWS に転送することです。プロセス全体をオンプレミスまたは AWS のスケジューラーを使用して自動化できます。
## ツール
**AWS サービス**
+ 「[Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html)」は、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) 内のデータを直接分析できるようにするインタラクティブなクエリサービスです。
+ 「[Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/CHAP_AuroraOverview.html)」はクラウド用に構築されたフルマネージド型のリレーショナルデータベースエンジンで、MySQL および PostgreSQL と互換性があります。
+ [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html) は、フルマネージド型の抽出、変換、ロード (ETL) サービスです。これにより、データストアとデータストリーム間でデータを確実に分類、整理、強化、移動できます。
+ 「[Amazon QuickSight](https://docs.aws.amazon.com/quicksight/latest/user/welcome.html)」は、クラウドスケールのビジネスインテリジェンス (BI) サービスで、データを単一のダッシュボードで可視化、分析、レポートすることができます。
+ 「[Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/gsg/getting-started.html)」は、AWS クラウド内でのマネージド型、ペタバイトスケールのデータウェアハウスサービスです。
+ [Amazon Relational Database Service (Amazon RDS)](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Welcome.html) を使用して、AWS クラウドでリレーショナルデータベース (DB) をセットアップ、運用、スケーリングできます。
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) は、あらゆる量のデータを保存、保護、取得できるクラウドベースのオブジェクトストレージサービスです。
+ 「[AWS Transfer Family](https://docs.aws.amazon.com/transfer/latest/userguide/what-is-aws-transfer-family.html)」は、AWS ストレージサービスとの間でファイルを送受信できる安全な転送サービスです。
メインフレームツール
+ 「[SSH ファイル転送プロトコル (SFTP)](https://www.ssh.com/academy/ssh/sftp-ssh-file-transfer-protocol)」は、サーバーへのリモートログインとサーバー間のファイル転送を可能にする安全なファイル転送プロトコルです。SSH はすべてのトラフィックを暗号化することでセキュリティを確保します。
+ 「[DSNTIAUL](https://www.ibm.com/docs/en/db2-for-zos/11?topic=dpasp-dsntiaul-sample-program)」は IBM が提供するデータをアンロードするためのサンプルプログラムです。
+ 「[DSNUTILB](https://www.ibm.com/docs/en/db2-for-zos/11?topic=sharing-recommendations-utilities-in-coexistence)」は IBM が提供するユーティリティー・バッチ・プログラムで、DSNTIAUL のさまざまなオプションを使用してデータをアンロードします。
+ 「[z/OS OpenSSH](https://www.ibm.com/docs/en/zos/2.4.0?topic=zbed-zos-openssh)」は、IBM オペレーティングシステム z/OS の Unix システムサービス上で動作するオープンソースソフトウェア SSH のポートです。SSH は TCP/IP ネットワーク上で稼働している 2 台のコンピューター間の、安全で暗号化された接続プログラムです。ssh-keygen を含む複数のユーティリティが用意されています。
+ 「[REXX (再構築拡張エグゼキューター)](https://www.ibm.com/docs/en/zos/2.1.0?topic=guide-learning-rexx-language)」スクリプトは、Db2 アンロードおよび SFTP ステップによる JCL 生成を自動化するために使用されます。
**Code**
このパターンのコードは GitHub 内の「[unloaddb2](https://github.com/aws-samples/unloaddb2-samples)」リポジトリで利用できます。
## ベストプラクティス
最初のアンロードでは、生成された JCL がテーブルデータ全体をアンロードする必要があります。
最初の完全アンロード後は、パフォーマンスを向上させコスト削減のために段階的にアンロードを実行します。アンロードプロセスに加えられた変更に対応できるように、テンプレート JCL デックの SQL クエリを更新します。
スキーマは手動で変換することも、Db2 SYSPUNCH を入力として Lambda のスクリプトを使用して変換することもできます。工業プロセスでは、「[AWS Schema Conversion Tool (SCT)](https://docs.aws.amazon.com/SchemaConversionTool/latest/userguide/CHAP_Source.DB2zOS.html)」が推奨オプションです。
最後に、メインフレームベースのスケジューラーを使用するか、メインフレームにエージェントを配置したAWS のスケジューラーを使用して、プロセス全体の管理と自動化を支援します。
## エピック
### S3 バケットのセットアップ
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| S3 バケットを作成する。 | 手順については、「[最初の S3 バケットを作成する](https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-bucket.html)」を参照してください。 | AWS 全般 |
### Transfer Family サーバーを設定します。
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| SFTP 対応サーバーを作成します。 | 「[AWS Transfer Family コンソール](https://console.aws.amazon.com/transfer/)」で SFTP サーバーを開いて作成するには、次の手順を実行します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html) | AWS 全般 |
| Transfer Family 用の IAM ロールを作成します。 | Transfer Family が Amazon S3 にアクセスするための AWS Identity and Access Management (IAM) ロールを作成するには、「[IAM ロールおよびポリシーを作成する](https://docs.aws.amazon.com/transfer/latest/userguide/requirements-roles.html)」の指示に従ってください。 | AWS 管理者 |
| Amazon S3 サービスマネージドユーザーをサーバーに追加します。 | Amazon S3 サービスマネージドユーザーを追加するには、「[AWS ドキュメント](https://docs.aws.amazon.com/transfer/latest/userguide/service-managed-users.html#add-s3-user)」の指示に従い、メインフレームユーザー ID を使用してください。 | AWS 全般 |
### 通信プロトコルの保護
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| SSH キーを作成します。 | メインフレーム USS 環境で、次のコマンドを実行します。ssh-keygen -t rsa
パスフレーズの入力を求められたら、空欄のままにしてください。 | メインフレーム開発者 |
| SSH フォルダとキーファイルに適切な権限レベルを設定します。 | デフォルトでは、パブリックキーとプライベートキーはユーザーディレクトリ `/u/home/username/.ssh` に保存されます。キーファイルには 644、フォルダーには 700 の権限を与える必要があります。chmod 644 .ssh/id_rsa
chmod 700 .ssh
| メインフレーム開発者 |
| Amazon S3 サービスマネージドユーザーにパブリックキーの内容をコピーします。 | USS で生成されたパブリックキーの内容をコピーするには、「[AWS Transfer Family コンソール](https://console.aws.amazon.com/transfer/)」を開きます。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html) | メインフレーム開発者 |
### JCL を生成する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 対象範囲内の Db2 テーブルリストを生成します。 | 入力 SQL を指定して、データ移行の対象となるテーブルのリストを作成します。このステップでは、SQL WHERE 句を使用して Db2 カタログテーブル SYSIBM.SYSTABLES をクエリする選択基準を指定する必要があります。フィルターは、特定のプレフィックスで始まる特定のスキーマ名やテーブル名を含むように、またはインクリメンタルアンロードのタイムスタンプに基づいてカスタマイズできます。出力はメインフレーム上のフィジカルシーケンシャル (PS) データセットに取り込まれます。このデータセットは、JCL 生成の次のフェーズの入力として機能します。JCL TABNAME (必要に応じて名前を変更できます) を使用する前に、次の変更を行います。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)Db2 テーブルリスト抽出ジョブ
//*
//* UNLOAD ALL THE TABLE NAMES FOR A PARTICULAR SCHEMA
//*
//STEP01 EXEC PGM=IEFBR14
//*
//DD1 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(1000,(1,1)),
// DSN=.DSN81210.TABLIST
//*
//DD2 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(1000,(1,1)),
// DSN=.DSN81210.SYSPUNCH
//*
//UNLOAD EXEC PGM=IKJEFT01,DYNAMNBR=20
//SYSTSPRT DD SYSOUT=*
//STEPLIB DD DISP=SHR,DSN=DSNC10.DBCG.SDSNEXIT
// DD DISP=SHR,DSN=DSNC10.SDSNLOAD
// DD DISP=SHR,DSN=CEE.SCEERUN
// DD DISP=SHR,DSN=DSNC10.DBCG.RUNLIB.LOAD
//SYSTSIN DD *
DSN SYSTEM(DBCG)
RUN PROGRAM(DSNTIAUL) PLAN(DSNTIB12) PARMS('SQL') -
LIB('DSNC10.DBCG.RUNLIB.LOAD')
END
//SYSPRINT DD SYSOUT=*
//*
//SYSUDUMP DD SYSOUT=*
//*
//SYSREC00 DD DISP=(NEW,CATLG,DELETE),
// UNIT=SYSDA,SPACE=(32760,(1000,500)),
// DSN=.DSN81210.TABLIST
//*
//SYSPUNCH DD DISP=(NEW,CATLG,DELETE),
// UNIT=SYSDA,SPACE=(32760,(1000,500)),
// VOL=SER=SCR03,RECFM=FB,LRECL=120,BLKSIZE=12
// DSN=.DSN81210.SYSPUNCH
//*
//SYSIN DD *
SELECT CHAR(CREATOR), CHAR(NAME)
FROM SYSIBM.SYSTABLES
WHERE OWNER = ''
AND NAME LIKE '%'
AND TYPE = 'T';
/*
| メインフレーム開発者 |
| JCL テンプレートを変更します。 | このパターンで提供される JCL テンプレートには、一般的なジョブカードとライブラリ名が含まれています。ただし、ほとんどのメインフレームサイトには、データセット名、ライブラリ名、ジョブカードに独自の命名規則があります。たとえば、Db2 ジョブを実行するには特定のジョブクラスが必要な場合があります。JES2 と JES3 のJob 入力サブシステム実装では、さらに変更が加えられる可能性があります。標準ロード・ライブラリーには、IBM のデフォルトである `SYS1` とは異なる第 1 修飾子が付いている場合があります。そのため、実行する前に、サイト固有の標準に合わせてテンプレートをカスタマイズしてください。スケルトン JCL UNLDSKEL に以下の変更を加えます。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)JCL スケルトンをアンロードして SFTP 送信します。//&USRPFX.U JOB (DB2UNLOAD),'JOB',CLASS=A,MSGCLASS=A,
// TIME=1440,NOTIFY=&USRPFX
//* DELETE DATASETS
//STEP01 EXEC PGM=IEFBR14
//DD01 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(TRK,(1,1)),
// DSN=&USRPFX..DB2.PUNCH.&JOBNAME
//DD02 DD DISP=(MOD,DELETE,DELETE),
// UNIT=SYSDA,
// SPACE=(TRK,(1,1)),
// DSN=&USRPFX..DB2.UNLOAD.&JOBNAME
//*
//* RUNNING DB2 EXTRACTION BATCH JOB FOR AWS DEMO
//*
//UNLD01 EXEC PGM=DSNUTILB,REGION=0M,
// PARM=',UNLOAD'
//STEPLIB DD DISP=SHR,DSN=DSNC10.DBCG.SDSNEXIT
// DD DISP=SHR,DSN=DSNC10.SDSNLOAD
//SYSPRINT DD SYSOUT=*
//UTPRINT DD SYSOUT=*
//SYSOUT DD SYSOUT=*
//SYSPUN01 DD DISP=(NEW,CATLG,DELETE),
// SPACE=(CYL,(1,1),RLSE),
// DSN=&USRPFX..DB2.PUNCH.&JOBNAME
//SYSREC01 DD DISP=(NEW,CATLG,DELETE),
// SPACE=(CYL,(10,50),RLSE),
// DSN=&USRPFX..DB2.UNLOAD.&JOBNAME
//SYSPRINT DD SYSOUT=*
//SYSIN DD *
UNLOAD
DELIMITED COLDEL ','
FROM TABLE &TABNAME
UNLDDN SYSREC01
PUNCHDDN SYSPUN01
SHRLEVEL CHANGE ISOLATION UR;
/*
//*
//* FTP TO AMAZON S3 BACKED FTP SERVER IF UNLOAD WAS SUCCESSFUL
//*
//SFTP EXEC PGM=BPXBATCH,COND=(4,LE),REGION=0M
//STDPARM DD *
SH cp "//'&USRPFX..DB2.UNLOAD.&JOBNAME'"
&TABNAME..csv;
echo "ascii " >> uplcmd;
echo "PUT &TABNAME..csv " >>>> uplcmd;
sftp -b uplcmd -i .ssh/id_rsa &FTPUSER.@&FTPSITE;
rm &TABNAME..csv;
//SYSPRINT DD SYSOUT=*
//STDOUT DD SYSOUT=*
//STDENV DD *
//STDERR DD SYSOUT=*
| メインフレーム開発者 |
| 一括アンロード JCL を生成します。 | このステップでは、JCL を使用して ISPF 環境で REXX スクリプトを実行します。`TABLIST DD` 名前に対して JCL を一括生成するための入力として、最初のステップで作成したスコープ内テーブルのリストを指定します。JCL は、`ISPFILE DD` 名前に対して指定されたユーザー指定の分割データセット内のテーブル名ごとに 1 つの新しい JCL を生成します。このライブラリは事前に割り当ててください。新しい JCL にはそれぞれ 2 つのステップがあります。1 つは Db2 テーブルをファイルにアンロードするステップ、もう 1 つはファイルを S3 バケットに送信するステップです。JCL REXXEXEC で次の変更を行います (名前は変更できます)。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)JCL の一括生成ジョブ//RUNREXX JOB (CREATEJCL),'RUNS ISPF TABLIST',CLASS=A,MSGCLASS=A,
// TIME=1440,NOTIFY=&SYSUID
//* Most of the values required can be updated to your site specific
//* values using the command 'TSO ISRDDN' in your ISPF session.
//* Update all the lines tagged with //update marker to desired
//* site specific values.
//ISPF EXEC PGM=IKJEFT01,REGION=2048K,DYNAMNBR=25
//SYSPROC DD DISP=SHR,DSN=USER.Z23D.CLIST
//SYSEXEC DD DISP=SHR,DSN=.TEST.REXXLIB
//ISPPLIB DD DISP=SHR,DSN=ISP.SISPPENU
//ISPSLIB DD DISP=SHR,DSN=ISP.SISPSENU
// DD DISP=SHR,DSN=.TEST.ISPSLIB
//ISPMLIB DD DSN=ISP.SISPMENU,DISP=SHR
//ISPTLIB DD DDNAME=ISPTABL
// DD DSN=ISP.SISPTENU,DISP=SHR
//ISPTABL DD LIKE=ISP.SISPTENU,UNIT=VIO
//ISPPROF DD LIKE=ISP.SISPTENU,UNIT=VIO
//ISPLOG DD SYSOUT=*,RECFM=VA,LRECL=125
//SYSPRINT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSUDUMP DD SYSOUT=*
//SYSDBOUT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSUDUMP DD SYSOUT=*
//SYSDBOUT DD SYSOUT=*
//SYSHELP DD DSN=SYS1.HELP,DISP=SHR
//SYSOUT DD SYSOUT=*
//* Input list of tablenames
//TABLIST DD DISP=SHR,DSN=.DSN81210.TABLIST
//* Output pds
//ISPFILE DD DISP=SHR,DSN=.TEST.JOBGEN
//SYSTSIN DD *
ISPSTART CMD(ZSTEPS )
/*
REXX スクリプトを使用する前に、以下の点を変更します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transfer-large-scale-db2-z-os-data-to-amazon-s3-in-csv-files.html)STEPS REX スクリプト/*REXX - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */
/* 10/27/2021 - added new parms to accommodate ftp */
Trace "o"
parse arg usrpfx ftpuser ftpsite
Say "Start"
Say "Ftpuser: " ftpuser "Ftpsite:" ftpsite
Say "Reading table name list"
"EXECIO * DISKR TABLIST (STEM LINE. FINIS"
DO I = 1 TO LINE.0
Say I
suffix = I
Say LINE.i
Parse var LINE.i schema table rest
tabname = schema !! "." !! table
Say tabname
tempjob= "LOD" !! RIGHT("0000" !! i, 5)
jobname=tempjob
Say tempjob
ADDRESS ISPEXEC "FTOPEN "
ADDRESS ISPEXEC "FTINCL UNLDSKEL"
/* member will be saved in ISPDSN library allocated in JCL */
ADDRESS ISPEXEC "FTCLOSE NAME("tempjob")"
END
ADDRESS TSO "FREE F(TABLIST) "
ADDRESS TSO "FREE F(ISPFILE) "
exit 0
| メインフレーム開発者 |
### JCL を実行します。
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| Db2 アンロードステップを実行する。 | JCL の生成後は、アンロードする必要のあるテーブルと同じ数の JCL が作成されます。このストーリーでは、JCL で生成された例を使用して、構造と最も重要なステップについて説明します。ユーザー操作は必要はありません。以下の情報は参考情報です。前のステップで生成した JCL を送信する場合は、スキップして「*LoDnnnnn JCL の送信*」タスクに進んでください。IBM が提供する DSNUTILB Db2 ユーティリティで JCL を使用して Db2 データをアンロードする場合は、アンロードされたデータに圧縮された数値データが含まれていないことを確認する必要があります。これを行うには、DSNUTILB `DELIMITED` パラメーターを使用します。`DELIMITED` パラメーターでは、テキストフィールドの区切り文字と二重引用符として文字を追加したり、VARCHAR 列のパディングを削除したり、DATE フィールドを含むすべての数値フィールドを EXTERNAL FORMAT に変換したりすることで、CSV 形式のデータをアンロードできます。次の例は、コンマ文字を区切り文字として使用して、生成された JCL のアンロードステップがどのように表示されるかを示しています。
UNLOAD
DELIMITED COLDEL ','
FROM TABLE SCHEMA_NAME.TBNAME
UNLDDN SYSREC01
PUNCHDDN SYSPUN01
SHRLEVEL CHANGE ISOLATION UR;
| メインフレーム開発者、システムエンジニア |
| SFTP ステップを実行します。 | JCL から SFTP プロトコルを使用するには、BPXBATCH ユーティリティを使用してください。 SFTP ユーティリティは MVS データセットに直接アクセスすることはできません。copy コマンド (`cp`) を使用して、シーケンシャルファイル `&USRPFX..DB2.UNLOAD.&JOBNAME` を USS ディレクトリにコピーし、それを `&TABNAME..csv` に変更できます。プライベートキー (`id_rsa`) を使用し、RACF ユーザー ID をユーザー名として使用して `sftp` コマンドを実行し、AWS Transfer Family IP アドレスに接続します。SH cp "//'&USRPFX..DB2.UNLOAD.&JOBNAME'"
&TABNAME..csv;
echo "ascii " >> uplcmd;
echo "PUT &TABNAME..csv " >>>> uplcmd;
sftp -b uplcmd -i .ssh/id_rsa &FTPUSER.@&FTP_TF_SITE;
rm &TABNAME..csv;
| メインフレーム開発者、システムエンジニア |
| LoDnnnnn JCL を送信してください。 | 以前の JCL では、アンロードして CSV に変換し、S3 バケットに転送する必要があるすべての LoDnnnnn JCL テーブルが生成されています。生成されたすべての JCL で `submit` コマンドを実行します。 | メインフレーム開発者、システムエンジニア |
## 関連リソース
このドキュメントで使用されているさまざまなツールおよびソリューションの詳細については、次の内容を参照してください。
+ 「[z/OS OpenSSH ユーザーズガイド](https://www-01.ibm.com/servers/resourcelink/svc00100.nsf/pages/zOSV2R4sc276806/$file/foto100_v2r4.pdf)」
+ 「[Db2 z/OS — アンロード制御ステートメントのサンプル](https://www.ibm.com/docs/en/db2-for-zos/11?topic=unload-sample-control-statements)」
+ 「[Db2 z/OS — 区切り文字付きファイルのアンロード](https://www.ibm.com/docs/en/db2-for-zos/11?topic=unload-unloading-delimited-files)」
+ 「[Transfer Family — SFTP 対応サーバーの作成](https://docs.aws.amazon.com/transfer/latest/userguide/create-server-sftp.html)」
+ 「[Transfer Family — サービス管理対象ユーザーとの連携](https://docs.aws.amazon.com/transfer/latest/userguide/service-managed-users.html)」
## 追加情報
Amazon S3 に Db2 データを保存した後は、さまざまな方法で新しい分析情報を得ることができます。Amazon S3 は AWS データ分析サービスと統合されているため、このデータを分散側で自由に使用または公開できます。例えば、次のオペレーションを実行できます。
+ 「[Amazon S3 上にデータレイク](https://aws.amazon.com/products/storage/data-lake-storage/)」を構築し、データを移動せずにその場でのクエリ、分析、機械学習ツールを使って貴重なインサイトを引き出します。
+ AWS Transfer Family と統合されたアップロード後の処理ワークフローを設定して「[Lambda 関数](https://aws.amazon.com/lambda/)」を開始します。
+ 「[AWS Glue](https://aws.amazon.com/glue/)」を使用して、Amazon S3 または「[フルマネージドデータベース](https://aws.amazon.com/free/database/?trk=ps_a134p000007CdNEAA0&trkCampaign=acq_paid_search_brand&sc_channel=PS&sc_campaign=acquisition_FR&sc_publisher=Google&sc_category=Database&sc_country=FR&sc_geo=EMEA&sc_outcome=acq&sc_detail=amazon%20relational%20database%20service&sc_content=Relational%20Database_e&sc_matchtype=e&sc_segment=548727697660&sc_medium=ACQ-P|PS-GO|Brand|Desktop|SU|Database|Solution|FR|EN|Text&s_kwcid=AL!4422!3!548727697660!e!!g!!amazon%20relational%20database%20service&ef_id=CjwKCAjwzt6LBhBeEiwAbPGOgcGbQIl1-QsbHfWTgMZSSHEXzSG377R9ZyK3tCcbnHuT45L230FufxoCeEkQAvD_BwE:G:s&s_kwcid=AL!4422!3!548727697660!e!!g!!amazon%20relational%20database%20service)」のデータにアクセスするための新しいマイクロサービスを開発します。AWS Glue は、分析、機械学習、アプリケーション開発のためのデータの検出、準備、結合を容易にするサーバーレスデータ統合サービスです。
移行のユースケースでは、メインフレームから S3 にあらゆるデータを転送できるため、次のことが可能になります。
+ Amazon S3 Glacier Deep Archive を使用して、物理インフラストラクチャを廃止し、費用対効果の高いデータアーカイブ戦略を構築します。
+ Amazon S3 や S3 Glacier や Amazon Elastic File System (Amazon EFS) などの他の AWS サービスを使用して、スケーラブルで耐久性があり、安全なバックアップおよび復元ソリューションを構築し、既存のオンプレミス機能を強化または置き換えます。
# AWS Transform カスタムを使用して Easytrieve を最新の言語に変換する
*Shubham Roy、Subramanyam Malisetty、Harshitha Shashidhar、Amazon Web Services*
## 概要
このパターンは、 [AWS Transform カスタム](https://aws.amazon.com/transform/custom/) language-to-language 変換を使用して、メインフレームの Broadcom [Easytrieve Report Generator](https://techdocs.broadcom.com/us/en/ca-mainframe-software/devops/ca-easytrieve-report-generator/11-6.html) (EZT) ワークロードを迅速かつ低リスクで変換するための規範的なガイダンスを提供します。バッチデータ処理とレポート生成に一般的に使用される、ニッチで独自のメインフレーム EZT ワークロードをモダナイズするという課題に対処します。このパターンは、独自のツールとまれなメインフレームの専門知識に依存するコストが高く、長く、エラーが発生しやすい移行アプローチを、作成したエージェント AI 自動ソリューションに置き換えます AWS Transform。
このパターンは、EZT 変換用のすぐに使用できるカスタム変換定義を提供します。定義は複数の変換入力を使用します。
+ [AWS Transform メインフレームに](https://aws.amazon.com/transform/mainframe/) を使用して抽出された EZT ビジネスルール
+ EZT プログラミングリファレンスドキュメント
+ EZT ソースコード
+ メインフレーム入出力データセット
AWS Transform カスタムは、これらの入力を使用して、Java や Python などの最新のターゲット言語で機能的に同等のアプリケーションを生成します。
変換プロセスでは、インテリジェントなテスト実行、自動デバッグ、反復修正機能を使用して、期待される出力と機能的同等性を検証します。また、継続的な学習をサポートし、カスタム変換定義が連続する変換の精度と一貫性を向上させることができます。このパターンを使用すると、組織は移行の労力とリスクを軽減し、ニッチなメインフレームの技術的負債に対処し、 で EZT ワークロードをモダナイズ AWS して、俊敏性、信頼性、セキュリティ、イノベーションを向上させることができます。
## 前提条件と制限
**前提条件**
+ アクティブな AWS アカウント
+ 入力データと出力データを含むメインフレーム EZT ワークロード
**制限事項**
*スコープの制限 *
+ **言語サポート** – この特定の変換パターンでは、 EZT-to-Java 変換のみがサポートされています。
+ **範囲外 – **他のメインフレームプログラミング言語の変換には、 カスタム で新しい AWS Transform カスタム変換定義が必要です。
*プロセスの制限 *
+ **検証の依存関係** – ベースライン出力データがないと、変換を検証できません。
+ **独自のロジック** – 高度に固有のカスタム開発ユーティリティでは、AI エージェントによって正しく解釈されるために、追加のユーザードキュメントと参考資料が必要です。
*技術的な制限事項 *
+ **サービスの制限** – AWS Transform カスタムサービスの制限とクォータについては、[AWS Transform 「 ユーザーガイド - クォータ](https://docs.aws.amazon.com/transform/latest/userguide/transform-limits.html) 」および [AWS 「 全般のリファレンス - クォータの変換](https://docs.aws.amazon.com/general/latest/gr/aws-transform.html)」を参照してください。
**製品バージョン**
+ AWS Transform CLI – 最新バージョン
+ Node.js – バージョン 20 以降
+ Git – 最新バージョン
+ ターゲット環境
+ Java – バージョン 17 以降
+ Spring Boot – リファクタリングされたアプリケーションのプライマリターゲットは バージョン 3.x です
+ Maven – バージョン 3.6 以降
## アーキテクチャ
**ソーステクノロジースタック**
+ **オペレーティングシステム** – IBM z/OS
+ **プログラミング言語** – Easytrieve、ジョブコントロール言語 (JCL)
+ **データベース** – IBM DB2 for z/OS、仮想ストレージアクセス方法 (VSAM)、メインフレームフラットファイル
**ターゲットテクノロジースタック**
+ **オペレーティングシステム** – Amazon Linux
+ **コンピューティング** – Amazon Elastic Compute Cloud (Amazon EC2)
+ **プログラミング言語** – Java
+ **Database** Amazon Relational Database Service (Amazon RDS)
**ターゲットアーキテクチャ**
![\[AWS Transform custom を使用して EZT を最新のコードに変換するためのターゲットアーキテクチャ図。\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/images/pattern-img/71f15422-42cb-4c7e-94fa-051a4f130445/images/eb89eed0-dd55-485c-a433-9869162eaad9.png)
**ワークフロー**
このソリューションでは、 AWS Transform カスタムlanguage-to-language移行変換パターンを使用して、メインフレーム Easytrieve (EZT) アプリケーションを 4 ステップの自動ワークフローを通じて Java にモダナイズします。
*ステップ 1 – Mainframe AWS Transform の にレガシーコード を指定します。*
+ コードを分析する
+ 高レベルのビジネスロジックを抽出します
+ 詳細なビジネスロジックを抽出します。
*ステップ 2 – 必要な入力を含むフォルダを作成します。*
+ メインフレーム AWS Transform に を使用して抽出された EZT ビジネスルール
+ EZT プログラミングリファレンスドキュメント
+ EZT ソースコード
+ メインフレーム入出力データセット
*ステップ 3 – カスタム変換定義を作成して実行する*
1. AWS Transform CLI を使用して自然言語で変換の目的を記述します。 AWS Transform custom は BRE、ソースコード、および EZT プログラミングガイドを分析し、開発者によるレビューと承認のためのカスタム変換定義を生成します。
1. 次に、プロジェクトソースコードを使用して AWS Transform CLI を呼び出します。 AWS Transform custom は変換プランを作成し、承認時に EZT を Java に変換し、サポートファイルを生成して、実行可能 JAR を構築し、終了基準を検証します。
1. 検証エージェントを使用して、メインフレーム出力に対する 機能同等性をテストします。セルフデバッガーエージェントは問題を自動的に修正します。最終的な成果物には、検証済みの Java コードと HTML 検証レポートが含まれます。
**自動化とスケール**
+ エージェント AI マルチモード実行アーキテクチャ – AWS Transform カスタムは、3 つの実行モード (対話型、インタラクティブ、完全オートメーション) を持つエージェント AI を活用して 、コード分析、リファクタリング、変換計画、テストなどの複雑な変換タスクを自動化します。
+ アダプティブラーニングフィードバックシステム – プラットフォームは、コードサンプル分析、ドキュメント解析、および開発者フィードバックとバージョニングされた変換定義の統合を通じて、継続的な学習メカニズムを実装します。
+ 同時アプリケーション処理アーキテクチャ – このシステムでは、スケーラブルなインフラストラクチャ間で複数のアプリケーション変換オペレーションを同時に分散並列実行できます。
## ツール
**AWS のサービス **
+ [AWS Transform custom](https://docs.aws.amazon.com/transform/latest/userguide/custom.html) は、従来の EZT アプリケーションを最新のプログラミング言語に変換するために使用されるエージェント AI サービスです。
+ [AWS Transform](https://docs.aws.amazon.com/transform/latest/userguide/what-is-service.html) はエージェンティック AI を使用して、.NET、メインフレーム、VMware ワークロードなどのレガシーワークロードのモダナイズを加速します。
+ [AWS Transform メインフレームの ](https://docs.aws.amazon.com/transform/latest/userguide/transform-app-mainframe.html)は、 レガシー EZT アプリケーションを分析して埋め込みビジネスロジックを抽出し、ロジックの概要、頭字語の定義、構造化されたナレッジベースなど、包括的なビジネスルールドキュメントを生成するために使用されます。これらは AWS Transform カスタムの入力データとして機能します。
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) は、あらゆる量のデータを保存、保護、取得できるクラウドベースのオブジェクトストレージサービスです。Amazon S3 は、変換定義、コードリポジトリ、および処理結果を保存するための AWS Transform カスタムのプライマリストレージサービスとして機能します。
+ [AWS Identity and Access Management (IAM)](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html) は、誰を認証し、誰に使用する権限を付与するかを制御することで、 AWS リソースへのアクセスを安全に管理するのに役立ちます。IAM は、変換オペレーションのアクセス許可とアクセスコントロールを管理する AWS Transform カスタムのセキュリティフレームワークを提供します。
**その他のツール**
+ [AWS Transform CLI](https://docs.aws.amazon.com/transform/latest/userguide/custom-command-reference.html) は AWS Transform カスタムのコマンドラインインターフェイスであり、開発者は自然言語の会話と自動実行モードを通じてカスタムコード変換を定義、実行、管理できます。 AWS Transform custom は、コードベースのスケーラブルなモダナイゼーションのためのインタラクティブセッション (atx custom def exec) と自律変換の両方をサポートしています。
+ 自動修正アプリケーション中のブランチ保護、変更追跡、ロールバック機能に使用される [Git](https://git-scm.com/doc) バージョン管理システム。
+ 「[Java](https://www.java.com/en/)」 はこのパターンで使用されるプログラミング言語ならびに開発環境です。
**コードリポジトリ**
このパターンのコードは、GitHub の [Easytrieve to Modern Languages Transformation with AWS Transform Custom](https://github.com/aws-samples/sample-mainframe-easytrieve-transform?tab=readme-ov-file#easytrieve-to-modern-languages-transformation-with-aws-transform-custom) で入手できます。
## ベストプラクティス
+ 標準化されたプロジェクト構造を確立する – 変換前に 4 つのフォルダ構造 (source-code、bre-doc、input-data、output-data) を作成し、完全性を検証し、その内容を文書化します。
+ 検証にベースラインファイルを使用する – 本番稼働用ベースライン入力ファイルを使用し、ベースライン出力とのbyte-by-byte比較を実行し、偏差に対するゼロトレランスを受け入れます。
+ 利用可能なすべてのリファレンスドキュメントを使用する – 変換の精度を高めるには、ビジネス要件やコーディングチェックリストなど、利用可能なすべてのリファレンスドキュメントを提供します。
+ 品質向上のための入力を提供する – AWS Transform カスタムは、変換実行から学習を自動的に抽出し (開発者のフィードバック、コードの問題）、ナレッジ項目を作成します。変換が成功するたびに、ナレッジ項目を確認し、将来の実行で使用する項目を承認します。これにより、将来の変換の品質が向上します。
## エピック
### ビジネスルール抽出を生成する (BRE)
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| メインフレーム AWS Transform 用に を設定します。 | メインフレームのモダナイゼーションワークフローをサポートするために、環境と必要な AWS Identity and Access Management (IAM) アクセス許可を設定します。詳細については、 AWS ドキュメント[の「メインフレームアプリケーションの変換](https://docs.aws.amazon.com/transform/latest/userguide/transform-app-mainframe-workflow.html)」を参照してください。 | アプリ開発者 |
| ビジネスルール抽出 (BRE) ドキュメントを生成します。 | ソース EZT または COBOL コードからビジネスロジックを抽出して、機能ドキュメントを生成します。抽出プロセスを開始し、出力を確認する方法については、 AWS Transform ドキュメントの[「Extract business logic](https://docs.aws.amazon.com/transform/latest/userguide/transform-app-mainframe-workflow.html#transform-app-mainframe-workflow-extract-business-logic)」を参照してください。 | アプリ開発者 |
### AWS Transform カスタムをセットアップする
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| AWS Transform カスタム用にインフラストラクチャをプロビジョニングします。 | 安全な変換環境をホストするために必要な本番環境対応のインフラストラクチャをデプロイします。これには、Easytrieve コードを変換するために必要なツール、IAM アクセス許可、ネットワーク設定で設定されたプライベート Amazon EC2 インスタンスが含まれます。Infrastructure as Code (IaC) を使用して環境をプロビジョニングするには、[Easytrieve to Modern Languages Transformation with AWS Transform Custom](https://github.com/aws-samples/sample-mainframe-easytrieve-transform) GitHub リポジトリのデプロイ手順に従ってください。 | アプリ開発者、AWS 管理者 |
| 変換用の入力マテリアルを準備します。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | アプリ開発者 |
### カスタム変換定義を作成する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 変換定義を作成します。 | 以下の手順に従って、機能検証による EZT から Java への変換のカスタム変換定義を作成します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | アプリ開発者 |
| 変換定義を発行します。 | 変換定義を確認して検証したら、自然言語プロンプトを使用してカスタムレジストリに AWS Transform 発行し、*Easytrieve-to-Java-Migration* などの定義名を指定できます。 | アプリ開発者 |
### 検証用のベースラインデータを準備します。
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 変換検証の概要を確認します。 | カスタム変換を実行する AWS Transform 前に、メインフレームバッチジョブの実行前にキャプチャされた必要なデータファイルがフォルダに含まれていることを確認します `input-data` 。メインフレームバッチジョブの実行後、`output-data`フォルダが結果のファイルをキャプチャしていることを確認します。すべてのファイルは、実行要件に基づいて EBCDIC エンコードを使用してSequential/Text/DB2 形式になります。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | アプリ開発者 |
| カスタム変換ジョブを実行します。 | AWS Transform CLI コマンドを実行し、非インタラクティブまたはインタラクティブオプションを選択します。:# Non-interactive execution (fully autonomous):
atx custom def exec \
--transformation-name "Easytrieve-to-Java-Migration" \
--code-repository-path ~/root/transform-workspace/mainframe-source/source-code \
--build-command "mvn clean install" \
--non-interactive \
--trust-all-tools \
# Interactive execution (with human oversight):
atx custom def exec \
-n "Easytrieve-to-Java-Migration" \
-p ~/root/transform-workspace/mainframe-source/source-code \
-c "mvn clean install"
# Resume interrupted execution:
atx -resume
# OR
atx --conversation-id
AWS Transform は、変換の実行中にビルド/テストコマンドを使用して を自動的に検証します。 | アプリ開発者 |
### テスト済みコードを検証して配信する
| タスク | 説明 | 必要なスキル |
| --- | --- | --- |
| 変換検証の概要を確認します。 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) | アプリ開発者 |
| 検証レポートにアクセスします。 | 以下のコマンドを入力して、詳細な検証アーティファクトを確認します。# Full validation report
cat ~/.aws/atx/custom/$LATEST_SESSION/artifacts/validation_report.html
# Generated code location
ls ~/.aws/atx/custom/$LATEST_SESSION/generated/
# Execution logs
cat ~/.aws/atx/custom/$LATEST_SESSION/logs/execution.log
| アプリ開発者 |
| 継続的な学習のためにナレッジ項目を有効にします。 | 提案されたナレッジ項目を永続的な設定に昇格させることで、将来の変換精度を向上させます。変換後、エージェントは識別されたパターンとマッピングルールをローカルセッションディレクトリに保存します。これらの学習した項目を確認して適用するには、Amazon EC2 インスタンスで次のコマンドを実行します。# List all knowledge items for a specific transformation definition
atx custom def list-ki -n
# Retrieve the details of a specific knowledge item
atx custom def get-ki -n --id
# Update the status of a knowledge item (ENABLED or DISABLED)
atx custom def update-ki-status -n --id --status ENABLED
# Update the knowledge item configuration to enable auto-approval
atx custom def update-ki-config -n --auto-enabled TRUE
| アプリデベロッパー |
## トラブルシューティング
| 問題 | ソリューション |
| --- | --- |
| *入力パスと出力パスの設定*入力ファイルが読み取られていないか、出力ファイルが正しく書き込まれていません。 | 入力ファイルが保存される完全なディレクトリパスを指定し、出力を書き込む場所を明確に指定します。これらのディレクトリに適切なアクセス許可が設定されていることを確認します。 ベストプラクティスには、相対パスではなく絶対パスを使用してあいまいさを回避し、指定されたすべてのパスが適切な読み取り/書き込みアクセス許可で存在することを確認することが含まれます。 |
| *中断された実行の再開*実行が中断されたか、停止した場所から続行する必要があります | CLI コマンドで会話 ID を指定することで、中断した場所から実行を再開できます。前回の実行試行のログで会話 ID を見つけます。 |
| *メモリ制約の解決*実行中にメモリ不足エラーが発生します。 | 現在のインメモリ JVM サイズを共有し、この情報に基づいてメモリ割り当てを増やす AWS Transform ように に依頼できます。この調整は、より大きな処理要件に対応するのに役立ちます。調整後もメモリ制約が続く場合は、大きなジョブを小さなバッチに分割することを検討してください。 |
| *出力ファイルの不一致に対処する*出力ファイルが期待と一致しず、これ以上の変更ができない AWS Transform ことを示します。 | 現在の出力が正しくない理由を説明する具体的なフィードバックと技術的な理由を提供します。要件をサポートするために、追加の技術またはビジネスドキュメントを含めます。この詳細なコンテキストは AWS Transform 、コードを修正して適切な出力ファイルを生成するのに役立ちます。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/transform-easytrieve-modern-languages.html) |
## 関連リソース
+ [AWS Transform カスタムドキュメント](https://docs.aws.amazon.com/transform/latest/userguide/custom.html)
+ [Easytrieve レポートジェネレーター 11.6](https://techdocs.broadcom.com/us/en/ca-mainframe-software/devops/ca-easytrieve-report-generator/11-6/getting-started.html)
## アタッチメント
このドキュメントに関連する追加コンテンツにアクセスするには、次のファイルを解凍してください。「[attachment.zip](samples/p-attach/71f15422-42cb-4c7e-94fa-051a4f130445/attachments/attachment.zip)」
# その他のパターン
**Topics**
+ [Terraform を使用して AWS WAF ソリューションのセキュリティオートメーションをデプロイする](deploy-the-security-automations-for-aws-waf-solution-by-using-terraform.md)
+ [Precisely Connect を使用してメインフレームデータベースを AWS にレプリケート](replicate-mainframe-databases-to-aws-by-using-precisely-connect.md)