Generieren Sie Dateneinblicke mithilfe von AWS Mainframe Modernization und Amazon Q in QuickSight - AWS Prescriptive Guidance

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Generieren Sie Dateneinblicke mithilfe von AWS Mainframe Modernization und Amazon Q in QuickSight

Erstellt von Shubham Roy (AWS), Roshna Razack () und Santosh Kumar Singh () AWS AWS

Umgebung: PoC oder Pilotprojekt

Technologien: Mainframe; Analytik; Migration; Modernisierung; Maschinelles Lernen und KI

Arbeitslast: IBM

AWSDienste: AWS Lambda; AWS Mainframe-Modernisierung; Amazon QuickSight; Amazon S3

Übersicht

Wenn Ihr Unternehmen geschäftskritische Daten in einer Mainframe-Umgebung hostet, ist es entscheidend, Erkenntnisse aus diesen Daten zu gewinnen, um Wachstum und Innovation voranzutreiben. Durch die Erschließung von Mainframe-Daten können Sie schnellere, sichere und skalierbare Business Intelligence aufbauen, um datengestützte Entscheidungen, Wachstum und Innovation in der Amazon Web Services ()AWS Cloud zu beschleunigen.

Dieses Muster bietet eine Lösung für die Generierung von Geschäftseinblicken und die Erstellung gemeinsam nutzbarer Geschichten aus Mainframe-Daten mithilfe von AWS Mainframe Modernization File Transfer mit BMC Amazon Q in. QuickSight Mainframe-Datensätze werden mithilfe von AWS Mainframe Modernization File Transfer mit an Amazon Simple Storage Service (Amazon S3) übertragen. BMC Eine AWS Lambda Funktion formatiert die Mainframe-Datendatei und bereitet sie für das Laden in Amazon QuickSight vor.

Sobald die Daten in Amazon verfügbar sind QuickSight, können Sie natürliche Sprachaufforderungen mit Amazon Q verwenden, QuickSight um Zusammenfassungen der Daten zu erstellen, Fragen zu stellen und Datenstorys zu generieren. Sie müssen keine SQL Abfragen schreiben oder ein Business Intelligence (BI) -Tool erlernen.

Geschäftlicher Kontext

Dieses Muster stellt eine Lösung für Anwendungsfälle von Mainframe-Datenanalysen und Datenerkenntnissen dar. Mithilfe des Musters erstellen Sie ein visuelles Dashboard für die Daten Ihres Unternehmens. Um die Lösung zu demonstrieren, verwendet dieses Muster ein Gesundheitsunternehmen, das seinen Mitgliedern in den USA medizinische, zahnärztliche und augenärztliche Pläne anbietet. In diesem Beispiel werden demografische Daten und Versicherungsinformationen der Mitglieder in den Mainframe-Datensätzen gespeichert. Das visuelle Dashboard zeigt Folgendes:

  • Verteilung der Mitglieder nach Regionen

  • Verteilung der Mitglieder nach Geschlecht

  • Verteilung der Mitglieder nach Alter

  • Verteilung der Mitglieder nach Tariftyp

  • Mitglieder, die die Schutzimpfung noch nicht abgeschlossen haben

Nachdem Sie das Dashboard erstellt haben, generieren Sie eine Datenstory, die die Erkenntnisse aus der vorherigen Analyse erklärt. Die Datenstory enthält Empfehlungen zur Erhöhung der Zahl der Mitglieder, die präventive Impfungen abgeschlossen haben.

Voraussetzungen und Einschränkungen

Voraussetzungen

  • Ein aktiver AWS-Konto

  • Mainframe-Datensätze mit Geschäftsdaten

  • Zugriff auf die Installation eines File Transfer Agents auf dem Mainframe

Einschränkungen

  • Ihre Mainframe-Datendatei sollte in einem der von Amazon QuickSight unterstützten Dateiformate vorliegen. Eine Liste der unterstützten Dateiformate finden Sie in der QuickSight Amazon-Dokumentation.

    Dieses Muster verwendet eine Lambda-Funktion, um die Mainframe-Datei in ein von Amazon unterstütztes Format zu konvertieren. QuickSight

Architektur

Das folgende Diagramm zeigt eine Architektur zur Generierung von Geschäftseinblicken aus Mainframe-Daten mithilfe von AWS Mainframe Modernization File Transfer with BMC und Amazon Q in QuickSight.

Die Beschreibung des Architekturdiagramms folgt dem Diagramm.

Das Diagramm zeigt den folgenden Workflow:

  1. Ein Mainframe-Datensatz mit Geschäftsdaten wird mithilfe von AWS Mainframe Modernization File Transfer with BMC an Amazon S3 übertragen.

  2. Die Lambda-Funktion konvertiert die Datei, die sich im S3-Bucket des Ziels für die Dateiübertragung befindet, in das Format mit kommagetrennten Werten (). CSV

  3. Die Lambda-Funktion sendet die konvertierte Datei an den S3-Bucket des Quelldatensatzes.

  4. Die Daten in der Datei werden von Amazon QuickSight aufgenommen.

  5. Benutzer greifen auf die Daten in Amazon zu QuickSight. Sie können Amazon Q in verwenden, um mit den Daten QuickSight zu interagieren, indem Sie Eingabeaufforderungen in natürlicher Sprache verwenden.

Tools

AWSDienstleistungen

  • AWS Lambda ist ein Datenverarbeitungsservice, mit dem Sie Code ausführen können, ohne dass Sie Server bereitstellen oder verwalten müssen. Es führt Ihren Code nur bei Bedarf aus und skaliert automatisch, sodass Sie nur für die tatsächlich genutzte Rechenzeit zahlen.

  • AWS Mainframe Modernization File Transfer mit BMC Konvertierung und Übertragung von Mainframe-Datensätzen an Amazon S3 für Anwendungsfälle zur Mainframe-Modernisierung, -Migration und Erweiterung.

  • Amazon QuickSight ist ein BI-Service auf Cloud-Ebene, mit dem Sie Ihre Daten in einem einzigen Dashboard visualisieren, analysieren und melden können. Dieses Muster verwendet die generativen BI-Funktionen von Amazon Q in QuickSight.

  • Amazon Simple Storage Service (Amazon S3) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.

Bewährte Methoden

  • Wenn Sie die Rollen AWS Identity and Access Management (IAM) für AWS Mainframe Modernization File Transfer with BMC und die Lambda-Funktion erstellen, folgen Sie dem Prinzip der geringsten Rechte.

  • Stellen Sie sicher, dass Ihr Quelldatensatz Datentypen für Amazon unterstützt QuickSight. Wenn Ihr Quelldatensatz Datentypen enthält, die nicht unterstützt werden, konvertieren Sie diese in unterstützte Datentypen. Informationen zu nicht unterstützten Mainframe-Datentypen und deren Konvertierung in von Amazon Q unterstützte Datentypen finden Sie im QuickSight Abschnitt Verwandte Ressourcen.

Epen

AufgabeBeschreibungErforderliche Fähigkeiten

Installieren Sie den File Transfer Agent.

Folgen Sie den Anweisungen in der AWS Dokumentation, um AWS Mainframe Modernization File Transfer Agent auf Ihrem Mainframe zu installieren.

Mainframe-Systemadministrator

Erstellen Sie einen S3-Bucket für die Mainframe-Dateiübertragung.

Erstellen Sie einen S3-Bucket, in dem die Ausgabedatei von AWS Mainframe Modernization File Transfer gespeichert werden soll. BMC Im Architekturdiagramm ist dies der Ziel-Bucket für die Dateiübertragung.

Ingenieur für Migration

Erstellen Sie den Endpunkt für die Datenübertragung.

  1. Erstellen Sie einen S3-Bucket, um die Mainframe-Eingabedatei für die AWS Mainframe Modernization Dateiübertragung bereitzustellen. BMC

  2. Folgen Sie den Anweisungen in der Dokumentation, um den Mainframe-Datenübertragungsendpunkt zu erstellen.AWS

AWSSpezialist für Mainframe-Modernisierung
AufgabeBeschreibungErforderliche Fähigkeiten

Erstellen Sie einen S3-Bucket.

Erstellen Sie einen S3-Bucket für die Lambda-Funktion, um die konvertierte Mainframe-Datei von der Quelle in den endgültigen Ziel-Bucket zu kopieren.

Ingenieur für Migration

Erstellen Sie eine Lambda-Funktion.

Gehen Sie wie folgt vor, um eine Lambda-Funktion zu erstellen, die die Dateierweiterung ändert und die Mainframe-Datei in den Ziel-Bucket kopiert:

  1. Melden Sie sich bei der AWS Management Console an und navigieren Sie zur AWS Lambda Konsole.

  2. Wählen Sie „Funktion erstellen“ und anschließend „Von Grund auf neu erstellen“.

  3. Geben Sie unter Funktionsname einen Namen für Ihre Funktion ein.

  4. Wählen Sie in der Runtime-Dropdown-Liste Python.3.X aus.

  5. Erweitern Sie Standardausführungsrolle ändern und wählen Sie dann Neue Rolle mit grundlegenden Lambda-Berechtigungen erstellen aus.

  6. Wählen Sie Funktion erstellen aus.

  7. Wählen Sie die Registerkarte Code und fügen Sie dann den S3CopyLambda.py Python-Code ein, der im Abschnitt Zusätzliche Informationen bereitgestellt wird. Der Python-Code wurde mithilfe von Amazon Q Developer in der integrierten Entwicklungsumgebung Microsoft Visual Studio (IDE) generiert.

  8. Bearbeiten Sie den destination_bucket_name auf den Namen des S3-Buckets, den Sie zuvor erstellt haben, und change destination_file_key auf den Namen der Mainframe-Datei.

  9. Stellen Sie die Lambda-Funktion bereit.

Ingenieur für Migration

Erstellen Sie einen Amazon S3 S3-Trigger, um die Lambda-Funktion aufzurufen.

Gehen Sie wie folgt vor, um einen Trigger zu konfigurieren, der die Lambda-Funktion aufruft:

  1. Öffnen Sie in der Lambda-Konsole die Seite Funktionen.

  2. Wählen Sie die Lambda-Funktion.

  3. Wählen Sie in der Funktionsübersicht die Option Trigger hinzufügen aus.

  4. Wählen Sie in der Dropdownliste Trigger-Konfiguration die Option S3 aus.

  5. Geben Sie im Feld Bucket den Namen Ihres Quell-Buckets ein.

  6. Wählen Sie in der Dropdownliste Ereignistyp die Option Alle Ereignisse zur Objekterstellung aus.

  7. Aktivieren Sie das Kontrollkästchen Ich bestätige, dass die Verwendung desselben S3-Buckets für Eingabe und Ausgabe nicht empfohlen wird, und wählen Sie dann Hinzufügen aus.

Weitere Informationen finden Sie unter Tutorial: Verwenden eines Amazon S3-Auslösers zum Aufrufen einer Lambda-Funktion.

Leiter der Migration

Geben Sie IAM Berechtigungen für die Lambda-Funktion ein.

IAMFür den Zugriff der Lambda-Funktion auf die S3-Buckets des Dateiübertragungsziels und des Quelldatensatzes sind Berechtigungen erforderlich. Aktualisieren Sie die Richtlinie, die mit der Lambda-Funktionsausführungsrolle verknüpft ist, indem Sie den Ziel-S3-Bucket für die Dateiübertragung s3:GetObject und s3:DeleteObject den s3:PutObject Zugriff auf den S3-Bucket des Quelldatensatzes zulassen und gewähren.

Weitere Informationen finden Sie im Abschnitt Erstellen einer Berechtigungsrichtlinie in Tutorial: Verwenden eines Amazon S3 S3-Triggers zum Aufrufen einer Lambda-Funktion.

Leiter der Migration
AufgabeBeschreibungErforderliche Fähigkeiten

Erstellen Sie eine Übertragungsaufgabe, um die Mainframe-Datei in den S3-Bucket zu kopieren.

Folgen Sie den Anweisungen in der Dokumentation, um eine Mainframe-Dateiübertragungsaufgabe zu erstellen.AWS Mainframe Modernization

Hinweis: Geben Sie die Quellcodepage-Kodierung auf IBM1 047 und die Zielcodepage-Kodierung auf -8 an. UTF

Ingenieur für Migration

Überprüfen Sie die Übertragungsaufgabe.

Folgen Sie den Anweisungen in der AWS Mainframe Modernization Dokumentation, um zu überprüfen, ob die Datenübertragung erfolgreich war. Vergewissern Sie sich, dass sich die Mainframe-Datei im Ziel-S3-Bucket für die Dateiübertragung befindet.

Leiter der Migration

Überprüfen Sie die Lambda-Kopierfunktion.

Stellen Sie sicher, dass die Lambda-Funktion initiiert wurde und dass die Datei mit der Erweiterung.csv in den S3-Bucket des Quelldatensatzes kopiert wurde.

Die mit der Lambda-Funktion erstellte .csv-Datei ist die Eingabedatendatei für Amazon. QuickSight Beispieldaten finden Sie in der Sample-data-member-healthcare-APG Datei im Abschnitt Anlagen.

Leiter der Migration
AufgabeBeschreibungErforderliche Fähigkeiten

Richten Sie Amazon ein QuickSight.

Folgen Sie den Anweisungen in der AWS Dokumentation QuickSight, um Amazon einzurichten.

Leiter der Migration

Erstellen Sie einen Datensatz für Amazon QuickSight.

Folgen Sie den Anweisungen in der AWS Dokumentation QuickSight, um einen Datensatz für Amazon zu erstellen. Die Eingabedatendatei ist die konvertierte Mainframe-Datei, die bei der Definition der Mainframe-Datenübertragungsaufgabe erstellt wurde.

Leiter der Migration
AufgabeBeschreibungErforderliche Fähigkeiten

Richten Sie Amazon Q in ein QuickSight.

Für diese Funktion ist die Enterprise Edition erforderlich. Gehen Sie wie folgt vor QuickSight, um Amazon Q in einzurichten:

  1. Um das Amazon Q-Add-on zu erhalten, folgen Sie den Anweisungen Schritt 1: Holen Sie sich das Q-Add-on in der AWS Dokumentation.

  2. Um die generativen BI-Funktionen in Amazon Q zu nutzen, aktualisieren Sie die Konten Ihrer Benutzer. Folgen Sie den Anweisungen in der AWS Dokumentation.

  3. Erstellen Sie ein Amazon Q-Thema, indem Sie den Datensatz verwenden, den Sie zuvor erstellt haben. Folgen Sie den Anweisungen in der AWS Dokumentation.

  4. Folgen Sie den Anweisungen in der Dokumentation, um die Metadaten des Themas so zu konfigurieren, dass sie für natürliche Sprachen geeignet sind.AWS

Leiter der Migration

Analysieren Sie Mainframe-Daten und erstellen Sie ein visuelles Dashboard.

Gehen Sie wie folgt vor QuickSight, um Ihre Daten in Amazon zu analysieren und zu visualisieren:

  1. Folgen Sie den Anweisungen in der AWS Dokumentation, um die Mainframe-Datenanalyse zu erstellen. Wählen Sie für den Datensatz den Datensatz aus, der im vorherigen Schritt erstellt wurde.

  2. Wählen Sie auf der Analyseseite Visual erstellen aus.

  3. Wählen Sie im Fenster „Thema für Analyse erstellen“ die Option Bestehendes Thema aktualisieren aus.

  4. Wählen Sie in der Dropdownliste Thema auswählen das Thema aus, das Sie zuvor erstellt haben.

  5. Wählen Sie Themenverknüpfung aus.

  6. Nachdem Sie das Thema verknüpft haben, wählen Sie Visual erstellen, um das Amazon Q-Fenster Build a Visual zu öffnen.

  7. Schreiben Sie in der Eingabeaufforderungsleiste Ihre Analysefragen. Die für dieses Muster verwendeten Beispielfragen sind die folgenden:

    • Verteilung der Mitglieder nach Regionen anzeigen

    • Verteilung der Mitglieder nach Alter anzeigen

    • Verteilung der Mitglieder nach Geschlecht anzeigen

    • Verteilung der Mitglieder nach Tariftyp anzeigen

    • Zeigt das Mitglied an, das die präventive Impfung nicht abgeschlossen hat

    Nachdem Sie Ihre Fragen eingegeben haben, wählen Sie Build. Amazon Q in QuickSight erstellt die Grafiken.

  8. Um die Grafiken zu Ihrem visuellen Dashboard hinzuzufügen, wählen Sie ADD TO. ANALYSIS

Wenn Sie fertig sind, können Sie Ihr Dashboard veröffentlichen, um es mit anderen in Ihrer Organisation zu teilen. Beispiele finden Sie unter Visuelles Mainframe-Dashboard im Abschnitt Zusätzliche Informationen.

Ingenieur für Migration
AufgabeBeschreibungErforderliche Fähigkeiten

Erstellen Sie eine Datenstory.

Erstellen Sie eine Datenstory, um die Erkenntnisse aus der vorherigen Analyse zu erläutern, und geben Sie eine Empfehlung zur Erhöhung der präventiven Impfungen für Mitglieder ab:

  1. Folgen Sie den Anweisungen in der AWS Dokumentation, um die Data Story zu erstellen.

  2. Verwenden Sie für den Data Story-Prompt Folgendes:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    Sie können auch Ihre eigene Aufforderung erstellen, um Datenstorys für andere Geschäftseinblicke zu generieren.

  3. Wählen Sie Visuals hinzufügen aus und fügen Sie die Grafiken hinzu, die für die Data Story relevant sind. Verwenden Sie für dieses Muster die Grafiken, die Sie zuvor erstellt haben.

  4. Wählen Sie Build aus.

  5. Ein Beispiel für die Ausgabe von Data Storys finden Sie unter Data Story-Ausgabe im Abschnitt Zusätzliche Informationen.

Ingenieur für Migration

Sehen Sie sich die generierte Datenstory an.

Folgen Sie den Anweisungen in der AWS Dokumentation, um die generierte Datenstory anzusehen.

Leitung der Migration

Bearbeiten Sie eine generierte Datenstory.

Folgen Sie den Anweisungen in der AWS Dokumentation, um die Formatierung, das Layout oder die visuelle Darstellung in einer Data Story zu ändern.

Leiter der Migration

Teilen Sie eine Datenstory.

Folgen Sie den Anweisungen in der AWS Dokumentation, um eine Data Story mit anderen zu teilen.

Ingenieur für Migration

Fehlerbehebung

ProblemLösung

Die Mainframe-Dateien oder Datensätze, die in die Suchkriterien für Datensätze für die Aufgabe Übertragung erstellen in AWS Mainframe Modernization Dateiübertragung mit eingegeben wurden, konnten nicht gefunden werden. BMC

  1. Überprüfen Sie zunächst die Verbindung, indem Sie in der Konsole „Übertragung mit“ die Option „Endpunkte für die AWS Mainframe Modernization Datenübertragung“ auswählen. BMC Wenn der letzte Heartbeat länger als zwei Minuten ist, wurde die Verbindung für die Dateiübertragung nicht hergestellt. Wenn die letzte Heartbeat-Zeit für den auf dem Mainframe ausgeführten Agenten weniger als 2 Minuten beträgt, ist die Verbindung zum Agenten erfolgreich. Fahren Sie mit Schritt 2 fort.

  2. Überprüfen Sie das AWS Secrets Manager Setup. Ein geheimer Schlüssel muss in Secrets Manager mit einem Schlüssel von userId (Großbuchstabe I) mit dem Wert der Benutzer-ID des Mainframes und einem Schlüssel password mit dem Wert des Mainframe-Kennworts konfiguriert werden. Bei den userId und password geheimen Schlüsseln wird zwischen Groß- und Kleinschreibung unterschieden und sie müssen unverändert eingegeben werden.

Zugehörige Ressourcen

Um Mainframe-Datentypen wie PACKED- DECIMAL (COMP-3) oder BINARY(COMPoder COMP -4) in einen von Amazon unterstützten Datentyp zu konvertieren QuickSight, sehen Sie sich die folgenden Muster an:

Zusätzliche Informationen

S3 .py CopyLambda

Der folgende Python-Code wurde mithilfe einer Aufforderung mit Amazon Q Developer in einem generiertIDE:

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

Visuelles Mainframe-Dashboard

Das folgende Datenbild wurde von Amazon Q QuickSight für die Analysefrage erstellt show member distribution by region.

Diagramm mit der Anzahl der Mitglieder für den Südwesten, Mittleren Westen, Nordosten und Südosten.

Das folgende Datenbild wurde von Amazon Q QuickSight für die Frage erstelltshow member distribution by Region who have not completed preventive immunization, in pie chart.

Pie chart showing preventive immunization completion by region: Southeast 40%, Southwest 33%, Midwest 27%.

Ausgabe von Data Story

Die folgenden Screenshots zeigen Abschnitte der Datenstory, die von Amazon Q QuickSight für die Aufforderung erstellt wurden. Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

In der Einleitung wird in der Datenstory empfohlen, die Region mit den meisten Mitgliedern auszuwählen, um die größtmögliche Wirkung der Impfmaßnahmen zu erzielen.

Einführungsseite für eine Datenstory, die sich auf die Abschlussquoten der Impfungen konzentriert.

Die Datenstory enthält eine Analyse der Mitgliederzahlen für die drei wichtigsten Regionen und nennt den Südwesten als die Region, in der der Schwerpunkt auf Impfmaßnahmen liegt.

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.

Hinweis: Die Regionen Südwesten und Nordosten haben jeweils acht Mitglieder. Im Südwesten gibt es jedoch mehr Mitglieder, die nicht vollständig geimpft sind, sodass er mehr Potenzial hat, von Initiativen zur Erhöhung der Impfraten zu profitieren.

Anlagen

Um auf zusätzliche Inhalte zuzugreifen, die mit diesem Dokument verknüpft sind, entpacken Sie die folgende Datei: attachment.zip