Amazon Neptune mit Grafiknotizbüchern verwenden

Um mit Neptun-Graphen zu arbeiten, können Sie das Neptune Graph Notebook verwenden oder mithilfe einer Vorlage eine neue Neptun-Datenbank erstellen. AWS CloudFormation Sie können auch

Ganz gleich, ob Sie mit Diagrammen noch nicht vertraut sind und lernen und experimentieren möchten, oder ob Sie Erfahrung haben und Ihre Abfragen verfeinern möchten, die Neptune Workbench bietet eine interaktive Entwicklungsumgebung (IDE), mit der Sie Ihre Produktivität beim Erstellen von Diagrammanwendungen steigern können. Die Workbench bietet eine benutzerfreundliche Oberfläche für die Interaktion mit Ihrer Neptune-Datenbank, das Schreiben von Abfragen und die Visualisierung Ihrer Daten.

Indem Sie die AWS CloudFormation Vorlage für die Einrichtung Ihrer Neptune-Datenbank und die Workbench für die Entwicklung Ihrer Diagrammanwendungen verwenden, können Sie schnell und effizient mit Neptune beginnen, ohne dass zusätzliche Tools erforderlich sind. Auf diese Weise können Sie sich auf die Erstellung Ihrer Anwendungen konzentrieren, anstatt die zugrunde liegende Infrastruktur einzurichten.

Neptune stellt Jupyter und JupyterLabNotebooks im Open-Source-Projekt Neptune Graph Notebook auf und in der Neptune Workbench zur Verfügung. GitHub Diese Notebooks bieten Tutorials mit Beispielanwendungen und Codefragmente in einer interaktiven Codierungsumgebung, in der Sie mehr über Graphtechnologie und Neptune erfahren können. Sie können sie verwenden, um das Einrichten, Konfigurieren, Auffüllen und Abfragen von Graphen mithilfe verschiedener Abfragesprachen, verschiedener Datensätze und sogar verschiedener Datenbanken im Backend durchzugehen.

Sie können diese Notebooks auf verschiedene Arten hosten:

Verwenden der Neptune-Workbench zum Hosten von Neptune-Notebooks

Neptune bietet die Instance-Typen T3 und T4g, mit denen Sie für weniger als 0,10 USD pro Stunde beginnen können. Workbench-Ressourcen werden Ihnen über Amazon separat von Ihrer SageMaker Neptune-Abrechnung in Rechnung gestellt. Weitere Informationen finden Sie auf der Seite mit Neptune-Preisen. Jupyter und JupyterLab Notebooks, die auf der Neptune Workbench erstellt wurden, verwenden alle eine Amazon Linux 2- und 3-Umgebung. JupyterLab Weitere Informationen zur JupyterLab Notebookunterstützung finden Sie in der SageMakerAmazon-Dokumentation.

Sie können einen Jupyter oder ein JupyterLab Notizbuch mit der Neptune-Workbench auf zwei Arten erstellen: AWS Management Console

Die Konsole kann eine Rolle AWS Identity and Access Management (IAM) für Ihre Notizbücher erstellen, oder Sie können selbst eine Rolle erstellen. Die Richtlinie für diese Rolle sollte Folgendes umfassen:

{If you do choose to re-use
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::aws-neptune-notebook",
        "arn:aws:s3:::aws-neptune-notebook/*"
        "arn:aws:s3:::aws-neptune-notebook-(AWS region)",
        "arn:aws:s3:::aws-neptune-notebook-(AWS region)/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": "neptune-db:*",
      "Resource": [
        "arn:aws:neptune-db:(AWS region):(AWS account ID):(Neptune resource ID)/*"
      ]
    }
  ]
}

Beachten Sie, dass die zweite Anweisung in der obigen Richtlinie eine oder mehrere Neptune-Cluster-Ressourcen auflistet. IDs

Außerdem sollte die Rolle die folgende Vertrauensstellung aufbauen:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Auch hier kann es 5 bis 10 Minuten dauern, bis alles einsatzbereit ist.

Sie können Ihr neues Notebook so konfigurieren, dass es mit Neptune ML funktioniert, wie unter Manuelles Konfigurieren eines Neptune-Notebooks für Neptune ML erläutert.

Verwenden von Python, um ein generisches SageMaker Notizbuch mit Neptune zu verbinden

Das Anschließen eines Notebooks an Neptune ist einfach, wenn Sie Neptune Magics installiert haben. Es ist jedoch auch möglich, ein SageMaker Notebook mit Python mit Neptune zu verbinden, auch wenn Sie kein Neptune-Notebook verwenden.

connection = DriverRemoteConnection(endpoint,'g',
                 transport_factory=lambda:AiohttpTransport(call_from_event_loop=True))

connection = DriverRemoteConnection(endpoint,'g')

CloudWatch Logs auf Neptune Notebooks aktivieren

CloudWatch Logs sind jetzt standardmäßig für Neptune Notebooks aktiviert. Wenn Sie ein älteres Notizbuch haben, das keine CloudWatch Protokolle erzeugt, gehen Sie wie folgt vor, um sie manuell zu aktivieren:

Wenn ein Notebook nicht gestartet werden kann, erscheint auf der Seite mit den Notebook-Details auf der SageMaker Konsole eine Meldung, dass der Start der Notebook-Instanz mehr als 5 Minuten gedauert hat. CloudWatch Protokolle, die für dieses Problem relevant sind, finden Sie unter diesem Namen:

(your-notebook-name)/LifecycleConfigOnStart

Einrichten von Graph-Notebooks auf Ihrem lokalen Computer

Das Graph-Notebook-Projekt enthält Anweisungen zum Einrichten von Neptune-Notebooks auf Ihrem lokalen Computer:

Sie können Ihre lokalen Notebooks entweder mit einem Neptune-DB-Cluster oder mit einer lokalen oder Remote-Instance einer Open-Source-Graphdatenbank verbinden.

Verwenden von Neptune-Notebooks mit Neptune-Clustern

Wenn Sie eine Verbindung zu einem Neptune-Cluster am Backend herstellen, möchten Sie die Notebooks möglicherweise in Amazon ausführen. SageMaker Die Verbindung zu Neptune von SageMaker kann bequemer sein als von einer lokalen Installation der Notebooks aus, und so können Sie einfacher mit Neptune ML arbeiten.

Anweisungen zum Einrichten von Notizbüchern in SageMaker finden Sie unter Graph-Notebook mit Amazon starten. SageMaker

Anweisungen zum Einrichten und Konfigurieren von Neptune selbst finden Sie unter Amazon Neptune einrichten.

Sie können auch eine lokale Installation der Neptune-Notebooks mit einem Neptune-DB-Cluster verbinden. Dies kann etwas komplizierter sein, da Amazon Neptune DB-Cluster nur in einer Amazon Virtual Private Cloud (VPC) erstellt werden können, die konstruktionsbedingt von der Außenwelt isoliert ist. Es gibt eine Reihe von Möglichkeiten, VPC von außen eine Verbindung herzustellen. Eine Möglichkeit besteht darin, einen Load Balancer zu verwenden. Eine andere Möglichkeit ist die Verwendung von VPC Peering (siehe Amazon Virtual Private Cloud Peering Guide).

Für die meisten Benutzer ist es jedoch am bequemsten, eine Verbindung herzustellen, um einen EC2 Amazon-Proxy-Server innerhalb des einzurichten, VPC und dann mithilfe von SSHTunneling (auch Portweiterleitung genannt) eine Verbindung zu diesem herzustellen. Anweisungen zur Einrichtung finden Sie unter Graph-Notebook lokal mit Amazon Neptune verbinden im additional-databases/neptune Ordner des GitHub Graph-Notebook-Projekts.

Verwendung von Neptune-Notebooks mit Open-Source-Graphdatenbanken

Um kostenlos mit der Graphtechnologie zu beginnen, können Sie auch Neptune-Notebooks mit verschiedenen Open-Source-Datenbanken im Backend verwenden. Beispiele hierfür sind der TinkerPop Gremlin-Server und die Blazegraph-Datenbank.

Gehen Sie folgendermaßen vor, um Gremlin Server als Back-End-Datenbank zu verwenden:

Gehen Sie wie folgt vor, um eine lokale Blazegraph-Instanz als Backend-Datenbank zu verwenden:

Sobald Sie eine lokale Blazegraph-Instanz ausgeführt haben, können Sie sie als Backend-Datenbank für Ihre graphbasierten Daten und Abfragen in Ihre Anwendung integrieren. In der Dokumentation und im Beispielcode im Graph-Notebook-Repository erfahren Sie, wie Sie Ihre Anwendung mit der Blazegraph-Instanz verbinden.

Migrieren Sie Ihre Neptune-Notizbücher von Jupyter auf 3 JupyterLab

Neptune-Notebooks, die vor dem 21. Dezember 2022 erstellt wurden, verwenden die Amazon-Linux-1-Umgebung. Sie können ältere Jupyter-Notebooks, die vor diesem Datum erstellt wurden, in die neue Amazon Linux 2-Umgebung mit JupyterLab 3 migrieren, indem Sie die in diesem AWS Blogbeitrag beschriebenen Schritte ausführen: Migrieren Sie Ihre Arbeit mit Amazon Linux 2 auf eine SageMaker Amazon-Notebook-Instance.

Darüber hinaus gibt es noch einige weitere Schritte, die speziell für die Migration von Neptune-Notebooks in die neue Umgebung gelten:

Neptune-spezifische Voraussetzungen

Fügen Sie in der IAM Rolle des Quell-Neptune-Notizbuches alle folgenden Berechtigungen hinzu:

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:ListBucket",
    "s3:CreateBucket",
    "s3:PutObject"
  ],
  "Resource": [
    "arn:aws:s3:::(your ebs backup bucket name)",
    "arn:aws:s3:::(your ebs backup bucket name)/*"
  ]
},
{
  "Effect": "Allow",
  "Action": [
    "sagemaker:ListTags"
  ],
  "Resource": [
    "*"
  ]
}

Stellen Sie sicher, dass Sie den richtigen Bucket ARN für den S3-Bucket angeben, den Sie für das Backup verwenden möchten.

Neptune-spezifische Lebenszyklus-Konfiguration

Bei der Erstellung des zweiten Lifecycle-Konfigurationsskripts für die Wiederherstellung des Backups (von on-create.sh), wie im Blog-Beitrag beschrieben, muss der Lifecycle-Name dem aws-neptune-*-Format entsprechen, wie aws-neptune-sync-from-s3. Dadurch wird sichergestellt, dass das bei der Notebook-Erstellung in der Neptune-Konsole ausgewählt werden LCC kann.

Neptune-spezifische Synchronisation von einem Snapshot zu einer neuen Instance

In den Schritten, die im Blog-Beitrag zur Synchronisation von einem Snapshot zu einer neuen Instance beschrieben werden, sind hier die für Neptune spezifischen Änderungen aufgeführt:

Für Neptune spezifische Schritte nach der Erstellung des neuen Notebooks

Mit den hier beschriebenen Änderungen an den im Blogbeitrag beschriebenen Schritten sollten Ihre Graph-Notebooks jetzt auf eine neue Neptune-Notebook-Instance migriert werden, die die Amazon Linux 2- und JupyterLab 3-Umgebung verwendet. Sie werden für den Zugriff und die Verwaltung auf der Neptun-Seite im angezeigt AWS Management Console, und Sie können Ihre Arbeit jetzt dort fortsetzen, wo Sie aufgehört haben, indem Sie entweder Jupyter öffnen oder Öffnen auswählen. JupyterLab