Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen Sie einen Datensatz aus Ihren Feature-Gruppen

Nachdem eine Feature-Store-Feature-Gruppe in einem Offline-Speicher erstellt wurde, können Sie wählen, ob Sie die folgenden Methoden verwenden möchten, um Ihre Daten abzurufen:

Nachdem Sie Feature-Gruppen für Ihren Offline-Store erstellt und sie mit Daten gefüllt haben, können Sie ein Dataset erstellen, indem Sie Abfragen ausführen oder die verwenden, SDK um im Offline-Store gespeicherte Daten aus verschiedenen Feature-Gruppen zu verbinden. Sie können die Feature-Gruppen auch zu einem einzelnen Pandas-Datenframe verbinden. Sie können Amazon Athena verwenden, um SQL Abfragen zu schreiben und auszuführen.

Verwenden von Amazon SageMaker Python SDK zum Abrufen Ihrer Daten aus Ihren Feature-Gruppen

Sie können den Feature Store verwendenAPIs, um einen Datensatz aus Ihren Feature-Gruppen zu erstellen. Datenwissenschaftler erstellen ML-Datensätze für das Training, indem sie ML-Feature-Daten aus einer oder mehreren Feature-Gruppen im Offline-Speicher abrufen. Verwenden Sie die create_dataset()-Funktion, um den Datensatz zu erstellen. Sie können den verwendenSDK, um Folgendes zu tun:

Standardmäßig enthält Feature Store keine Datensätze, die Sie aus dem Datensatz gelöscht haben. Es enthält auch keine doppelten Datensätze. Ein doppelter Datensatz hat die Datensatz-ID und den Zeitstempelwert in der Spalte Ereigniszeit.

Bevor Sie den verwendenSDK, um einen Datensatz zu erstellen, müssen Sie eine SageMaker Sitzung starten. Verwenden Sie den folgenden Code, um die Sitzung zu starten.

import boto3
from sagemaker.session import Session
from sagemaker.feature_store.feature_store import FeatureStore

region = boto3.Session().region_name
boto_session = boto3.Session(region_name=region)

sagemaker_client = boto_session.client(
    service_name="sagemaker", region_name=region
 )
featurestore_runtime = boto_session.client(
    service_name="sagemaker-featurestore-runtime",region_name=region
)

feature_store_session = Session(
    boto_session=boto_session,
    sagemaker_client=sagemaker_client,
    sagemaker_featurestore_runtime_client=featurestore_runtime,
)

feature_store = FeatureStore(feature_store_session) 

Der folgende Code zeigt ein Beispiel für die Erstellung eines Datensatzes aus mehreren Feature-Gruppen. Der folgende Codeausschnitt verwendet das Beispiel „Feature-Gruppen“.base_fg_name", "first_fg_name„, und“second_fg_name„, die in Ihrem Feature Store möglicherweise nicht vorhanden sind oder dasselbe Schema haben. Es wird empfohlen, diese Feature-Gruppen durch Feature-Gruppen zu ersetzen, die in Ihrem Feature Store vorhanden sind. Informationen zum Erstellen einer benutzerdefinierten DB-Optionsgruppe finden Sie unter Schritt 3: Erstellen von Feature-Gruppen.

from sagemaker.feature_store.feature_group import FeatureGroup

s3_bucket_name = "offline-store-sdk-test" 

base_fg_name = "base_fg_name"
base_fg = FeatureGroup(name=base_fg_name, sagemaker_session=feature_store_session)

first_fg_name = "first_fg_name"
first_fg = FeatureGroup(name=first_fg_name, sagemaker_session=feature_store_session)

second_fg_name = "second_fg_name"
second_fg = FeatureGroup(name=second_fg_name, sagemaker_session=feature_store_session)

feature_store = FeatureStore(feature_store_session)
builder = feature_store.create_dataset(
    base=base_fg,
    output_path=f"s3://{amzn-s3-demo-bucket1}",
).with_feature_group(first_fg
).with_feature_group(second_fg, "base_id", ["base_feature_1"])         
        

Der folgende Code zeigt ein Beispiel für die Erstellung eines Datensatzes aus mehreren Feature-Gruppen und einem Pandas-Datenrahmen.

base_data = [[1, 187512346.0, 123, 128],
             [2, 187512347.0, 168, 258],
             [3, 187512348.0, 125, 184],
             [1, 187512349.0, 195, 206]]
base_data_df = pd.DataFrame(
    base_data, 
    columns=["base_id", "base_time", "base_feature_1", "base_feature_2"]
)

builder = feature_store.create_dataset(
    base=base_data_df, 
    event_time_identifier_feature_name='base_time', 
    record_identifier_feature_name='base_id',
    output_path=f"s3://{s3_bucket_name}"
).with_feature_group(first_fg
).with_feature_group(second_fg, "base_id", ["base_feature_1"])            
        

Der Feature Store APIs stellt Ihnen Hilfsmethoden für die create_dataset Funktion zur Verfügung. Sie können den für Folgendes verwenden:

Die Basis-Feature-Gruppe ist ein wichtiges Konzept für Verknüpfungen. Die Basis-Feature-Gruppe ist die Feature-Gruppe, mit der andere Feature-Gruppen oder der Pandas-Datenrahmen verknüpft sind. Für jeden Datensatz

Sie können der create_dataset Funktion die folgenden optionalen Methoden hinzufügen, um zu konfigurieren, wie Sie den Datensatz erstellen:

Nachdem Sie den Datensatz konfiguriert haben, können Sie die Ausgabe mithilfe einer der folgenden Methoden angeben:

Sie können Daten abrufen, die nach einem bestimmten Zeitraum stammen. Der folgende Code ruft Daten nach einem Zeitstempel ab.

fg1 = FeatureGroup("example-feature-group-1")
feature_store.create_dataset(
    base=fg1, 
    output_path="s3://example-S3-path"
).with_number_of_records_from_query_results(5).to_csv_file()  

Sie können auch Daten aus einem bestimmten Zeitraum abrufen. Sie können den folgenden Code verwenden, um Daten für einen bestimmten Zeitraum abzurufen:

fg1 = FeatureGroup("fg1")
feature_store.create_dataset(
    base=fg1, 
    output_path="example-S3-path"
).with_event_time_range(
    datetime(2021, 11, 28, 23, 55, 59, 342380), 
    datetime(2020, 11, 28, 23, 55, 59, 342380)
).to_csv_file() #example time range specified in datetime functions

Möglicherweise möchten Sie mehrere Feature-Gruppen zu einem Pandas-Datenframe verbinden, wobei die Ereigniszeitwerte der Feature-Gruppe nicht später als die Ereigniszeit des Datenrahmens auftreten. Verwenden Sie den folgenden Code als Vorlage, um die Verknüpfung durchzuführen.

fg1 = FeatureGroup("fg1")
fg2 = FeatureGroup("fg2")
events = [['2020-02-01T08:30:00Z', 6, 1],
          ['2020-02-02T10:15:30Z', 5, 2],
          ['2020-02-03T13:20:59Z', 1, 3],
          ['2021-01-01T00:00:00Z', 1, 4]]
df = pd.DataFrame(events, columns=['event_time', 'customer-id', 'title-id']) 
feature_store.create_dataset(
    base=df, 
    event_time_identifier_feature_name='event_time', 
    record_identifier_feature_name='customer_id',
    output_path="s3://example-S3-path"
).with_feature_group(fg1, "customer-id"
).with_feature_group(fg2, "title-id"
).point_in_time_accurate_join(
).to_csv_file()

Sie können auch Daten abrufen, die nach einem bestimmten Zeitraum stammen. Der folgende Code ruft Daten nach der durch den Zeitstempel in der as_of Methode angegebenen Zeit ab.

fg1 = FeatureGroup("fg1")
feature_store.create_dataset(
    base=fg1, 
    output_path="s3://example-s3-file-path"
).as_of(datetime(2021, 11, 28, 23, 55, 59, 342380)
).to_csv_file() # example datetime values

Beispiele für Amazon-Athena-Abfragen

Sie können Abfragen in Amazon Athena schreiben, um einen Datensatz aus Ihren Feature-Gruppen zu erstellen. Sie können auch Abfragen schreiben, die einen Datensatz aus Feature-Gruppen und einem einzelnen Pandas-Datenframe erstellen.

Interaktive Erkundung

Diese Abfrage wählt die ersten 1000 Datensätze aus. 

SELECT *
FROM <FeatureGroup.DataCatalogConfig.DatabaseName>.<FeatureGroup.DataCatalogConfig.TableName>
LIMIT 1000

Neuester Snapshot ohne Duplikate

Diese Abfrage wählt die neuesten nicht doppelten Datensätze aus.

SELECT *
FROM
    (SELECT *,
         row_number()
        OVER (PARTITION BY <RecordIdentiferFeatureName>
    ORDER BY  <EventTimeFeatureName> desc, Api_Invocation_Time DESC, write_time DESC) AS row_num
    FROM <FeatureGroup.DataCatalogConfig.DatabaseName>.<FeatureGroup.DataCatalogConfig.TableName>)
WHERE row_num = 1;

Neuester Snapshot ohne Duplikate und gelöschte Datensätze im Offline-Speicher

Diese Abfrage filtert alle gelöschten Datensätze heraus und wählt nicht doppelte Datensätze aus dem Offline-Speicher aus. 

SELECT *
FROM
    (SELECT *,
         row_number()
        OVER (PARTITION BY <RecordIdentiferFeatureName>
    ORDER BY  <EventTimeFeatureName> desc, Api_Invocation_Time DESC, write_time DESC) AS row_num
    FROM <FeatureGroup.DataCatalogConfig.DatabaseName>.<FeatureGroup.DataCatalogConfig.TableName>)
WHERE row_num = 1 and 
NOT is_deleted;

Zeitreise ohne Duplikate und gelöschte Datensätze im Offline-Speicher

Diese Abfrage filtert alle gelöschten Datensätze heraus und wählt nicht doppelte Datensätze aus einem bestimmten Zeitpunkt aus.

SELECT *
FROM
    (SELECT *,
         row_number()
        OVER (PARTITION BY <RecordIdentiferFeatureName>
    ORDER BY  <EventTimeFeatureName> desc, Api_Invocation_Time DESC, write_time DESC) AS row_num
    FROM <FeatureGroup.DataCatalogConfig.DatabaseName>.<FeatureGroup.DataCatalogConfig.TableName>
    where <EventTimeFeatureName> <= timestamp '<timestamp>')
    -- replace timestamp '<timestamp>' with just <timestamp>  if EventTimeFeature is of type fractional
WHERE row_num = 1 and
NOT is_deleted