Anforderungen für Lambda-Funktionen zur Vorverarbeitung und zur Nachbearbeitung

In diesem Abschnitt erfahren Sie mehr über die Syntax der Anfragen, die an Lambda-Funktionen vor und nach der Anmerkung gesendet werden, sowie über die Antwortsyntax, die Ground Truth benötigt, um einen benutzerdefinierten Labeling-Workflow auszuführen.

Lambda zur Vorverarbeitung

Bevor eine Labeling-Aufgabe an den Worker gesendet wird, wird Ihre Lambda-Funktion zur Vorverarbeitung aufgerufen.

Ground Truth sendet Ihrer Lambda-Funktion eine JSON -formatierte Anfrage, um Details zum Labeling-Job und zum Datenobjekt bereitzustellen. Die folgende Tabelle enthält die Anforderungsschemas vor der Anmerkung. Nachfolgend ist jeder Parameter beschrieben.

Die folgende Tabelle enthält Codeblock-Beispiele für eine Anforderung zur Vorverarbeitung. Jeder Parameter in diesen Beispielanforderungen wird unter der Tabelle mit Registern erklärt.

Im Gegenzug benötigt Ground Truth eine Antwort, die wie folgt formatiert ist:

{
    "taskInput": <json object>,
    "isHumanAnnotationRequired": <boolean> # Optional
}

Im vorherigen Beispiel musste <json object> alle Daten enthalten, die Ihre benutzerdefinierte Worker-Aufgabenvorlage benötigt. Wenn Sie eine Bounding-Box-Aufgabe ausführen, bei der die Anweisungen immer gleich bleiben, handelt es sich möglicherweise nur um die HTTP (S) - oder Amazon S3 S3-Ressource für Ihre Bilddatei. Wenn es eine Stimmungsanalyseaufgabe ist und verschiedene Objekte möglicherweise unterschiedliche Auswahlmöglichkeiten bieten, ist es die Objektreferenz als Zeichenfolge und die Auswahl als ein Array von Zeichenfolgen.

Wenn Sie über eine Mischung von Objekten in Ihrem Manifest verfügen, von denen manche menschliche Anmerkungen erfordern und andere nicht, können Sie jedem Datenobjekt einen isHumanAnnotationRequired-Wert hinzufügen. Sie können Ihrem Lambda zu Vorverarbeitung Logik hinzufügen, um dynamisch zu bestimmen, ob ein Objekt eine Anmerkung benötigt, und diesen booleschen Wert entsprechend festlegen.

Beispiele für Lambda-Funktionen zur Vorverarbeitung

Die folgende grundlegende Lambda-Funktion vor der Anmerkung greift von der ersten Anfrage dataObject aus auf das JSON Objekt zu und gibt es im Parameter zurück. taskInput

import json

def lambda_handler(event, context):
    return {
        "taskInput":  event['dataObject']
    }

Vorausgesetzt, die Eingabemanifestdatei verwendet "source-ref" zur Identifizierung von Datenobjekten, muss die Worker-Aufgabenvorlage, die in demselben Kennzeichnungsauftrag wie dieses Lambda zur Vorverarbeitung verwendet wird, ein Liquid-Element wie das folgende enthalten, um dataObject aufnehmen zu können:

{{ task.input.source-ref | grant_read_access }}

Wenn die Eingabemanifestdatei source zur Identifizierung des Datenobjekts verwendet hat, kann die Worker-Aufgabenvorlage dataObject aufnehmen mit Folgendem aufnehmen:

{{ task.input.source }}

Das folgende Lambda-Beispiel zur Vorverarbeitung enthält Logik zur Identifizierung des in dataObject verwendeten Schlüssels und zum Verweisen auf dieses Datenobjekt, das taskObject in der Rückgabenweisung von Lambda verwendet.

import json

def lambda_handler(event, context):

    # Event received
    print("Received event: " + json.dumps(event, indent=2))

    # Get source if specified
    source = event['dataObject']['source'] if "source" in event['dataObject'] else None

    # Get source-ref if specified
    source_ref = event['dataObject']['source-ref'] if "source-ref" in event['dataObject'] else None

    # if source field present, take that otherwise take source-ref
    task_object = source if source is not None else source_ref

    # Build response object
    output = {
        "taskInput": {
            "taskObject": task_object
        },
        "humanAnnotationRequired": "true"
    }

    print(output)
    # If neither source nor source-ref specified, mark the annotation failed
    if task_object is None:
        print(" Failed to pre-process {} !".format(event["labelingJobArn"]))
        output["humanAnnotationRequired"] = "false"

    return output

Lambda zur Nachbearbeitung

Sobald alle Worker das Datenobjekt mit Anmerkungen versehen haben oder wenn TaskAvailabilityLifetimeInSeconds erreicht wurde, je nachdem, welcher Fall zuerst eintritt, sendet Ground Truth diese Anmerkungen an Ihr Lambda zur Nachbearbeitung. Dieses Lambda wird normalerweise für Konsolidieren von Anmerkungen verwendet.

Der folgende Codeblock enthält das Anforderungsschema zur Nachbearbeitung. Jeder Parameter ist in der folgenden Aufzählungsliste beschrieben.

{
    "version": "2018-10-16",
    "labelingJobArn": <string>,
    "labelCategories": [<string>],
    "labelAttributeName": <string>,
    "roleArn" : <string>,
    "payload": {
        "s3Uri": <string>
    }
 }

Der folgende Codeblock enthält ein Beispiel für eine Anforderung zur Nachbearbeitung. Jeder Parameter in dieser Beispielanforderung wird unter dem Codeblock erklärt.

{
    "version": "2018-10-16",
    "labelingJobArn": "arn:aws:sagemaker:us-west-2:111122223333:labeling-job/labeling-job-name",
    "labelCategories": ["Ex Category1","Ex Category2", "Ex Category3"],
    "labelAttributeName": "labeling-job-attribute-name",
    "roleArn" : "arn:aws:iam::111122223333:role/role-name",
    "payload": {
        "s3Uri": "s3://amzn-s3-demo-bucket/annotations.json"
    }
 }

Der folgende Codeblock enthält das Nutzlastschema. Dies ist die Datei, die durch den s3Uri Parameter im payload JSON Lambda-Anforderungsobjekt nach der Anmerkung angegeben wird. Wenn der vorherige Codeblock beispielsweise die Lambda-Anforderung zur Nachbearbeitung ist, befindet sich die folgende Annotationsdatei unter s3://amzn-s3-demo-bucket/annotations.json.

Jeder Parameter ist in der folgenden Aufzählungsliste beschrieben.

[
    {
        "datasetObjectId": <string>,
        "dataObject": {
            "s3Uri": <string>,
            "content": <string>
        },
        "annotations": [{
            "workerId": <string>,
            "annotationData": {
                "content": <string>,
                "s3Uri": <string>
            }
       }]
    }
]

Die folgende Tabelle enthält Beispiele für den Inhalt, den Sie in der Nutzlast für verschiedene Arten von Anmerkungen finden können.

Ihre Lambda-Funktion zur Nachbereitung kann eine Logik ähnlich der folgenden enthalten, um alle in der Anforderung enthaltenen Anmerkungen zu durchlaufen und darauf zuzugreifen. Ein vollständiges Beispiel finden Sie unter annotation_consolidation_lambda.py im GitHub Repository aws-sagemaker-ground-truth-recipe. In diesem GitHub Beispiel müssen Sie Ihre eigene Logik zur Konsolidierung von Anmerkungen hinzufügen.

for i in range(len(annotations)):
    worker_id = annotations[i]["workerId"]
    annotation_content = annotations[i]['annotationData'].get('content')
    annotation_s3_uri = annotations[i]['annotationData'].get('s3uri')
    annotation = annotation_content if annotation_s3_uri is None else s3_client.get_object_from_s3(
        annotation_s3_uri)
    annotation_from_single_worker = json.loads(annotation)

    print("{} Received Annotations from worker [{}] is [{}]"
            .format(log_prefix, worker_id, annotation_from_single_worker))

Im Gegenzug benötigt Ground Truth eine Antwort, die wie folgt formatiert ist:

[
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    },
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    }
    .
    .
    .
]

Wenn Sie Anmerkungen in content zurückgeben, führt dies zu einem Eintrag im Ausgabemanifest Ihres Auftrags, der wie folgt aussieht:

{  "source-ref"/"source" : "<s3uri or content>", 
   "<labelAttributeName>": {
        # ... label content from you
    },   
   "<labelAttributeName>-metadata": { # This will be added by Ground Truth
        "job_name": <labelingJobName>,
        "type": "groundTruth/custom",
        "human-annotated": "yes", 
        "creation_date": <date> # Timestamp of when received from Post-labeling Lambda
    }
}

Aufgrund der potenziell komplexen Natur einer benutzerdefinierten Vorlage und der Daten, die sie sammelt, bietet Ground Truth keine weitere Verarbeitung der Daten oder Einblicke in diese.