Requisitos de la función de Lambda preanotación y postanotación

Utilice esta sección para obtener información sobre la sintaxis de las solicitudes enviadas a las funciones de Lambda preanotación y postanotación, y la sintaxis de respuesta que Ground Truth necesita para ejecutar un flujo de trabajo de etiquetado personalizado.

Lambda de preanotación

Antes de enviar una tarea de etiquetado al trabajador, se invoca la función de Lambda preanotación.

Ground Truth envía a la función Lambda una solicitud JSON con formato -para proporcionar detalles sobre el trabajo de etiquetado y el objeto de datos. La siguiente tabla contiene los esquemas de la solicitud preanotación. A continuación, se describe cada parámetro.

La siguiente tabla incluye ejemplos de bloques de código de una solicitud preanotación. Cada parámetro de estas solicitudes de ejemplo se explica debajo de la tabla con pestañas.

A cambio, Ground Truth requiere una respuesta con el siguiente formato:

{
    "taskInput": <json object>,
    "isHumanAnnotationRequired": <boolean> # Optional
}

En el ejemplo anterior, <json object> debe contener todos los datos que necesita su plantilla de tarea de trabajador personalizado. Si está realizando una tarea de cuadro delimitador en la que las instrucciones son las mismas todo el tiempo, puede que solo sea el recurso HTTP (S) o Amazon S3 para su archivo de imagen. Si se trata de una tarea de análisis de opinión y diferentes objetos pueden tener diferentes opciones, es la referencia de objeto como una cadena y las opciones como una matriz de cadenas.

Si tiene una combinación de objetos en el manifiesto, con algunos objetos que requieren anotaciones humanas y otros que no los necesitan, puede incluir un valor isHumanAnnotationRequired en cada objeto de datos. Puede añadir lógica a su Lambda preanotación para determinar dinámicamente si un objeto requiere una anotación y establecer este valor booleano en consecuencia.

Ejemplos de funciones de Lambda preanotación

La siguiente función Lambda básica previa a la anotación accede al JSON objeto dataObject desde la solicitud inicial y lo devuelve en el parámetro. taskInput

import json

def lambda_handler(event, context):
    return {
        "taskInput":  event['dataObject']
    }

Suponiendo que el archivo de manifiesto de entrada utiliza "source-ref" para identificar objetos de datos, la plantilla de tareas de trabajador que se utiliza en el mismo trabajo de etiquetado que esta función de Lambda preanotación debe incluir un elemento Liquid como el siguiente para su ingerir dataObject.

{{ task.input.source-ref | grant_read_access }}

Si el archivo de manifiesto de entrada utilizó source para identificar el objeto de datos, la plantilla de tareas de trabajador puede ingerir dataObject con lo siguiente:

{{ task.input.source }}

El siguiente ejemplo de Lambda preanotación incluye lógica para identificar la clave utilizada en dataObject y apuntar a ese objeto de datos mediante taskObject en la instrucción de devolución de Lambda.

import json

def lambda_handler(event, context):

    # Event received
    print("Received event: " + json.dumps(event, indent=2))

    # Get source if specified
    source = event['dataObject']['source'] if "source" in event['dataObject'] else None

    # Get source-ref if specified
    source_ref = event['dataObject']['source-ref'] if "source-ref" in event['dataObject'] else None

    # if source field present, take that otherwise take source-ref
    task_object = source if source is not None else source_ref

    # Build response object
    output = {
        "taskInput": {
            "taskObject": task_object
        },
        "humanAnnotationRequired": "true"
    }

    print(output)
    # If neither source nor source-ref specified, mark the annotation failed
    if task_object is None:
        print(" Failed to pre-process {} !".format(event["labelingJobArn"]))
        output["humanAnnotationRequired"] = "false"

    return output

La función Lambda de postanotación

Cuando todos los trabajadores hayan anotado el objeto de datos o cuando se haya alcanzado TaskAvailabilityLifetimeInSeconds, lo que ocurra primero, Ground Truth envía esas anotaciones a su Lambda postanotación. Esta función Lambda se suele utilizar para Consolidación de anotaciones.

La siguiente tabla contiene los esquemas de la solicitud postanotación. En la siguiente lista con viñetas se describe cada uno de los parámetros.

{
    "version": "2018-10-16",
    "labelingJobArn": <string>,
    "labelCategories": [<string>],
    "labelAttributeName": <string>,
    "roleArn" : <string>,
    "payload": {
        "s3Uri": <string>
    }
 }

En el siguiente bloque de código se incluye un ejemplo de una solicitud postanotación. Cada parámetro de esta solicitud de ejemplo se explica debajo del bloque de código.

{
    "version": "2018-10-16",
    "labelingJobArn": "arn:aws:sagemaker:us-west-2:111122223333:labeling-job/labeling-job-name",
    "labelCategories": ["Ex Category1","Ex Category2", "Ex Category3"],
    "labelAttributeName": "labeling-job-attribute-name",
    "roleArn" : "arn:aws:iam::111122223333:role/role-name",
    "payload": {
        "s3Uri": "s3://amzn-s3-demo-bucket/annotations.json"
    }
 }

El siguiente bloque de código contiene el esquema de carga. Este es el archivo que indica el s3Uri parámetro en el objeto de solicitud Lambda posterior a la anotación. payload JSON Por ejemplo, si el bloque de código anterior es la solicitud Lambda postanotación, el siguiente archivo de anotaciones se encuentra en s3://amzn-s3-demo-bucket/annotations.json.

En la siguiente lista con viñetas se describe cada uno de los parámetros.

[
    {
        "datasetObjectId": <string>,
        "dataObject": {
            "s3Uri": <string>,
            "content": <string>
        },
        "annotations": [{
            "workerId": <string>,
            "annotationData": {
                "content": <string>,
                "s3Uri": <string>
            }
       }]
    }
]

La siguiente tabla contiene ejemplos del contenido que puede encontrar en la carga para distintos tipos de anotaciones.

La función de Lambda postanotación puede contener una lógica similar a la siguiente para recorrer y acceder a todas las anotaciones contenidas en la solicitud. Para ver un ejemplo completo, consulta annotation_consolidation_lambda.py en el repositorio aws-sagemaker-ground-truth-recipe GitHub . En este GitHub ejemplo, debe añadir su propia lógica de consolidación de anotaciones.

for i in range(len(annotations)):
    worker_id = annotations[i]["workerId"]
    annotation_content = annotations[i]['annotationData'].get('content')
    annotation_s3_uri = annotations[i]['annotationData'].get('s3uri')
    annotation = annotation_content if annotation_s3_uri is None else s3_client.get_object_from_s3(
        annotation_s3_uri)
    annotation_from_single_worker = json.loads(annotation)

    print("{} Received Annotations from worker [{}] is [{}]"
            .format(log_prefix, worker_id, annotation_from_single_worker))

A cambio, Ground Truth requiere una respuesta con el siguiente formato:

[
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    },
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    }
    .
    .
    .
]

Cuando devuelve anotaciones en content, se obtiene una entrada en el manifiesto de salida de su trabajo como la siguiente:

{  "source-ref"/"source" : "<s3uri or content>", 
   "<labelAttributeName>": {
        # ... label content from you
    },   
   "<labelAttributeName>-metadata": { # This will be added by Ground Truth
        "job_name": <labelingJobName>,
        "type": "groundTruth/custom",
        "human-annotated": "yes", 
        "creation_date": <date> # Timestamp of when received from Post-labeling Lambda
    }
}

Debido a la naturaleza potencialmente compleja de una plantilla personalizada y de los datos que recopila, Ground Truth no ofrece un procesamiento más amplio de los datos.