Menemukan anomali dengan suatu fungsi AWS Lambda

Masuk ke AWS Management Console dan buka AWS Lambda konsol di https://console.aws.amazon.com/lambda/.

Pilih Buat fungsi. Untuk informasi selengkapnya, lihat Membuat Fungsi Lambda dengan Konsol.

Pilih opsi berikut.

Pilih Buat fungsi untuk membuat AWS Lambda fungsi.

Pada halaman fungsi, Pilih tab Konfigurasi.

Pada panel variabel Lingkungan, pilih Edit.

Tambahkan variabel lingkungan berikut. Untuk setiap variabel pilih Tambahkan variabel lingkungan dan kemudian masukkan kunci variabel dan nilai.

Pilih Simpan untuk menyimpan variabel lingkungan.

Pada panel Izin, Di bawah nama Peran, pilih peran eksekusi untuk membuka peran di IAM konsol.

Di tab Izin, pilih Tambahkan izin, lalu Buat kebijakan sebaris.

Pilih JSONdan ganti kebijakan yang ada dengan kebijakan berikut.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "lookoutvision:DetectAnomalies",
            "Resource": "*",
            "Effect": "Allow",
            "Sid": "DetectAnomaliesAccess"
        }
    ]
}

Pilih Berikutnya.

Di Detail kebijakan, masukkan nama untuk kebijakan, seperti DetectAnomalies-access.

Pilih Buat kebijakan.

Jika Anda menyimpan gambar untuk dianalisis dalam bucket Amazon S3, ulangi langkah 10—14.

1. Untuk langkah 11, gunakan kebijakan berikut. Ganti bucket/folder path dengan bucket Amazon S3 dan jalur folder ke gambar yang ingin Anda analisis.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "S3Access",
               "Effect": "Allow",
               "Action": "s3:GetObject",
               "Resource": "arn:aws:s3:::bucket/folder path/*"
           }
       ]
   }

2. Untuk langkah 13, pilih nama kebijakan yang berbeda, seperti S3Bucket-access.

Buka prompt perintah dan masukkan perintah berikut.

pip install boto3 --target python/.
zip boto3-layer.zip -r python/
                

Perhatikan nama file zip (boto3-layer.zip). Anda membutuhkannya di langkah 6 dari prosedur ini.

Buka AWS Lambda konsol di https://console.aws.amazon.com/lambda/.

Di panel navigasi, pilih Layers (Lapisan).

Pilih Buat lapisan.

Masukkan nilai untuk Nama dan Deskripsi.

Pilih Unggah file.zip dan pilih Unggah.

Di kotak dialog, pilih arsip file.zip (boto3-layer.zip) yang Anda buat di langkah 1 prosedur ini.

Untuk runtime yang kompatibel, pilih Python 3.9.

Pilih Create untuk membuat layer.

Pilih ikon menu panel navigasi.

Di panel navigasi, pilih Fungsi.

Dalam daftar sumber daya, pilih fungsi yang Anda buatLangkah 1: Buat AWS Lambda fungsi (konsol).

Pilih tab Kode.

Di bagian Layers, pilih Add a layer.

Pilih Custom Layers.

Di Custom layers, pilih nama layer yang Anda masukkan pada langkah 6.

Di Versi pilih versi layer, yang seharusnya 1.

Pilih Tambahkan.

Jika Anda tidak berada di konsol Lambda, lakukan hal berikut:

1. Buka AWS Lambda konsol di https://console.aws.amazon.com/lambda/.

2. Buka fungsi Lambda yang Anda buat. Langkah 1: Buat AWS Lambda fungsi (konsol)

Pilih tab Kode.

Di Sumber kode, ganti kode di lambda_function.py dengan yang berikut ini:

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0

"""
Purpose
An AWS lambda function that analyzes images with an Amazon Lookout for Vision model.
"""
import base64
import imghdr
from os import environ
from io import BytesIO
import logging
import boto3

from botocore.exceptions import ClientError


logger = logging.getLogger(__name__)


# Get the model and confidence.
project_name = environ['PROJECT_NAME']
model_version = environ['MODEL_VERSION']
min_confidence = int(environ.get('CONFIDENCE', 50))

lookoutvision_client = boto3.client('lookoutvision')


def lambda_handler(event, context):
    """
    Lambda handler function
    param: event: The event object for the Lambda function.
    param: context: The context object for the lambda function.
    return: The labels found in the image passed in the event
    object.
    """

    try:
        
        file_name = ""

        # Determine image source.
        if 'image' in event:
            # Decode the encoded image
            image_bytes = event['image'].encode('utf-8')
            img_b64decoded = base64.b64decode(image_bytes)
            image_type = get_image_type(img_b64decoded)
            image = BytesIO(img_b64decoded)
            file_name = event['filename']

        elif 'S3Object' in event:
            bucket = boto3.resource('s3').Bucket(event['S3Object']['Bucket'])
            image_object = bucket.Object(event['S3Object']['Name'])
            image = image_object.get().get('Body').read()
            image_type = get_image_type(image)
            file_name = f"s3://{event['S3Object']['Bucket']}/{event['S3Object']['Name']}"

        else:
            raise ValueError(
                'Invalid image source. Only base 64 encoded image bytes or images in S3 buckets are supported.')

        # Analyze the image.
        response = lookoutvision_client.detect_anomalies(
            ProjectName=project_name,
            ContentType=image_type,
            Body=image,
            ModelVersion=model_version)

        reject = reject_on_classification(
            response['DetectAnomalyResult'], confidence_limit=float(environ['CONFIDENCE'])/100)

        status = "anomalous" if reject else "normal"

        lambda_response = {
            "statusCode": 200,
            "body": {
                "Reject": reject,
                "RejectMessage": f"Image {file_name} is {status}."
            }
        }

    except ClientError as err:
        error_message = f"Couldn't analyze {file_name}. " + \
            err.response['Error']['Message']

        lambda_response = {
            'statusCode': 400,
            'body': {
                "Error": err.response['Error']['Code'],
                "ErrorMessage": error_message,
                "Image": file_name
            }
        }
        logger.error("Error function %s: %s",
                     context.invoked_function_arn, error_message)

    except ValueError as val_error:

        lambda_response = {
            'statusCode': 400,
            'body': {
                "Error": "ValueError",
                "ErrorMessage": format(val_error),
                "Image": event['filename']
            }
        }
        logger.error("Error function %s: %s",
                     context.invoked_function_arn, format(val_error))

    return lambda_response

def get_image_type(image):
    """
    Gets the format of the image. Raises an error
    if the type is not PNG or JPEG.
    :param image: The image that you want to check.
    :return The type of the image.

    """
    image_type = imghdr.what(None, image)

    if image_type == "jpeg":
        content_type = "image/jpeg"
    elif image_type == "png":
        content_type = "image/png"
    else:
        logger.info("Invalid image type")
        raise ValueError(
            "Invalid file format. Supply a jpeg or png format file.")
    return content_type


def reject_on_classification(prediction, confidence_limit):
    """
    Returns True if the anomaly confidence is greater than or equal to
    the supplied confidence limit.
    :param image: The name of the image file that was analyzed.
    :param prediction: The DetectAnomalyResult object returned from DetectAnomalies
    :param confidence_limit: The minimum acceptable confidence. Float value between 0 and 1.
    :return: True if the error condition indicates an anomaly, otherwise False.
    """

    reject = False

    if prediction['IsAnomalous'] and prediction['Confidence'] >= confidence_limit:
        reject = True
        reject_info = (f"Rejected: Anomaly confidence ({prediction['Confidence']:.2%}) is greater"
                       f" than limit ({confidence_limit:.2%})")
        logger.info("%s", reject_info)

    if not reject:
        logger.info("No anomalies found.")
    return reject

Pilih Deploy untuk menerapkan fungsi Lambda Anda.

Jika Anda belum melakukannya, lakukan hal berikut:

1. Pastikan pengguna yang menggunakan kode klien memiliki lambda:InvokeFunction izin. Anda dapat menggunakan izin berikut.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "LambdaPermission",
               "Effect": "Allow",
               "Action": "lambda:InvokeFunction",
               "Resource": "ARN for lambda function"
           }
       ]
   }

   Anda bisa mendapatkan fungsi fungsi ARN untuk Lambda Anda dari ikhtisar fungsi di konsol Lambda.

   Untuk memberikan akses, menambahkan izin ke pengguna, grup, atau peran Anda:

   • Pengguna dan grup di AWS IAM Identity Center:

     Buat rangkaian izin. Ikuti instruksi di Buat rangkaian izin di Panduan Pengguna AWS IAM Identity Center .

   • Pengguna yang dikelola IAM melalui penyedia identitas:

     Buat peran untuk federasi identitas. Ikuti petunjuk di Membuat peran untuk penyedia identitas pihak ketiga (federasi) di Panduan IAM Pengguna.

   • IAMpengguna:

     • Buat peran yang dapat diambil pengguna Anda. Ikuti petunjuk di Buat peran untuk IAM pengguna di Panduan IAM Pengguna.

     • (Tidak disarankan) Pasang kebijakan langsung ke pengguna atau tambahkan pengguna ke grup pengguna. Ikuti petunjuk di Menambahkan izin ke pengguna (konsol) di Panduan IAM Pengguna.

2. Instal dan konfigurasikan AWS SDK untuk Python. Untuk informasi selengkapnya, lihat Langkah 4: Mengatur AWS CLI dan AWS SDKs.

3. Mulai model yang Anda tentukan pada langkah 7 dariLangkah 1: Buat AWS Lambda fungsi (konsol).

Simpan kode berikut ke file bernamaclient.py.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0

"""
Purpose: Shows how to call the anomaly detection
AWS Lambda function.
"""
from botocore.exceptions import ClientError

import argparse
import logging
import base64
import json
import boto3
from os import environ

logger = logging.getLogger(__name__)

def analyze_image(function_name, image):
    """
    Analyzes an image with an AWS Lambda function.
    :param image: The image that you want to analyze.
    :return The status and classification result for
    the image analysis.
    """

    lambda_client = boto3.client('lambda')

    lambda_payload = {}

    if image.startswith('s3://'):
        logger.info("Analyzing image from S3 bucket: %s", image)
        bucket, key = image.replace("s3://", "").split("/", 1)
        s3_object = {
            'Bucket': bucket,
            'Name': key
        }
        lambda_payload = {"S3Object": s3_object}

    # Call the lambda function with the image.
    else:
        with open(image, 'rb') as image_file:
            logger.info("Analyzing local image image: %s ", image)
            image_bytes = image_file.read()
            data = base64.b64encode(image_bytes).decode("utf8")
            lambda_payload = {"image": data, "filename": image}

    response = lambda_client.invoke(FunctionName=function_name,
                                    Payload=json.dumps(lambda_payload))
    return json.loads(response['Payload'].read().decode())


def add_arguments(parser):
    """
    Adds command line arguments to the parser.
    :param parser: The command line parser.
    """

    parser.add_argument(
        "function", help="The name of the AWS Lambda function "
        "that you want to use to analyze the image.")
    parser.add_argument(
        "image", help="The local image that you want to analyze.")


def main():
    """
    Entrypoint for script.
    """
    try:
        logging.basicConfig(level=logging.INFO,
                            format="%(levelname)s: %(message)s")

        # Get command line arguments.
        parser = argparse.ArgumentParser(usage=argparse.SUPPRESS)
        add_arguments(parser)
        args = parser.parse_args()

        # Analyze image and display results.

        result = analyze_image(args.function, args.image)

        status = result['statusCode']

        if status == 200:
            classification = result['body']
            print(f"classification: {classification['Reject']}")
            print(f"Message: {classification['RejectMessage']}")
        else:
            print(f"Error: {result['statusCode']}")
            print(f"Message: {result['body']}")

    except ClientError as error:
        logging.error(error)
        print(error)


if __name__ == "__main__":
    main()

Jalankan kode tersebut. Untuk argumen baris perintah, berikan nama fungsi Lambda dan jalur ke gambar lokal yang ingin Anda analisis. Sebagai contoh:

python client.py function_name /bucket/path/image.jpg

Jika berhasil, output adalah klasifikasi untuk anomali yang ditemukan pada gambar. Jika klasifikasi tidak dikembalikan, pertimbangkan untuk menurunkan nilai kepercayaan yang Anda tetapkan pada langkah 7 dariLangkah 1: Buat AWS Lambda fungsi (konsol).

Jika Anda telah selesai dengan fungsi Lambda dan model tidak digunakan oleh aplikasi lain, hentikan model. Ingatlah untuk memulai model saat berikutnya Anda inginkan gunakan fungsi Lambda.