Aggiornamento di oggetti nel bucket Amazon S3

Aprire la console Storage Gateway suhttps://console.aws.amazon.com/storagegateway/home.

Scegliere File shares (Condivisioni di file) e quindi scegliere la condivisione file associata al bucket S3 da aggiornare.

Per Actions (Operazioni), scegliere Refresh cache (Aggiorna cache).

Il tempo richiesto dal processo di aggiornamento dipende dal numero di oggetti memorizzati nella cache del gateway e dal numero di oggetti che sono stati aggiunti o rimossi dal bucket S3.

Identificare il bucket S3 utilizzato da S3 File Gateway.

Controlla che ilEventoLa sezione è vuota. Si compila automaticamente in un secondo momento.

Crea un ruolo IAM e consenti di Trust Relationship per Lambdalambda.amazonaws.com.

Utilizzare la policy seguente.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "StorageGatewayPermissions",
            "Effect": "Allow",
            "Action": "storagegateway:RefreshCache",
            "Resource": "*"
        },
        {
            "Sid": "CloudWatchLogsPermissions",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:CreateLogGroup",
                "logs:PutLogEvents"
            ],
            "Resource": "*"
        }
    ]
}                

Creazione di una funzione Lambda dalla console Lambda.

Utilizzare la seguente funzione per l'attività Lambda.

import json
import boto3
client = boto3.client('storagegateway')
def lambda_handler(event, context):
    print(event)
    response = client.refresh_cache(
        FileShareARN='arn:aws:storagegateway:ap-southeast-2:672406774878:share/share-E51FBD9C'
    )
    print(response)
    return 'Your FileShare cache has been refreshed'                

PerRuolo di esecuzione, scegliere il ruolo IAM creato.

Facoltativo: aggiungi un trigger per Amazon S3 e seleziona l'eventoObjectCreatedoObjectRemoved.

Crea una regola CloudWatch sulla console CloudWatch e aggiungi una pianificazione. In generale, raccomandiamo untariffa fissaDi 30 minuti. Tuttavia, è possibile utilizzare 1-2 ore su un grande secchio S3.

Aggiungi un nuovo trigger per gli eventi CloudWatch e scegli la regola appena creata.

Salva la tua configurazione Lambda. Scegli Test (Esegui test).

ScegliereS3 METTEREe personalizza il test in base alle tue esigenze.

Il test dovrebbe avere successo. In caso contrario, modificare il JSON in base alle proprie esigenze e ripetere il test.

Apri la console Amazon S3 e verifica che l'evento creato e la funzione Lambda ARN siano presenti.

Caricamento di un oggetto nel bucket S3 tramite la console Amazon S3 o ilAWS CLI.

La console CloudWatch genera un output CloudWatch simile al seguente.

{
    u'Records': [
        {u'eventVersion': u'2.0', u'eventTime': u'2018-09-10T01:03:59.217Z', u'requestParameters': {u'sourceIPAddress': u'MY-IP-ADDRESS'}, 
        u's3': {u'configurationId': u'95a51e1c-999f-485a-b994-9f830f84769f', u'object': {u'sequencer': u'00549CC2BF34D47AED', u'key': u'new/filename.jpeg'}, 
        u'bucket': {u'arn': u'arn:aws:s3:::MY-BUCKET', u'name': u'MY-GATEWAY-NAME', u'ownerIdentity': {u'principalId': u'A3OKNBZ72HVPP9'}}, u's3SchemaVersion': u'1.0'}, 
        u'responseElements': {u'x-amz-id-2': u'76tiugjhvjfyriugiug87t890nefevbck0iA3rPU9I/s4NY9uXwtRL75tCyxasgsdgfsq+IhvAg5M=', u'x-amz-request-id': u'651C2D4101D31593'}, 
        u'awsRegion': u'MY-REGION', u'eventName': u'ObjectCreated:PUT', u'userIdentity': {u'principalId': u'AWS:AROAI5LQR5JHFHDFHDFHJ:MY-USERNAME'}, u'eventSource': u'aws:s3'}
    ]
}                

L'invocazione Lambda offre un output simile a quello riportato di seguito.

{
    u'FileShareARN': u'arn:aws:storagegateway:REGION:ACCOUNT-ID:share/MY-SHARE-ID', 
        'ResponseMetadata': {'RetryAttempts': 0, 'HTTPStatusCode': 200, 'RequestId': '6663236a-b495-11e8-946a-bf44f413b71f', 
            'HTTPHeaders': {'x-amzn-requestid': '6663236a-b495-11e8-946a-bf44f413b71f', 'date': 'Mon, 10 Sep 2018 01:03:59 GMT', 
                'content-length': '90', 'content-type': 'application/x-amz-json-1.1'
        }
    }
}                

La tua condivisione NFS montata sul tuo client rifletterà questo aggiornamento.

Eliminazione manuale dell'oggetto utilizzando la console Amazon S3 oAWS CLI.

Visualizza la condivisione NFS montata sul tuo client. Verifica che il tuo oggetto non sia andato (perché la cache è stata aggiornata).

Controlla i registri di CloudWatch per vedere il registro della tua eliminazione con l'eventoObjectRemoved:Delete.

{
    u'account': u'MY-ACCOUNT-ID', u'region': u'MY-REGION', u'detail': {}, u'detail-type': u'Scheduled Event', u'source': u'aws.events', 
    u'version': u'0', u'time': u'2018-09-10T03:42:06Z', u'id':  u'6468ef77-4db8-0200-82f0-04e16a8c2bdb', 
    u'resources': [u'arn:aws:events:REGION:MY-ACCOUNT-ID:rule/FGw-RefreshCache-CW']
}