Endpunkte mit mehreren Containern

SageMaker Multi-Container-Endpunkte ermöglichen es Kunden, mehrere Container, die unterschiedliche Modelle oder Frameworks verwenden, auf einem einzigen SageMaker Endpunkt bereitzustellen. Die Container können nacheinander als Inferenz-Pipeline ausgeführt werden, oder auf jeden Container kann mithilfe eines direkten Aufrufs einzeln zugegriffen werden, um die Endpunktauslastung zu verbessern und die Kosten zu optimieren.

Hinweise zum sequenziellen Aufrufen der Container in einem Endpunkt mit mehreren Containern finden Sie unter Inferenz-Pipelines bei Amazon SageMaker.

Hinweise zum Aufrufen eines bestimmten Containers in einem Endpunkt mit mehreren Containern finden Sie unter Rufen Sie einen Endpunkt mit mehreren Containern mit direktem Aufruf auf

Die folgende Richtlinie lässt invoke_endpoint-Anfragen nur zu, wenn der Wert des Feldes TargetContainerHostname mit einem der angegebenen regulären Ausdrücke übereinstimmt.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:sagemaker:region:account-id:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetContainerHostname": ["customIps*", "common*"]
                }
            }
        }
    ]
}

Die folgende Richtlinie lehnt invoke_endpoint Anfragen ab, wenn der Wert des TargetContainerHostname Felds mit einem der angegebenen regulären Ausdrücke in der Deny Anweisung übereinstimmt.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:sagemaker:region:account-id:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetContainerHostname": ["*"]
                }
            }
        },
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Deny",
            "Resource": "arn:aws:sagemaker:region:account-id:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetContainerHostname": ["special*"]
                }
            }
        }
    ]
}

Informationen zu SageMaker Bedingungsschlüsseln finden Sie unter Bedingungsschlüssel für SageMaker im AWS Identity and Access Management Benutzerhandbuch.