Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Gestion des modèles
L'agent Edge Manager peut charger plusieurs modèles à la fois et réaliser l'inférence sur les modèles chargés sur des dispositifs périphériques. Le nombre de modèles que l'agent peut charger est déterminé par la mémoire disponible sur le dispositif. L'agent valide la signature du modèle et charge en mémoire tous les artefacts produits par la tâche d'empaquetage Edge. Cette étape nécessite que tous les certificats requis décrits aux étapes précédentes soient installés avec le reste de l'installation binaire. Si la signature du modèle ne peut pas être validée, le chargement du modèle échoue, et un code et la raison correspondants sont renvoyés.
SageMaker L'agent Edge Manager fournit une liste de modèles de gestion APIs qui implémentent le plan de contrôle et APIs le plan de données sur les appareils Edge. Parallèlement à cette documentation, nous vous recommandons de passer en revue l'exemple d'implémentation du client qui montre l'utilisation canonique des éléments décrits APIs ci-dessous.
Le fichier proto est disponible en tant que partie des artefacts de version (à l'intérieur du fichier Tarball de version). Dans ce document, nous listons et décrivons l'utilisation des APIs éléments répertoriés dans ce proto fichier.
Note
Ils sont one-to-one mappés dans APIs la version Windows et un exemple de code pour une implémentation d'application en C# est partagé avec les artefacts de version pour Windows. Voici des instructions pour exécuter l'agent en tant que processus autonome, applicables aux artefacts de version pour Linux.
Extrayez l'archive en fonction de votre système d'exploitation. Où VERSION se décompose en trois éléments : <MAJOR_VERSION>.<YYYY-MM-DD>-<SHA-7>. Veuillez consulter Installation de l'agent Edge Manager pour obtenir des informations sur la façon d'obtenir la version de sortie (<MAJOR_VERSION>), l'horodatage de l'artefact de version (<YYYY-MM-DD>) et l'ID de validation du référentiel (SHA-7)
La hiérarchie des artefacts de version (après extraction de l'archive tar/zip) est présentée ci-dessous. Le fichier proto de l'agent est disponible sous api/.
0.20201205.7ee4b0b ├── bin │ ├── sagemaker_edge_agent_binary │ └── sagemaker_edge_agent_client_example └── docs ├── api │ └── agent.proto ├── attributions │ ├── agent.txt │ └── core.txt └── examples └── ipc_example ├── CMakeLists.txt ├── sagemaker_edge_client.cc ├── sagemaker_edge_client_example.cc ├── sagemaker_edge_client.hh ├── sagemaker_edge.proto ├── README.md ├── shm.cc ├── shm.hh └── street_small.bmp
Rubriques
Charger des modèles
L'agent Edge Manager prend en charge le chargement de plusieurs modèles. Cela API valide la signature du modèle et charge en mémoire tous les artefacts produits par l'EdgePackagingJobopération. Cette étape nécessite que tous les certificats requis soient installés avec le reste de l'installation binaire de l'agent. Si la signature du modèle ne peut pas être validée, cette étape échoue, et un code et les messages d'erreur correspondants sont renvoyés dans le journal.
// perform load for a model // Note: // 1. currently only local filesystem paths are supported for loading models. // 2. multiple models can be loaded at the same time, as limited by available device memory // 3. users are required to unload any loaded model to load another model. // Status Codes: // 1. OK - load is successful // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // 4. NOT_FOUND - model doesn't exist at the url // 5. ALREADY_EXISTS - model with the same name is already loaded // 6. RESOURCE_EXHAUSTED - memory is not available to load the model // 7. FAILED_PRECONDITION - model is not compiled for the machine. // rpc LoadModel(LoadModelRequest) returns (LoadModelResponse);
Décharger un modèle
Décharge un modèle précédemment chargé. Il est identifié via l'alias du modèle qui a été fourni durant le loadModel. Si l'alias n'est pas trouvé ou si le modèle n'est pas chargé, une erreur est renvoyée.
// // perform unload for a model // Status Codes: // 1. OK - unload is successful // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // 4. NOT_FOUND - model doesn't exist // rpc UnLoadModel(UnLoadModelRequest) returns (UnLoadModelResponse);
Répertorier les modèles
Répertorie tous les modèles chargés et leurs alias.
// // lists the loaded models // Status Codes: // 1. OK - unload is successful // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // rpc ListModels(ListModelsRequest) returns (ListModelsResponse);
Décrire un modèle
Décrit un modèle chargé sur l'agent.
// // Status Codes: // 1. OK - load is successful // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // 4. NOT_FOUND - model doesn't exist at the url // rpc DescribeModel(DescribeModelRequest) returns (DescribeModelResponse);
Capture des données
Permet à l'application client de capturer les tenseurs d'entrée et de sortie dans le compartiment Amazon S3, et éventuellement l'auxiliaire. L'application cliente est censée lui transmettre un identifiant de capture unique à chaque appelAPI. Cela peut servir ultérieurement à interroger l'état de la capture.
// // allows users to capture input and output tensors along with auxiliary data. // Status Codes: // 1. OK - data capture successfully initiated // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // 5. ALREADY_EXISTS - capture initiated for the given capture_id // 6. RESOURCE_EXHAUSTED - buffer is full cannot accept any more requests. // 7. OUT_OF_RANGE - timestamp is in the future. // 8. INVALID_ARGUMENT - capture_id is not of expected format. // rpc CaptureData(CaptureDataRequest) returns (CaptureDataResponse);
Obtenir l'état de la capture
Selon les modèles chargés, les tenseurs d'entrée et de sortie peuvent être volumineux (pour de nombreux dispositifs périphériques). La capture dans le cloud peut être chronophage. La CaptureData() est donc mise en œuvre sous forme d'opération asynchrone. Un ID de capture est un identifiant unique que le client fournit lors de l'appel de données de capture. Cet ID peut servir à interroger l'état de l'appel asynchrone.
// // allows users to query status of capture data operation // Status Codes: // 1. OK - data capture successfully initiated // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // 4. NOT_FOUND - given capture id doesn't exist. // rpc GetCaptureDataStatus(GetCaptureDataStatusRequest) returns (GetCaptureDataStatusResponse);
Prédiction
predictAPIEffectue une inférence sur un modèle précédemment chargé. Elle accepte une requête sous la forme d'un tenseur directement introduit dans le réseau neuronal. La sortie est le tenseur de sortie (ou scalaire) du modèle. Il s'agit d'un appel bloquant.
// // perform inference on a model. // // Note: // 1. users can chose to send the tensor data in the protobuf message or // through a shared memory segment on a per tensor basis, the Predict // method with handle the decode transparently. // 2. serializing large tensors into the protobuf message can be quite expensive, // based on our measurements it is recommended to use shared memory of // tenors larger than 256KB. // 3. SMEdge IPC server will not use shared memory for returning output tensors, // i.e., the output tensor data will always send in byte form encoded // in the tensors of PredictResponse. // 4. currently SMEdge IPC server cannot handle concurrent predict calls, all // these call will be serialized under the hood. this shall be addressed // in a later release. // Status Codes: // 1. OK - prediction is successful // 2. UNKNOWN - unknown error has occurred // 3. INTERNAL - an internal error has occurred // 4. NOT_FOUND - when model not found // 5. INVALID_ARGUMENT - when tenors types mismatch // rpc Predict(PredictRequest) returns (PredictResponse);
