Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création et recherche d'index vectoriels

Cette section explique comment créer et gérer des index vectoriels, écrire des éléments avec des données vectorielles et effectuer des recherches de similarité à l'aide de l'SearchVectorsAPI.

Avant de commencer

Avant de travailler avec des index vectoriels, vérifiez les points suivants :

SearchVectors points de terminaison

SearchVectorsles requêtes utilisent des points de terminaison dédiés à la recherche vectorielle, distincts des points de terminaison DynamoDB standard que vous utilisez pour créer et gérer des index vectoriels (par exemple, avec, et). CreateTable UpdateTable DescribeTable Les AWS SDK et les SearchVectors requêtes d' AWS CLI acheminement vers le terminal approprié automatiquement. Il n'est pas nécessaire de configurer ou de remplacer le point de terminaison dans le code de votre application.

Si vous créez un client HTTP personnalisé qui appelle l'API DynamoDB directement sans AWS SDK, utilisez l'un des points de terminaison de recherche vectorielle suivants, en le remplaçant et selon les besoins : account-id region

Génération d'intégrations vectorielles

DynamoDB stocke et recherche des intégrations vectorielles, mais ne les génère pas. Vous produisez des intégrations à l'aide d'un modèle d'intégration, tel que les modèles Amazon Bedrock Titan Text Embeddings ou Cohere Embed, ou tout autre modèle d'intégration que vous utilisez. Vous stockez ensuite le vecteur obtenu dans un élément DynamoDB et vous transmettez un vecteur de requête à. SearchVectors

Le flux typique est le suivant :

La fonction de distance que vous choisissez interagit avec la façon dont votre modèle produit les intégrations. COSINEcompare la direction et ignore la magnitude. Cela fonctionne donc avec les intégrations, qu'elles soient normalisées ou non. DOT_PRODUCTest sensible à la magnitude : si vos intégrations ne sont pas normalisées à l'unité de longueur, les vecteurs plus grands obtiennent des scores plus élevés quelle que soit la direction. Si vous utilisez DOT_PRODUCT et souhaitez utiliser la similitude basée sur la direction, normalisez vos intégrations en unités de longueur avant de les stocker. Consultez Comment les fonctions de distance classent les résultats.

Création d'un index vectoriel

Vous pouvez créer un index vectoriel lorsque vous créez un nouveau tableau ou que vous en ajoutez un à un tableau existant.

Création d'un tableau avec un index vectoriel

Utilisez l'CreateTableAPI avec le VectorIndexes paramètre pour créer une table avec un index vectoriel. L' AWS CLI exemple suivant crée une Products table avec un index vectoriel nomméProductEmbeddingIndex.

aws dynamodb create-table \
    --table-name Products \
    --attribute-definitions AttributeName=ProductId,AttributeType=S \
                            AttributeName=Category,AttributeType=S \
                            AttributeName=Brand,AttributeType=S \
    --key-schema AttributeName=ProductId,KeyType=HASH \
    --billing-mode PAY_PER_REQUEST \
    --vector-indexes \
        "[
            {
                \"IndexName\": \"ProductEmbeddingIndex\",
                \"VectorAttribute\": {\"AttributeName\": \"Embedding\"},
                \"SearchSchema\": [{\"AttributeName\":\"Category\",\"SearchSchemaElementType\":\"HASH\"},
                                  {\"AttributeName\":\"Brand\",\"SearchSchemaElementType\":\"INLINE_FILTER\"}],
                \"Projection\": {\"ProjectionType\": \"ALL\"},
                \"Dimensions\": 1536,
                \"DistanceFunction\": \"COSINE\"
            }
        ]"

Dans cet exemple :

Ajouter un index vectoriel à une table existante

Utilisez l'UpdateTableAPI avec le VectorIndexUpdates paramètre pour ajouter un index vectoriel à une table existante. Cet exemple ajoute un second index indépendant nommé ProductEmbeddingIndexV2 à la même Products table.

aws dynamodb update-table \
    --table-name Products \
    --vector-index-updates \
        "[
            {
                \"Create\": {
                    \"IndexName\": \"ProductEmbeddingIndexV2\",
                    \"VectorAttribute\": {\"AttributeName\": \"Embedding\"},
                    \"Projection\": {\"ProjectionType\": \"ALL\"},
                    \"Dimensions\": 1536,
                    \"DistanceFunction\": \"EUCLIDEAN\"
                }
            }
        ]"

Lorsque vous ajoutez un index vectoriel à une table existante, DynamoDB indique la progression de l'index dans deux champs de la DescribeTable réponse : une IndexStatus valeur et un booléen distinctBackfilling.

Écrire des éléments avec des données vectorielles

Vous écrivez des éléments avec des données vectorielles à l'aide des API d'écriture DynamoDB standard (PutItem, UpdateItemBatchWriteItem,TransactWriteItems). Stockez l'intégration vectorielle sous forme de liste de nombres (Ltype contenant des N éléments).

Comme un vecteur contient de nombreuses valeurs, enregistrez l'élément dans un fichier tel queitem.json, puis transmettez le fichier au AWS CLI.

{
    "ProductId": { "S": "prod-123" },
    "Category": { "S": "Electronics" },
    "Title": { "S": "Wireless Headphones" },
    "Embedding": {
        "L": [
            { "N": "0.1234" },
            { "N": "-0.5678" },
            { "N": "0.9012" },
            ...
        ]
    }
}

aws dynamodb put-item \
    --table-name Products \
    --item file://item.json

DynamoDB valide les données vectorielles lorsque vous écrivez des éléments dans une table dotée d'un index vectoriel. Le tableau suivant décrit le comportement de validation.

Rechercher avec SearchVectors

Utilisez l'SearchVectorsAPI pour rechercher les éléments d'un index vectoriel qui ressemblent le plus à un vecteur de requête. Les résultats sont triés par pertinence, en commençant par l'élément le plus similaire. Les résultats de recherche sont finalement cohérents : il peut y avoir un bref délai entre l'écriture ou la mise à jour d'un vecteur et son apparition dans les résultats de recherche. Pour de plus amples informations, veuillez consulter Synchronisation continue de l'écriture.

Recherche de base

L'exemple suivant recherche les 10 éléments les plus similaires de l'ProductEmbeddingIndexindex. Comme une clé de partition d'index vectoriel (Category) est définie dans cet index SearchSchema, elle SearchConditionExpression doit inclure la valeur de la clé de partition de l'index vectoriel.

Enregistrez le vecteur de requête dans un fichier tel quequery-vector.json, sous la forme d'un tableau JSON simple de valeurs numériques.

[
    { "N": "0.1234" },
    { "N": "-0.5678" },
    { "N": "0.9012" },
    ...
]

aws dynamodb search-vectors \
    --table-name Products \
    --index-name ProductEmbeddingIndex \
    --search-vector file://query-vector.json \
    --top-k 10 \
    --search-condition-expression "Category = :cat" \
    --expression-attribute-values "{\":cat\": {\"S\": \"Electronics\"}}"

La réponse comprend un SearchResults tableau. Chaque élément contient la correspondance Item et un Score qui indique à quel point l'élément est similaire au vecteur de requête.

{
    "SearchResults": [
        {
            "Item": {
                "ProductId": { "S": "prod-456" },
                "Category": { "S": "Electronics" },
                "Title": { "S": "Bluetooth Speaker" }
            },
            "Score": 0.0023
        },
        {
            "Item": {
                "ProductId": { "S": "prod-789" },
                "Category": { "S": "Electronics" },
                "Title": { "S": "Noise Cancelling Earbuds" }
            },
            "Score": 0.0145
        }
    ]
}

La signification de Score dépend de la fonction de distance que vous avez choisie lors de la création de l'index. Pour COSINE etEUCLIDEAN, des scores plus faibles indiquent une plus grande similitude. CarDOT_PRODUCT, des scores plus élevés indiquent une plus grande similitude.

Filtrer avec SearchConditionExpression

Permet SearchConditionExpression de filtrer les résultats de recherche en fonction de la clé de partition de l'index vectoriel et des attributs de filtre en ligne définis dans le SearchSchema. Cette expression utilise la même syntaxe que les autres paramètres d'expression DynamoDB.

L'exemple suivant recherche les éléments de la Electronics catégorie (clé de partition de l'index vectoriel) à l'aide d'un filtre Brand intégré.

aws dynamodb search-vectors \
    --table-name Products \
    --index-name ProductEmbeddingIndex \
    --search-vector file://query-vector.json \
    --top-k 10 \
    --search-condition-expression "Category = :cat AND Brand = :brand" \
    --expression-attribute-values "{\":cat\": {\"S\": \"Electronics\"}, \":brand\": {\"S\": \"Acme\"}}"

Si votre index vectoriel possède une clé de partition définie dans le SearchSchema, vous devez l'inclure dans leSearchConditionExpression. Les attributs de filtre en ligne sont facultatifs.

L'opérateur d'égalité (=) est pris en charge à la fois SearchConditionExpression pour la clé de partition de l'index vectoriel et pour les attributs de filtre en ligne. Les opérateurs de comparaison, de plage et d'appartenance à un ensemble (<>,<,<=, >>=,IN) ne sont pas encore disponibles.

Ce filtrage permet d'étendre une recherche de similarité à un sous-ensemble de vos données, une exigence courante dans les applications RAG (Retrieval Augmented Generation) à locataires multiples. Par exemple, pour rechercher des documents similaires à une requête mais appartenant à un seul tenant, définissez l'attribut tenant comme clé de partition d'index vectoriel (HASH) dans le SearchSchema et transmettez sa valeur à chaque recherche. Cela isole les résultats pour ce locataire. Cela améliore également les performances, car la recherche examine uniquement les données pertinentes. Utilisez des attributs de filtre intégrés pour les contraintes d'égalité supplémentaires, telles qu'un type de document ou un statut, que vous souhaitez appliquer à la partition routée.

En utilisant ProjectionExpression

Utilisez cette ProjectionExpression option pour renvoyer uniquement des attributs spécifiques dans les résultats de recherche. Cela peut réduire la taille de la réponse lorsque vous n'avez pas besoin de tous les attributs projetés. Comme il ProductEmbeddingIndex définit une clé de partition d'index vectoriel (Category) dans son SearchSchema, cet exemple inclut toujours la valeur de la clé de partition d'index vectoriel dansSearchConditionExpression.

aws dynamodb search-vectors \
    --table-name Products \
    --index-name ProductEmbeddingIndex \
    --search-vector file://query-vector.json \
    --top-k 5 \
    --search-condition-expression "Category = :cat" \
    --expression-attribute-values "{\":cat\": {\"S\": \"Electronics\"}}" \
    --projection-expression "ProductId, Title"

Suppression d’un index vectoriel

Utilisez l'UpdateTableAPI avec le VectorIndexUpdates paramètre pour supprimer un index vectoriel.

aws dynamodb update-table \
    --table-name Products \
    --vector-index-updates \
        "[
            {\"Delete\": {\"IndexName\": \"ProductEmbeddingIndex\"}}
        ]"

Lorsque vous supprimez un index vectoriel, DynamoDB supprime l'index et toutes ses données. Cette opération n'affecte pas la table de base ni ses éléments.