Uso de índices vectoriales en DynamoDB

Compara la dirección e ignora la magnitud. Use COSINE para establecer similitudes semánticas con modelos de incrustación de texto. Estos modelos codifican el significado en la dirección y la longitud del vector puede variar. Los ejemplos incluyen Amazon Titan Text Embeddings y Cohere Embed.

COSINE es especialmente adecuado para los siguientes casos de uso:

COSINE es la opción segura predeterminada cuando no se tiene claro qué función utilizar.

DOT_PRODUCT es sensible tanto a la dirección como a la magnitud (la longitud de un vector). Elija DOT_PRODUCT cuando la documentación del modelo de incrustación recomiende el producto de puntos como medida de similitud o cuando desee que la longitud del vector influya en la clasificación.

DOT_PRODUCT es especialmente adecuado para los siguientes casos de uso:

Recomendamos normalizar las incrustaciones a una longitud unitaria. Cuando se normaliza, DOT_PRODUCT clasifica los resultados de la misma manera que COSINE. Omita la normalización solo si desea que la magnitud afecte a la clasificación.

Ejemplo de caso de uso: un sistema de recomendación de productos en el que se escala la incrustación de cada producto en función de su puntuación de popularidad. Los productos más populares obtienen vectores más largos y ocupan un lugar más alto en los resultados de búsqueda.

Mide la distancia en línea recta entre dos vectores. EUCLIDEAN es sensible a la magnitud. Úselo cuando la posición absoluta en el espacio de incrustación importe.

EUCLIDEAN es especialmente adecuado para los siguientes casos de uso:

Ejemplo de caso de uso: encontrar imágenes casi duplicadas a partir de incrustaciones de imágenes.

Una clave de partición de índice vectorial divide los datos del índice para un escalado independiente. Al especificar una clave de partición de índice vectorial, los elementos con el mismo valor de clave de partición se almacenan juntos, lo que permite al sistema buscar solo los datos relevantes. A gran escala, esto reduce la latencia de la búsqueda, ya que la búsqueda examina solo un subconjunto del espacio vectorial en lugar de examinar todo el índice. Utilice atributos con una cardinalidad de baja a media, como Category o Country. Puede especificar como máximo una clave de partición de índice vectorial.

Si define una clave de partición de índice vectorial en el SearchSchema, debe proporcionar su valor en SearchConditionExpression cuando llame a SearchVectors.

Los atributos del filtro en línea se proyectan en el índice vectorial para que DynamoDB pueda filtrar durante la búsqueda en la capa de almacenamiento.

Los filtros en línea admiten el operador de igualdad (=) en SearchConditionExpression. Los operadores de comparación, rango y pertenencia a conjuntos (<>, <, <=, >, >=, IN) aún no están disponibles. A diferencia de las claves de partición de índice vectorial, los filtros en línea son opcionales durante la búsqueda.

Puede habilitar DynamoDB Streams en una tabla que tenga un índice vectorial, ya sea con el parámetro StreamSpecification al crear la tabla o mediante UpdateTable. La secuencia captura los cambios por elemento en la tabla base y funciona de forma independiente del índice vectorial.

Puede agregar un índice vectorial a una tabla global y convertir una tabla que tenga un índice vectorial en una tabla global agregando una réplica con UpdateTable. La definición del índice vectorial, incluidas sus dimensiones, la función de distancia, el esquema de búsqueda y la proyección, se replica automáticamente en cada nueva región de réplica. El índice vectorial no se crea de forma independiente en la región de la réplica.

Los elementos que escriba en cualquier región de réplica se replican en las demás regiones y se indexan allí. Una vez completada la replicación, SearchVectors en cada región busca el mismo conjunto de vectores. Como la búsqueda vectorial utiliza el vecino más cercano aproximado (ANN), las búsquedas independientes en distintas regiones pueden arrojar resultados o un orden ligeramente diferentes para la misma consulta, incluso con datos idénticos. La replicación y la indexación de vectores en las demás regiones son asincrónicas, incluso para las tablas globales de coherencia alta multirregional (MRSC). Es posible que un vector que acaba de escribir en una región no aparezca todavía en los resultados de SearchVectors de otra región hasta que el cambio se haya propagado.

Al restaurar una tabla a partir de una recuperación en un momento dado o una copia de seguridad bajo demanda, DynamoDB restaura los datos de la tabla base y la definición del índice vectorial. Al igual que con los índices secundarios globales, DynamoDB reconstruye el índice vectorial a partir de los datos de la tabla base restaurados en lugar de copiarlos byte por byte, de modo que el índice se rellena antes de estar listo para la búsqueda. Espere a que IndexStatus sea ACTIVE y Backfilling sea false en el índice restaurado antes de ejecutar SearchVectors.

Puede usar DynamoDB TTL en una tabla que tenga un índice vectorial. Cuando TTL elimina un elemento caducado de la tabla base, DynamoDB elimina la entrada correspondiente del índice vectorial, del mismo modo que lo hace una eliminación manual. Por lo tanto, los elementos caducados dejan de aparecer en los resultados de SearchVectors una vez que la eliminación se propaga al índice.

Puede exportar una tabla que tenga un índice vectorial a Amazon S3; la exportación contiene los elementos de la tabla base, incluidos los atributos vectoriales almacenados en ellos. Cuando importe datos de Amazon S3 a una tabla nueva, defina el índice vectorial en la solicitud de importación del mismo modo que lo haría con CreateTable. DynamoDB indexa los elementos importados a medida que se escriben y el índice vectorial pasa a estar disponible una vez finalizada la importación.

DynamoDB Accelerator (DAX) no admite la operación SearchVectors. Envíe las solicitudes SearchVectors directamente a DynamoDB, incluso cuando la aplicación utilice DAX para otras operaciones de lectura. El almacenamiento en caché de las lecturas de la tabla base con DAX no se ve afectado por la presencia de un índice vectorial.