Uso de índices vetoriais no DynamoDB

Compara a direção e ignora a magnitude. Use COSINE para similaridade semântica com modelos de incorporação de texto. Esses modelos codificam o significado na direção, e o comprimento do vetor pode variar. Os exemplos incluem o Incorporador de Texto do Amazon Titan e Cohere Embed.

COSINE é ideal para os seguintes casos de uso:

COSINE é o padrão seguro quando você não tem certeza sobre qual função usar.

DOT_PRODUCT é sensível tanto à direção quanto à magnitude (o comprimento de um vetor). Escolha DOT_PRODUCT quando a documentação do modelo de incorporação recomendar o produto escalar como medida de similaridade ou quando você quiser que o comprimento do vetor influencie a classificação.

DOT_PRODUCT é ideal para os seguintes casos de uso:

Recomendamos normalizar suas incorporações para o comprimento unitário. Quando normalizado, DOT_PRODUCT classifica os resultados da mesma forma que COSINE. Ignore a normalização somente se quiser que a magnitude afete a classificação.

Exemplo de caso de uso: um sistema de recomendação de produtos em que você dimensiona cada incorporação de produto de acordo com a pontuação de popularidade. Produtos mais populares obtêm vetores mais longos e têm uma classificação mais alta nos resultados de pesquisa.

Mede a distância em linha reta entre dois vetores. EUCLIDEAN é sensível à magnitude. Use-o quando a posição absoluta no espaço de incorporação for importante.

EUCLIDEAN é ideal para os seguintes casos de uso:

Exemplo de caso de uso: encontrar imagens quase duplicadas a partir de incorporações de imagens.

Uma chave de partição de índice vetorial particiona seus dados de índice para dimensionamento independente. Quando você especifica uma chave de partição de índice vetorial, itens com o mesmo valor de chave de partição são armazenados juntos, o que permite que o sistema pesquise somente os dados relevantes. Em alta escala, isso diminui a latência da pesquisa porque a pesquisa examina somente um subconjunto do espaço vetorial em vez de todo o índice. Use atributos com cardinalidade baixa a média, como Category ou Country. Você pode especificar no máximo uma chave de partição de índice vetorial.

Se você definir uma chave de partição de índice vetorial no SearchSchema, deverá fornecer o valor na SearchConditionExpression ao chamar SearchVectors.

Os atributos de filtro integrado são projetados no índice vetorial para que o DynamoDB possa filtrar durante a pesquisa na camada de armazenamento.

Os filtros integrados oferecem suporte ao operador de igualdade (=) em SearchConditionExpression. Os operadores de comparação, intervalo e associação por conjuntos (<>, <, <=, >, >=, IN) ainda não estão disponíveis. Diferentemente das chaves de partição de índice vetorial, os filtros integrados são opcionais durante a pesquisa.

Você pode habilitar o DynamoDB Streams em uma tabela que tenha um índice vetorial, com o parâmetro StreamSpecification ao criar a tabela ou por meio de UpdateTable. O fluxo captura as alterações no nível do item na tabela de base e opera independentemente do índice vetorial.

Você pode adicionar um índice vetorial a uma tabela global e converter uma tabela que tenha um índice vetorial em uma tabela global adicionando uma réplica com UpdateTable. A definição do índice vetorial, incluindo dimensões, função de distância, SearchSchema e projeção, é replicada automaticamente para cada nova região de réplica. Você não cria o índice vetorial separadamente na região da réplica.

Os itens que você grava em qualquer região de réplica são replicados para as outras regiões e indexados lá. Após a conclusão da replicação, SearchVectors em cada região pesquisa o mesmo conjunto de vetores. Como a pesquisa vetorial usa o vizinho mais próximo aproximado (ANN), pesquisas separadas em regiões diferentes podem retornar resultados ou ordenações ligeiramente diferentes para a mesma consulta, mesmo com dados idênticos. A replicação e a indexação de vetores nas outras regiões são assíncronas, mesmo para tabelas globais de forte consistência multirregional (MRSC). Um vetor que você acabou de gravar em uma região pode ainda não aparecer nos resultados de SearchVectors em outra região até que a alteração seja propagada.

Quando você restaura uma tabela a partir de uma recuperação pontual ou de um backup sob demanda, o DynamoDB restaura os dados da tabela de base e a definição do índice vetorial. Assim como nos índices secundários globais, o DynamoDB reconstrói o índice vetorial a partir dos dados restaurados da tabela de base, em vez de copiá-lo byte por byte, de modo que o índice passa pelo preenchimento antes de estar pronto para a pesquisa. Espere até que IndexStatus seja ACTIVE e Backfilling seja false no índice restaurado antes de executar SearchVectors.

Você pode usar o DynamoDB TTL em uma tabela que tenha um índice vetorial. Quando o TTL exclui um item expirado da tabela de base, o DynamoDB remove a entrada correspondente do índice vetorial, da mesma forma que uma exclusão manual. Portanto, os itens expirados param de aparecer nos resultados de SearchVectors após a propagação da exclusão para o índice.

Você pode exportar uma tabela que tenha um índice vetorial para o Amazon S3; a exportação contém os itens da tabela de base, incluindo os atributos vetoriais armazenados neles. Ao importar dados do Amazon S3 para uma nova tabela, defina o índice vetorial na solicitação de importação da mesma forma que você faria com CreateTable. O DynamoDB indexa os itens importados à medida que eles são gravados, e o índice vetorial fica disponível após a conclusão da importação.

O DynamoDB Accelerator (DAX) não oferece suporte à operação de SearchVectors. Envie solicitações de SearchVectors diretamente para o DynamoDB, mesmo quando seu aplicativo usa o DAX para outras operações de leitura. O cache do DAX das leituras da tabela de base não é afetado pela presença de um índice vetorial.