Personnaliser l'ingestion pour une source de données - Amazon Bedrock
Choisissez l'outil à utiliser pour l'analyseChoisissez une stratégie de segmentationUtiliser une fonction Lambda pendant l'ingestion

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Personnaliser l'ingestion pour une source de données

Vous pouvez personnaliser l'ingestion vectorielle lorsque vous connectez une source de données dans le AWS Management Console ou en modifiant la valeur du vectorIngestionConfiguration champ lors de l'envoi d'une CreateDataSourcedemande.

Sélectionnez une rubrique pour savoir comment inclure des configurations permettant de personnaliser l'ingestion lors de la connexion à une source de données :

Choisissez l'outil à utiliser pour l'analyse

Vous pouvez personnaliser le mode d'analyse des documents contenus dans vos données. Pour en savoir plus sur les options d'analyse des données dans les bases de connaissances Amazon Bedrock, consultez. Options d'analyse pour votre source de données

Avertissement

Vous ne pouvez pas modifier la stratégie d'analyse après vous être connecté à la source de données. Pour utiliser une autre stratégie d'analyse, vous pouvez ajouter une nouvelle source de données.

Vous ne pouvez pas ajouter d'emplacement S3 pour stocker des données multimodales (notamment des images, des figures, des graphiques et des tableaux) après avoir créé une base de connaissances. Si vous souhaitez inclure des données multimodales et utiliser un analyseur qui les prend en charge, vous devez créer une nouvelle base de connaissances.

Les étapes du choix d'une stratégie d'analyse varient selon que vous utilisez l'API Amazon Bedrock AWS Management Console ou l'API Amazon Bedrock et selon la méthode d'analyse que vous choisissez. Si vous choisissez une méthode d'analyse qui prend en charge les données multimodales, vous devez spécifier un URI S3 dans lequel stocker les données multimodales extraites de vos documents. Ces données peuvent être renvoyées dans une requête de la base de connaissances.

  • Dans le AWS Management Console, procédez comme suit :

    1. Sélectionnez la stratégie d'analyse lorsque vous vous connectez à une source de données lors de la configuration d'une base de connaissances ou lorsque vous ajoutez une nouvelle source de données à votre base de connaissances existante.

    2. (Si vous choisissez Amazon Bedrock Data Automation ou un modèle de base comme stratégie d'analyse) Spécifiez un URI S3 dans lequel stocker les données multimodales extraites de vos documents dans la section Destination de stockage multimodal lorsque vous sélectionnez un modèle d'intégration et configurez votre magasin vectoriel. Vous pouvez également éventuellement utiliser une clé gérée par le client pour chiffrer vos données S3 à cette étape.

  • Dans l'API Amazon Bedrock, procédez comme suit :

    1. (Si vous envisagez d'utiliser Amazon Bedrock Data Automation ou un modèle de base comme stratégie d'analyse) Incluez un SupplementalDataStorageLocationdans une VectorKnowledgeBaseConfigurationCreateKnowledgeBasedemande.

    2. Incluez un ParsingConfigurationdans le parsingConfiguration champ du VectorIngestionConfigurationdans la CreateDataSourcedemande.

      Note

      Si vous omettez cette configuration, les bases de connaissances Amazon Bedrock utilisent l'analyseur par défaut Amazon Bedrock.

Pour plus de détails sur la façon de spécifier une stratégie d'analyse dans l'API, développez la section correspondant à la stratégie d'analyse que vous souhaitez utiliser :

Pour utiliser l'analyseur par défaut, n'incluez aucun parsingConfiguration champ dans leVectorIngestionConfiguration.

Pour utiliser l'analyseur Amazon Bedrock Data Automation, spécifiez BEDROCK_DATA_AUTOMATION dans le parsingStrategy champ ParsingConfiguration et incluez un BedrockDataAutomationConfigurationdans le bedrockDataAutomationConfiguration champ, au format suivant :

{
    "parsingStrategy": "BEDROCK_DATA_AUTOMATION",
    "bedrockDataAutomationConfiguration": {
        "parsingModality": "string"
    }
}

Pour utiliser un modèle de base comme analyseur, spécifiez le BEDROCK_FOUNDATION_MODEL dans le parsingStrategy champ du ParsingConfiguration et incluez un BedrockFoundationModelConfigurationdans le bedrockFoundationModelConfiguration champ, selon le format suivant :

{
    "parsingStrategy": "BEDROCK_FOUNDATION_MODEL",
    "bedrockFoundationModelConfiguration": {
        "modelArn": "string",
        "parsingModality": "string",
        "parsingPrompt": {
            "parsingPromptText": "string"
        }
    }
}

Choisissez une stratégie de segmentation

Vous pouvez personnaliser la façon dont les documents contenus dans vos données sont segmentés à des fins de stockage et de récupération. Pour en savoir plus sur les options de segmentation des données dans les bases de connaissances Amazon Bedrock, consultez. Comment fonctionne le découpage du contenu pour les bases de connaissances

Avertissement

Vous ne pouvez pas modifier la stratégie de segmentation après vous être connecté à la source de données.

Dans le, AWS Management Console vous choisissez la stratégie de segmentation lorsque vous vous connectez à une source de données. Avec l'API Amazon Bedrock, vous incluez un ChunkingConfigurationdans le chunkingConfiguration champ du VectorIngestionConfiguration.

Note

Si vous omettez cette configuration, Amazon Bedrock divise votre contenu en morceaux d'environ 300 jetons, tout en préservant les limites de phrases.

Développez la section correspondant à la stratégie d'analyse que vous souhaitez utiliser :

Pour traiter chaque document de votre source de données comme un bloc source unique, spécifiez-le NONE dans le chunkingStrategy champ duChunkingConfiguration, au format suivant :

{
    "chunkingStrategy": "NONE"
}

Pour diviser chaque document de votre source de données en morceaux de taille approximativement identique, spécifiez FIXED_SIZE dans le chunkingStrategy champ ChunkingConfiguration et incluez un FixedSizeChunkingConfigurationdans le fixedSizeChunkingConfiguration champ, comme dans le format suivant :

{
    "chunkingStrategy": "FIXED_SIZE",
    "fixedSizeChunkingConfiguration": {
        "maxTokens": number,
        "overlapPercentage": number
    }
}

Pour diviser chaque document de votre source de données en deux niveaux, la deuxième couche contenant de plus petits fragments dérivés de la première couche, spécifiez HIERARCHICAL dans le chunkingStrategy champ ChunkingConfiguration et incluez le hierarchicalChunkingConfiguration champ, comme dans le format suivant :

{
    "chunkingStrategy": "HIERARCHICAL",
    "hierarchicalChunkingConfiguration": {
        "levelConfigurations": [{
            "maxTokens": number
        }],
        "overlapTokens": number
    }
}

Pour diviser chaque document de votre source de données en segments qui privilégient le sens sémantique par rapport à la structure syntaxique, spécifiez SEMANTIC dans le chunkingStrategy champ ChunkingConfiguration et incluez le semanticChunkingConfiguration champ, comme dans le format suivant :

{
    "chunkingStrategy": "SEMANTIC",
    "semanticChunkingConfiguration": {
        "breakpointPercentileThreshold": number,
        "bufferSize": number,
        "maxTokens": number
    }
}

Utiliser une fonction Lambda pendant l'ingestion

Vous pouvez post-traiter la façon dont les fragments source de vos données sont écrits dans le magasin vectoriel à l'aide d'une fonction Lambda de la manière suivante :

  • Incluez une logique de segmentation pour fournir une stratégie de segmentation personnalisée.

  • Incluez une logique pour spécifier les métadonnées au niveau des segments.

Pour en savoir plus sur l'écriture d'une fonction Lambda personnalisée pour l'ingestion, voir. Utilisez une fonction Lambda de transformation personnalisée pour définir la manière dont vos données sont ingérées Dans le, AWS Management Console vous choisissez la fonction Lambda lorsque vous vous connectez à une source de données. Avec l'API Amazon Bedrock, vous incluez un CustomTransformationConfigurationdans le CustomTransformationConfiguration champ du VectorIngestionConfigurationet spécifiez l'ARN du Lambda, comme dans le format suivant :

{
    "transformations": [{
        "transformationFunction": {
            "transformationLambdaConfiguration": {
                "lambdaArn": "string"
            }
        },
        "stepToApply": "POST_CHUNKING"
    }],
    "intermediateStorage": {
        "s3Location": {
            "uri": "string"
        }
    }
}

Vous spécifiez également l'emplacement S3 dans lequel stocker la sortie après avoir appliqué la fonction Lambda.

Vous pouvez inclure le chunkingConfiguration champ pour appliquer la fonction Lambda après avoir appliqué l'une des options de découpage proposées par Amazon Bedrock.