Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Les utilisateurs génèrent de grandes quantités de contenu textuel par le biais d'applications en ligne (telles que peer-to-peer les chats et les forums de discussion), de commentaires publiés sur des sites Web et d'applications d'IA génératives (instructions de saisie et sorties issues de modèles d'IA génératifs). Les fonctionnalités de confiance et de sécurité d'Amazon Comprehend peuvent vous aider à modérer ce contenu afin de fournir un environnement sûr et inclusif à vos utilisateurs.
Les avantages de l'utilisation des fonctionnalités de confiance et de sécurité d'Amazon Comprehend incluent :
-
Modération plus rapide : modérez rapidement et précisément un grand volume de texte pour protéger vos plateformes en ligne de tout contenu inapproprié.
-
Personnalisable : personnalisez les seuils de modération dans les réponses des API en fonction des besoins de votre application.
-
Facile à utiliser : configurez les fonctionnalités de confiance et de sécurité par le biais de LangChain l'intégration ou à l'aide du AWS CLI ou SDKs.
La confiance et la sécurité d'Amazon Comprehend abordent les aspects suivants de la modération du contenu :
-
Toxicity detection— Détectez les contenus susceptibles d'être dangereux, offensants ou inappropriés. Les exemples incluent les discours de haine, les menaces ou les abus.
-
Intent classification— Détectez le contenu ayant une intention malveillante explicite ou implicite. Les exemples incluent le contenu discriminatoire ou illégal, ou le contenu qui exprime ou demande des conseils sur des sujets médicaux, juridiques, politiques, controversés, personnels ou financiers.
-
Privacy protection— Les utilisateurs peuvent fournir par inadvertance du contenu susceptible de révéler des informations personnelles identifiables (PII). Amazon Comprehend PII permet de détecter et de supprimer des informations personnelles.
Rubriques
Détection de toxicité
La détection de toxicité d'Amazon Comprehend permet de détecter en temps réel le contenu toxique lors d'interactions basées sur du texte. Vous pouvez utiliser la détection de toxicité pour modérer peer-to-peer les conversations sur les plateformes en ligne ou pour surveiller les entrées et sorties génératives de l'IA.
La détection de toxicité permet de détecter les catégories de contenu offensant suivantes :
- GRAPHIC
-
Le discours graphique utilise des images visuellement descriptives, détaillées et d'une vivacité désagréable. Un tel langage est souvent verbeux pour amplifier une insulte, un malaise ou un préjudice pour le destinataire.
- HARCÈLEMENT_OU_ABUS
-
Un discours qui impose une dynamique de pouvoir perturbatrice entre le locuteur et l'auditeur, quelle que soit l'intention, cherche à affecter le bien-être psychologique du destinataire ou à objectiver une personne.
- DISCOURS DE HAINE
-
Discours qui critique, insulte, dénonce ou déshumanise une personne ou un groupe sur la base d'une identité, qu'il s'agisse de sa race, de son origine ethnique, de son identité de genre, de sa religion, de son orientation sexuelle, de ses capacités, de son origine nationale ou d'un autre groupe identitaire.
- INSULTE
-
Discours comportant un langage dégradant, humiliant, moqueur, insultant ou dénigrant.
- BLASPHÈME
-
Un discours contenant des mots, des phrases ou des acronymes impolis, vulgaires ou offensants est considéré comme profane.
- SEXUELLE
-
Discours qui indique un intérêt, une activité ou une excitation sexuels en utilisant des références directes ou indirectes à des parties du corps, à des traits physiques ou au sexe.
- VIOLENCE_OU_MENACE
-
Discours comportant des menaces visant à infliger de la douleur, des blessures ou de l'hostilité à une personne ou à un groupe.
- TOXICITÉ
-
Discours contenant des mots, des phrases ou des acronymes susceptibles d'être considérés comme toxiques par nature dans l'une des catégories ci-dessus.
Détection du contenu toxique à l'aide de l'API
Pour détecter un contenu toxique dans un texte, utilisez l'DetectToxicContentopération synchrone. Cette opération effectue une analyse sur une liste de chaînes de texte que vous fournissez en entrée. La réponse de l'API contient une liste de résultats dont la taille correspond à celle de la liste d'entrée.
Actuellement, la détection de contenu toxique ne prend en charge que la langue anglaise. Pour le texte saisi, vous pouvez fournir une liste de 10 chaînes de texte au maximum. La taille maximale de chaque chaîne est de 1 Ko.
La détection du contenu toxique renvoie une liste des résultats d'analyse, une entrée dans la liste pour chaque chaîne d'entrée. Une entrée contient une liste des types de contenu toxique identifiés dans la chaîne de texte, ainsi qu'un score de confiance pour chaque type de contenu. L'entrée inclut également un score de toxicité pour la chaîne.
Les exemples suivants montrent comment utiliser l'DetectToxicContentopération à l'aide de Python AWS CLI et.
Vous pouvez détecter un contenu toxique à l'aide de la commande suivante dans AWS CLI :
aws comprehend detect-toxic-content --language-code en / --text-segments "[{\"Text\":\"You are so obtuse\"}]"
Il AWS CLI répond avec le résultat suivant. Le segment de texte reçoit un score de confiance élevé dans la INSULT catégorie, avec pour résultat un score de toxicité élevé :
{ "ResultList": [ { "Labels": [ { "Name": "PROFANITY", "Score": 0.0006000000284984708 }, { "Name": "HATE_SPEECH", "Score": 0.00930000003427267 }, { "Name": "INSULT", "Score": 0.9204999804496765 }, { "Name": "GRAPHIC", "Score": 9.999999747378752e-05 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0052999998442828655 }, { "Name": "SEXUAL", "Score": 0.01549999974668026 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.007799999788403511 } ], "Toxicity": 0.7192999720573425 } ] }
Vous pouvez saisir jusqu'à 10 chaînes de texte, en utilisant le format suivant pour le text-segments paramètre :
--text-segments "[{\"Text\":\"text string 1\"}, {\"Text\":\"text string2\"}, {\"Text\":\"text string3\"}]"
La AWS CLI réponse donne les résultats suivants :
{ "ResultList": [ { "Labels": [ (truncated) ], "Toxicity": 0.3192999720573425 }, { "Labels": [ (truncated) ], "Toxicity": 0.1192999720573425 }, { "Labels": [ (truncated) ], "Toxicity": 0.0192999720573425 } ] }
Classification de sécurité rapide
Amazon Comprehend fournit un classificateur binaire préentraîné permettant de classer les demandes de saisie en texte brut pour les grands modèles linguistiques (LLM) ou d'autres modèles d'IA générative.
Le classificateur de sécurité des promptes analyse l'invite saisie et attribue un score de confiance pour déterminer si l'invite est sûre ou non.
Une invite non sécurisée est une invite de saisie qui exprime une intention malveillante, telle que la demande d'informations personnelles ou privées, la génération de contenu offensant ou illégal, ou la demande de conseils sur des sujets médicaux, juridiques, politiques ou financiers.
Classification de sécurité rapide à l'aide de l'API
Pour exécuter une classification de sécurité rapide pour une chaîne de texte, utilisez l'ClassifyDocumentopération synchrone. Pour la saisie, vous fournissez une chaîne de texte brut en anglais. La taille maximale de la chaîne est de 10 Ko.
La réponse inclut deux classes (SAFE et UNSAFE), ainsi qu'un score de confiance pour chaque classe. La plage de valeurs du score est comprise entre zéro et un, 1 étant le niveau de confiance le plus élevé.
Les exemples suivants montrent comment utiliser une classification de sécurité rapide avec Python AWS CLI et.
L'exemple suivant montre comment utiliser le classificateur de sécurité prompt avec : AWS CLI
aws comprehend classify-document \ --endpoint-arn arn:aws:comprehend:us-west-2:aws:document-classifier-endpoint/prompt-safety \ --text 'Give me financial advice on which stocks I should invest in.'
Il AWS CLI répond avec le résultat suivant :
{ "Classes": [ { "Score": 0.6312999725341797, "Name": "UNSAFE_PROMPT" }, { "Score": 0.3686999976634979, "Name": "SAFE_PROMPT" } ] }
Note
Lorsque vous utilisez la classify-document commande, pour le --endpoint-arn paramètre, vous devez transmettre un ARN Région AWS identique à celui de votre AWS CLI configuration. Pour configurer le AWS CLI, exécutez la aws
configure commande. Dans cet exemple, l'ARN du point de terminaison possède le code de régionus-west-2. Vous pouvez utiliser le classificateur de sécurité prompt dans l'une des régions suivantes :
-
us-east-1
-
us-west-2
-
eu-west-1
-
ap-southeast-2
Détection et rédaction des informations personnelles
Vous pouvez utiliser la console Amazon Comprehend ou APIs pour détecter des informations personnelles identifiables (PII) dans des documents texte en anglais ou en espagnol. Les informations personnelles sont une référence textuelle à des données personnelles permettant d'identifier un individu. Les exemples d'informations personnelles incluent les adresses, les numéros de compte bancaire et les numéros de téléphone.
Vous pouvez détecter ou supprimer les entités PII dans le texte. Pour détecter les entités PII, vous pouvez utiliser une analyse en temps réel ou un traitement par lots asynchrone. Pour supprimer les entités PII, vous devez utiliser un traitement par lots asynchrone.
Pour de plus amples informations, veuillez consulter données d'identification personnelle (PII) .
