신뢰도 점수 사용 - Amazon Lex V1
세션 관리

Amazon Lex V2를 사용하는 경우 Amazon Lex V2 가이드를 대신 참조하십시오.

 

Amazon Lex V1을 사용하는 경우 봇을 Amazon Lex V2로 업그레이드하는하는 것이 좋습니다. 더 이상 V1에 새로운 기능을 추가하지 않으므로 모든 새 봇에 V2를 사용할 것을 강력히 권장합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

신뢰도 점수 사용

사용자가 말을 하면 Amazon Lex는 자연어 이해(NLU) 를 사용하여 사용자의 요청을 이해하고 적절한 의도를 제시합니다. 기본적으로 Amazon Lex는 봇이 정의한 가장 가능성이 높은 의도를 반환합니다.

경우에 따라 Amazon Lex에서 가장 가능성이 높은 의도를 파악하기 어려울 수 있습니다. 예를 들어, 사용자가 모호한 말을 하거나 비슷한 의도가 두 개 있을 수 있습니다. 적절한 의도를 판단하는 데 도움이 되도록 도메인 지식을 대체 의도 목록의 신뢰도 점수와 결합할 수 있습니다. 신뢰도 점수는 Amazon Lex가 제공하는 등급으로, 의도가 올바른 의도라고 확신하는 정도를 나타냅니다.

두 대체 의도 간의 차이를 확인하기 위해 두 대체 의도의 신뢰도 점수를 비교할 수 있습니다. 예를 들어 한 의도의 신뢰도 점수가 0.95이고 다른 의도의 신뢰도 점수가 0.65이면 첫 번째 의도가 올바른 것일 수 있습니다. 하지만 한 의도의 점수가 0.75점이고 다른 의도의 점수가 0.72인 경우 애플리케이션에서 도메인 지식을 사용하여 구별할 수 있는 모호함이 두 가지 의도 사이에 있습니다.

신뢰도 점수를 사용하여 의도의 표현 변경이 봇의 동작에 영향을 미치는지 확인하는 테스트 애플리케이션을 만들 수도 있습니다. 예를 들어 표현 세트를 사용하여 봇의 의도에 대한 신뢰도 점수를 얻은 다음 새 표현으로 의도를 업데이트할 수 있습니다. 그런 다음 신뢰도 점수를 확인하여 개선이 있었는지 확인할 수 있습니다.

Amazon Lex가 반환하는 신뢰도 점수는 비교 값입니다. 절대 점수로서 의존해서는 안됩니다. 점수는 Amazon Lex의 개선 사항에 따라 변경될 수 있습니다.

신뢰도 점수를 사용하면 Amazon Lex는 각 응답에서 가장 가능성이 높은 의도와 최대 4개의 대체 의도를 관련 점수와 함께 반환합니다. 모든 신뢰도 점수가 임계값 미만인 경우 Amazon Lex는 AMAZON.FallbackIntent, AMAZON.KendraSearchIntent, 또는 둘 다를 포함합니다.(미리 구성한 경우). 기본 임계값을 사용하거나, 직접 자신의 임계값을 설정할 수도 있습니다.

다음 JSON 코드는 PostText 작업에 대한 응답의 alternativeIntents 필드를 보여줍니다.

   "alternativeIntents": [ 
      { 
         "intentName": "string",
         "nluIntentConfidence": { 
            "score": number
         },
         "slots": { 
            "string" : "string" 
         }
      }
   ],

봇을 생성 또는 업데이트할 때 임계값을 설정합니다. API 또는 Amazon Lex 콘솔을 사용할 수 있습니다. 아래 나열된 지역의 경우 정확성 향상 및 신뢰도 점수를 활성화하려면 옵트인해야 합니다. 콘솔의 고급 옵션 섹션에서 신뢰도 점수를 선택합니다. API를 사용하여 PutBot 작업을 호출할 때 enableModelImprovements 파라미터를 설정하십시오.

  • 미국 동부(버지니아 북부)(us-east-1)

  • 미국 서부(오레곤)(us-west-2)

  • 아시아 태평양(시드니)(ap-southeast-2)

  • 유럽(아일랜드)(eu-west-1)

다른 모든 지역에서는 정확도 개선 및 신뢰도 점수 지원이 기본적으로 제공됩니다.

신뢰도 임계값을 변경하려면 콘솔에서 설정하거나 PutBot 작업을 사용하여 신뢰도 임계값을 설정하십시오. 임계값은 1.00에서 0.00 사이의 숫자여야 합니다.

콘솔을 사용하려면 봇을 만들거나 업데이트할 때 신뢰 임계값을 설정하세요.

봇 생성 시 신뢰 임계값 설정하기(콘솔)

  • 봇 만들기에서 신뢰도 점수 임계값 필드에 값을 입력합니다.

신뢰도 임계값을 업데이트하려면(콘솔)

  1. 봇 목록에서 업데이트할 봇을 선택합니다.

  2. 설정 탭을 선택합니다.

  3. 왼쪽 탐색 창에서 일반을 선택합니다.

  4. 신뢰도 점수 임계값 필드의 값을 업데이트하십시오.

신뢰도 임계값을 설정 또는 업데이트하려면(SDK)

  • PutBot 작업 nluIntentConfidenceThreshold 파라미터를 설정합니다. 다음 JSON 코드는 설정 중인 파라미터를 보여줍니다.

       "nluIntentConfidenceThreshold": 0.75,

세션 관리

Amazon Lex가 사용자와의 대화에서 사용하는 의도를 변경하려면 대화 상자 코드 후크 Lambda 함수의 응답을 사용하거나 사용자 지정 애플리케이션에서 세션 관리 API를 사용할 수 있습니다.

Lambda 함수 사용

Lambda 함수를 사용하는 경우 Amazon Lex는 함수에 대한 입력이 포함된 JSON 구조를 사용하여 함수를 호출합니다. JSON 구조는 Amazon Lex가 사용자 표현에 대한 가장 가능성이 높은 의도로 식별한 의도가 포함된, currentIntent로 불리는 필드를 포함합니다. JSON 구조에는 사용자의 의도를 충족시킬 수 있는 최대 4개의 추가 의도를 포함하는 alternativeIntents 필드도 포함됩니다. 각 의도에는 Amazon Lex가 의도에 할당한 신뢰도 점수가 포함된, nluIntentConfidenceScore라고 불리는 필드가 포함되어 있습니다.

대체 의도를 사용하려면 Lambda 함수의 ConfirmIntent 또는 ElicitSlot 대화 작업에서 해당 의도를 지정합니다.

자세한 내용은 Lambda 함수 사용을 참조하세요.

세션 관리 API 사용

현재 의도와 다른 의도를 사용하려면 PutSession 작업을 사용하세요. 예를 들어 Amazon Lex가 선택한 의도보다 첫 번째 대안이 더 낫다고 판단되면 PutSession 작업을 사용하여 의도를 변경하여 사용자가 상호 작용하는 다음 의도가 선택한 의도가 되도록 할 수 있습니다.

자세한 내용은 Amazon Lex API로 세션 관리을 참조하세요.