생성형 AI를 사용하여 Connect Customer에서 에이전트 성능 평가

생성형 AI를 사용하여 대화 기록만 필요한 질문에 답합니다. 소프트 스킬에 대한 질문, 통화 흐름을 확인하는 질문 또는 규정 준수 문이 그 예입니다.

복잡한 질문을 더 간단한 여러 질문으로 분할합니다. 예를 들어 "에이전트가 능동적인 듣기를 보였나요?" 대신 "에이전트가 처음으로 고객의 문제를 이해했나요?"라는 두 가지 질문을 합니다. 및 "고객이 문제를 설명한 후 에이전트가 문제를 요약했나요?".

조건부로 활성화된 질문을 사용하여 특정 상황에서만 적용할 수 있는 질문을 활성화하거나 비활성화합니다. 예를 들어 '고객이 대화 중에 제품을 구매했나요?'라는 질문과 '판매를 완료하기 전에 에이전트가 필수 요금 공개를 제공했나요?'라는 조건부로 활성화된 후속 질문이 있을 수 있습니다. 자세한 내용은 4단계: 조건부로 질문 활성화 섹션을 참조하세요.

생성형 AI를 사용하여 대화 기록 외부에 정보가 필요한 질문에 답변하지 마세요. 생성형 AI는 화면 녹화를 분석하거나, CRM 애플리케이션과 같은 내부 또는 타사 시스템에 액세스하거나, 여러 고객 응대 간의 대화를 평가할 수 없습니다.

생성형 AI를 사용하여 “고객이 과도한 보류를 했나요?”와 같은 정량화 가능한 활동을 평가하지 마세요. 또는 "고객이 자주 중단되었습니까?". 대신 질문 유형을 숫자로 설정하고 가장 긴 대기 기간 또는 중단 횟수와 같은 지표를 사용합니다. 자세한 내용은 6단계: 자동 평가 활성화 섹션을 참조하세요.

여러 당사자(다른 에이전트, 파트너 기관 또는 두 번째 고객) 간의 상호 작용을 평가하는 질문을 자동화하지 마세요. 대화 분석은 한 번에 두 명의 참가자만 인식합니다. 예를 들어 "기본 계정 소유자 이외의 다른 사람이 대화에 참여한 경우 에이전트가 진행하기 전에 먼저 기본 계정 소유자에게 확인했나요?"와 같은 질문을 피합니다.

어조에 따라 질문하지 마세요. 생성형 AI는 에이전트 또는 고객의 어조를 확인할 수 없습니다.

“상담 중에 에이전트가 주의를 기울였나요?”와 같은 주관적인 질문에는 생성형 AI를 사용하지 마세요.

질문을 완전한 문장으로 표현합니다. “ID 검증” 대신 “에이전트가 고객의 자격 증명을 검증하려고 했나요?”라고 질문합니다.

질문에 대한 평가자 지침에서 자세한 평가 기준을 추가합니다. “에이전트가 고객의 자격 증명을 검증하려고 했나요?”에 지침을 추가합니다. 에이전트가 질문을 해결하기 전에 고객의 멤버십 번호와 우편 번호를 요청한 경우 답변은 예입니다. 그렇지 않으면 답은 아니요입니다.

질문이 의존하는 비즈니스별 용어를 정의합니다. 에이전트가 인사말에서 부서 이름을 지정해야 하는 경우 지침에 부서 이름 예제를 나열합니다.

"에이전트"와 "고객"을 일관되게 사용합니다. "동료", "대표" 또는 "연결", "멤버", "콜러" 또는 "구독자"와 같은 변형을 피합니다.

누가 평가되고 있는지 명확히 합니다. “에이전트가 비속어 사용을 피했나요?” 는 욕설이 어디에서 발생했는지 묻는 것으로 읽을 수 있으며, 고객만 욕설을 사용했더라도 "아니요"를 반환합니다. "에이전트가 비속어를 사용했나요?"라고 질문합니다. 대신.

질문을 긍정적으로 표현합니다. “에이전트가 고객에게 인사했나요?”를 사용합니다. "에이전트가 인사말을 건너뛰었습니까?" 대신. 질문을 긍정적으로 표현하면 AI 평가 추론 및 참조가 향상됩니다.

답변이 해당 없음(해당 사항 없음)인 경우를 지정합니다. 예: 통화로 인해 전송이 발생한 경우 응답은 N/A입니다.

평가자에게 보내는 지침에서 AI가 각 답변 옵션을 선택해야 하는 시기를 설명합니다. "에이전트가 해결 기간을 제공했나요?"에 다음 지침을 추가합니다. 에이전트가 해결 기간을 제공한 경우 답변은 예, 그렇지 않으면 아니요. 각 옵션을 설명하지 않으면 질문이 선택 사항이 아니더라도 AI가 해당 없음을 선택할 수 있습니다.

지정된 에이전트 동작의 전부 또는 일부가 필요한지 명확히 합니다. 에이전트가 이름을 요청했지만 전화번호를 요청하지 않은 경우 “에이전트는 고객의 이름과 전화번호를 요청해야 합니다.”가 실패합니다.

표준 통화 흐름뿐만 아니라 비표준 시나리오에 대한 예를 포함합니다. 에이전트가 표준 통화에서 "일반적으로 3~5영업일이 걸립니다"라고 말할 것으로 예상되는 경우 "업데이트를 통해 30분 이내에 다시 전화하겠습니다"와 같은 콜백 문구도 포함해야 합니다. Standard-flow-only 예제에서는 콜백, 에스컬레이션 및 전송에 대한 응답이 일관되지 않습니다.

한 가지 실패 답변은 전체 양식의 평가 점수에 영향을 미치므로 자동 실패 질문에 가장 주의를 기울이세요. 엣지 케이스 및 비표준 시나리오를 다룹니다. 점수에 대한 자세한 내용은 단원을 참조하십시오5단계: 답변에 점수 및 범위 할당.

정확한 문구가 필요하지 않은 한 큰따옴표를 사용하지 마세요. 명령이를 확인하는 경우 "Have a nice day"AI가 일치하지 않습니다. 좋은 오후를 보내세요. 대신 쓰기: The agent wished the customer a nice day.

두문자어를 사용하지 마세요. AI가 올바르게 해석할 수 있도록 “CFPB”와 같은 전체 용어를 작성합니다.

트랜스크립트에서 철자가 잘못될 가능성이 있는 적절한 명사를 사용하지 마세요. Klarity Pay와 같은 제품 이름은 다르게 트랜스크립션되어 일치를 방지할 수 있습니다.

모호한 질문은 사용하지 마세요. “에이전트가 적절한 언어를 사용했나요?” 대신 “에이전트가 비속어를 사용했나요?”라고 질문합니다.

긴 축약 스크립트를 사용하지 마세요. 사소한 트랜스크립션 차이로 인해 전체 스크립트가 손상되므로 "Thank you for calling ABC Bank. How may I assist you?" 거의 일치하지 않는지 확인합니다.

예, 아니요, 부분과 같은 간단하고 짧은 응답 옵션을 사용합니다.

질문이 적용되지 않을 수 있는 경우 선택적 질문 설정을 활성화합니다. 이렇게 하면 평가자가 질문을 건너뛰거나 해당 없음으로 표시할 수 있습니다.

답변 옵션에는 철자 오류나 특수 문자를 사용하지 마세요. 생성형 AI 답변의 정확도가 떨어질 수 있습니다.

너무 많은 응답 옵션을 사용하지 마세요. "고객 경험은 어떠했나요?"에서 좋음, 좋음, 좋음, 나쁨, 매우 나쁨, 끔찍함과 같은 긴 목록은 정확도를 떨어뜨립니다. 대신 더 작은 개별 옵션 세트를 사용합니다.

생성형 AI 모델이 응답 옵션을 잘못 재현할 수 있으므로 응답 옵션에 긴 텍스트를 사용하지 마세요.