평가 양식의 자동 채점 옵션

전제 조건

  • Genesys Cloud CX 3, Genesys Cloud CX 4, Genesys Cloud CX 2 WEM Add-on I, Genesys Cloud CX 1 WEM Add-on II 또는 Genesys Cloud EX 라이선스
  • 품질 관리자 권한
  • Quality > Evaluation Form > Edit AI scoring
  • Optionally, you set the Quality > Evaluation > View Sensitive Data permission and see the reasoning that AI uses to determine why the selected answer was chosen.

Genesys offers automated scoring capabilities for evaluation questions, enabling supervisors to spend more time coaching and less time on manual interaction reviews. These capabilities streamline quality management processes and help agents continuously improve. By transforming conversation data into actionable insights, both Genesys AI Scoring and Evaluation Assistance deliver measurable improvements in service quality and operational efficiency. Both solutions support voice and digital interaction types.

AI Scoring Overview

Genesys AI Scoring is an AI-driven capability that automates the evaluation of customer interactions. Rather than depending solely on manual assessments, it uses AI models trained against predefined quality criteria to score conversations at scale.

This results in faster, more consistent, and more objective evaluations, eliminating human bias and ensuring that a larger, more representative set of interactions is reviewed. In addition to automated scoring, AI Scoring provides detailed answer explanations that supervisors can use as targeted coaching feedback to enhance agent performance.

Evaluation Assistance Overview

Evaluation Assistance leverages topics to automate answers to specific evaluation form questions. Topics consist of phrases that represent business intents. For example, to detect interactions where a customer wants to cancel a service, you could create a topic named Cancellation and include phrases such as “close out my account” or “I want to cancel.”

These topics improve recognition of organization-specific language by tuning the underlying language models to look for the terms and phrases that matter most to your business.

When an evaluation assistance condition is added to a form question, speech and text analytics identify interactions that contain the associated topics. If a matching topic is found, the system automatically generates the answer to that question.

For more information, see: Understand programs, topics, and phrases, and Work with a topic.

    1. 질문 그룹을 만드세요. 자세한 내용은 다음을 참조하세요. 평가양식을 생성하고 게시하세요 .
    2. 새로운 질문을 추가하면 각 질문에 대한 자동 채점을 설정할 수 있습니다.
      평가 질문에 대한 자동 채점을 선택하세요
      옵션은 다음과 같습니다.
      • No Automation
      • AI 스코어링
      • 평가 지원
    3. 질문을 저장하고 평가 양식 설정을 완료하세요. 자세한 내용은 다음을 참조하세요. 평가양식을 작성하고 게시하세요 .

    평가 양식 편집기에서 질문별로 AI 채점을 활성화하면 Genesys Cloud에서 AI를 사용하여 평가의 답변을 미리 채울 수 있습니다.

    질문 프롬프트 만들기

    프롬프트는 질문 그룹의 텍스트, 질문, 답변, 도움말 텍스트를 바탕으로 자동으로 구성됩니다. 불분명한 질문을 다시 표현하고 해당 분야에 맥락을 추가하면 AI 채점을 위한 질문의 효과를 높일 수 있습니다.

    예시

    AI 채점에서 질문 프롬프트 도움말

    예시: 모호한 질문 1: “고객이 만족했나요?”

    • AI 스코어링을 위한 명확한 질문 : "대화가 끝날 때까지 상담원이 고객의 문제를 만족스럽게 해결했습니까?"
    • 도움말 텍스트 : “대리인이 고객의 주요 관심사를 해결했는지에 초점을 맞추십시오. 고객이 긍정적인 피드백을 표현했거나 마지막에 만족감을 표시했는지 여부.

    예시: 모호한 질문 2: “대리인이 고객을 제대로 맞이했나요?”

    • AI 스코어링을 위한 명확한 질문 : "상담원이 전화를 시작할 때 고객에게 친절한 어조로 인사하고 이름을 언급했습니까?"
    • 도움말 텍스트 : “대리인이 따뜻하고 정중한 태도로 인사하고 고객의 이름을 사용했는지 확인하십시오. 전화 통화를 시작한 후 30초 이내에 친근한 분위기를 조성합니다."

    프롬프트 필터

    구성됨 AI 채점을 위한 질문은 프롬프트 필터를 사용하므로 Genesys Cloud는 AI 모델의 답변에 높은 신뢰 수준이 있는 질문에만 답변을 제공합니다.

    • 답변 제한 : AI 스코어링 구성을 저장할 수 없습니다. 3개 이상의 답변 선택지가 있는 질문입니다.
    • N/A 또는 증거 없음 : 이 경우 AI 모델은 질문에 답할 만큼 충분한 정보가 없습니다. 제네시스 클라우드 AI 모델이 답변을 제공할 수 없는 경우 컨텍스트를 표시합니다.
      증거 없음 프롬프트 필터
    • Historical Accuracy: Genesys Cloud continually reviews stored data from AI-generated scoring answers to assess their reliability. Accuracy is measured by how frequently a human evaluator modifies an AI-provided answer. When accuracy reaches an acceptable threshold, Genesys Cloud automatically displays that AI-generated answer for future evaluations that include the same question. Historical accuracy is calculated using the most recent 25 submissions for each question. If accuracy within this rolling window drops below 75%, the question is flagged with a low-confidence warning and the AI-generated answer is hidden from evaluators. However, Genesys Cloud continues generating and storing AI answers in the background, allowing accuracy to be reassessed as new evaluations come in. Once the accuracy returns to at least 75%—based on the same 25-submission window—the low-confidence flag is removed, and the AI-generated answer becomes visible to evaluators again.

    메모:
    • 양식을 변경하고 다시 게시하는 경우 Genesys Cloud 구성된 AI 채점을 통해 질문의 추적된 기록을 재설정합니다.
    • Genesys Cloud 추적 최대 30일까지 특정 질문에 대한 기록을 볼 수 있습니다. 30일 동안 해당 질문에 대한 활동이 없으면 기록이 삭제됩니다.
    • For more information about AI Scoring guidelines and best practices. see AI scoring best practices.
    • For more information about how to create Agent Auto complete evaluation forms, see Agent auto complete form type.

      양식 질문에 평가 지원 조건 추가

      1. 평가 양식 질문을 만듭니다.
      2. 딸깍 하는 소리 평가 지원 조건 추가 답변을 자동으로 생성하려는 답변과 연결되어 있습니다. 
      3. 로부터 선택 대화 목록에서 대화에 하나 이상의 주제를 포함하거나 제외할지 여부를 선택합니다.
      4. 로부터 이 주제 목록에서 하나 이상의 주제를 선택합니다.
      5. (선택사항) 평가 지원 조건 추가 동일한 답변에 다른 조건을 추가하려면 옵션을 다시 선택하십시오.

      메모:
      • A topic cannot be used in more than one evaluation assistance condition.
      • 주제를 삭제하면 삭제된 주제를 포함하는 조건이 더 이상 유효하지 않습니다.
      • 평가 지원 조건은 질문당 하나의 답변에 대해서만 구성할 수 있습니다.
      • When more than one topic is selected for a single Includes condition, only one of the topics must be found for the condition to be true.
      • When more than one topic is selected for a single Excludes condition, only one of the topics must be found for the condition to be false. For the condition to be true, all topics must be absent from the interaction.
      • When more than one condition is created for a single answer, all the conditions must be true for the answer to be automatically entered.