AI 채점 모범 사례

이 가이드에서는 Genesys Cloud Quality Management에서 효과적인 AI 평가 양식을 만드는 모범 사례를 설명합니다. 대화 내용을 바탕으로 모든 질문이 명확하고 객관적이며 측정 가능한지 확인하는 데 도움이 됩니다.

AI 채점은 대화 내용과 귀하가 제공한 평가 양식을 통해서만 상호작용을 평가합니다.

다음과 같은 메타데이터는 사용하지 않습니다.

  • 대기열 또는 라우팅 경로
  • 타임스탬프 또는 기간
  • 플랫폼 또는 시스템 메트릭

AI 채점은 말이나 글의 내용에만 초점을 맞춥니다. 톤, 태도 또는 추론된 의미에는 초점을 맞추지 않습니다.

하다

  • 쓰다 객관식, 대본 중심 질문 .
  • 제공하다 명확한 도움말 텍스트 측정 가능한 기준을 가지고 있습니다.
  • 사용 일관된 용어 (예: "대리인"과 "고객")
  • 쓰세요 완전한 문장 .
  • AI 채점 결과에 따라 질문을 지속적으로 개선합니다.

하지 않다

  • 묻다 주걱 질문(예: "상담원이 정중했나요?")
  • 사용 모호한 속기 (예: "인사말 프로토콜")
  • 필사본에 표시되지 않은 맥락을 가정합니다.
  • 에 대해 물어보세요 톤이나 감정 AI가 추론할 수 없는 것.

AI가 채점하는 평가 문제를 작성하려면 정밀성이 필요합니다.
AI 모델은 의도를 추론할 수 없습니다. 필사본에서 직접적이고 측정 가능한 증거를 찾아야 합니다.
핵심 원칙 세부정보 이것이 도움이 되는 이유 예시 질문 및 도움말 텍스트 나쁜 예
전사본 증거에 대한 앵커 대화 내용을 통해 확인할 수 있는 내용만 질문하세요. 질문을 측정 가능하게 유지하고 잘못된 가정을 방지합니다. 큐: 상담원이 "안녕하세요", "안녕하세요", "좋은 아침입니다"와 같은 표준적인 문구를 사용하여 고객을 맞이했습니까? 상담원이 고객을 맞이할 때 친절하게 들렸나요?
행동을 이분법적 또는 특정적으로 만드십시오 예/아니요 또는 정의된 객관식 답변을 사용하세요. 채점의 모호성을 줄입니다. 도움말 텍스트: 예 = 상담원이 표준적인 문구를 사용하여 고객을 맞이했습니다. 아니요 = 상담원이 인사를 하지 않았거나 모호한 표현을 사용했습니다. 담당자가 적절하게 인사했나요?
완전한 문장을 사용하세요 약어나 부분적인 문구는 피하세요. AI는 전체 문장을 더 정확하게 해석합니다. 큐: 상담원이 계좌 정보를 제공하기 전에 고객의 신원을 확인했습니까? “신원 확인.”
범위와 경계를 정의하세요 무엇이 중요하고 무엇이 중요하지 않은지 설명하세요. 잘못된 분류와 오탐지를 방지합니다. 도움말 텍스트: “생년월일을 확인해 주시겠습니까?” "이름이 뭐예요?"는 검증과 관련이 없는 한 계산에 넣지 마세요. 담당자가 고객을 확인했나요?
감정적이 아닌 관찰 가능하게 만들어라 보이는 것과 읽을 수 있는 것에 집중하세요. 평가의 일관성을 유지합니다. 큐: 상담원이 "죄송합니다" 또는 "이해했습니다"와 같은 문구를 사용하여 고객의 문제를 인정했습니까? 상담원은 공감적이었나요?
용어 표준화 양식 전체에서 같은 단어를 사용하세요. 모델 일관성을 향상시킵니다. 항상 "대리인"과 "고객"을 사용하세요. "대표", "고객", "협력사"를 섞어서 사용합니다.
대본 예시를 제공하세요 짧은 예/아니오 예를 포함하세요. AI가 실제 표현을 인식하는 데 도움이 됩니다. 예: "그 금액을 환불해 드릴게요." 아니요: "조사해 보겠습니다." —
각 질문에 초점을 맞추세요 질문당 하나의 행동만 테스트하세요. 혼합된 결과를 방지합니다. Q1: 직원이 고객에게 인사했나요? Q2: 담당자가 신원을 확인했나요? 상담원이 고객을 맞이했나요? 그리고 처음부터 신원을 확인하나요?
표현의 변형을 예상하세요 정확한 단어가 아닌 유연성을 가지고 글을 쓰세요. 경기 놓치는 일이 줄어듭니다. "대리인이 적어도 하나의 자격증명(예: 생년월일, 전화번호 또는 계좌번호)을 사용하여 신원을 확인했습니까?" "상담원이 계좌번호를 물었나요?"
질문을 비즈니스 목표에 맞춰 조정하세요 각 질문을 CX, 규정 준수 또는 효율성과 연관시키세요. 평가를 의미 있게 유지합니다. "대리인이 의무적 공개를 제공했나요?" "에이전트가 간단한 대화를 나누었나요?"

각 질문에는 다음을 정의하는 짧고 측정 가능한 도움말 텍스트(≤500자)가 포함되어야 합니다. 예 또는 아니오로 간주되는 것은 무엇입니까? , 예를 포함하고 예외 사례를 명확히 설명합니다.

예: 잘 작성된 질문과 도움말 텍스트

의지: 계정별 세부 정보를 제공하기 전에 고객의 신원을 확인하세요.

질문: 상담원이 계정별 세부 정보를 제공하기 전에 고객의 신원을 확인했습니까?

도움말 텍스트: 담당자는 최소한 하나의 신임장(예: 계좌번호, 생년월일, 전화번호, 주문 ID)을 확인해야 합니다.

  • 예: 상담원은 진행하기 전에 신원 확인을 했습니다.
  • 아니요: 상담원이 질문을 건너뛰거나 관련 없는 질문을 했습니다.

대본 예시

✅ 고객: "결제 정보를 업데이트해야 합니다."
상담원: "계좌번호 마지막 네 자리를 확인해 주시겠어요?"
❌ 고객: "결제 정보를 업데이트해야 합니다."
상담원: "물론이죠. 새로운 주소는 어디죠?"

  • 매달 AI 채점 보고서를 검토하여 신뢰도가 낮은 문제를 파악합니다.
  • 귀하의 업계 표현을 반영하는 예를 추가하세요(예: 의료 vs. 소매).
  • 인간 평가자를 AI가 사용하는 정의와 동일하게 조정합니다.
  • AI가 결과를 잘못 분류하는 경우 질문과 도움말 텍스트를 수정합니다.

오류 유형 발생 시 해결 방법
속도 제한 오류 에이전트당 AI 스코어링 요청의 일일 한도인 50개에 도달했습니다. 평가를 분산시키고, 재시도 횟수를 줄이거나, 할당량 증가를 요청하세요.
중복 평가 오류 동일한 평가자 ID와 대화가 있는 양식이 이미 있습니다. 제출하기 전에 기존 평가가 있는지 확인하세요. 재검토에는 다른 양식이나 평가자 ID를 사용하세요.
처리 실패 오류 질문의 설계가 너무 모호하거나 복잡합니다. 전사본만으로 측정 가능한 행동을 사용하여 질문을 다시 작성하세요.
질문에 대한 신뢰도가 낮음 AI는 모호하거나 주관적인 표현으로 인해 확신할 수 없습니다. 표현을 명확히 하고, 예를 추가하고, 용어를 표준화합니다.

AI 채점 플레이북 – 10개 질문으로 구성된 에이전트 평가 샘플 양식

이 샘플 평가 양식은 주요 서비스 기본 사항(예: 규정 준수, 공감, 효율성)을 AI 채점에 최적화된 객관식 필사본 기반 질문으로 결합했습니다. 각 질문은 일관된 표현과 측정 가능한 기준을 사용하여 관찰 가능한 행동 하나를 측정하도록 설계되었습니다.

이 양식은 객관적이고 성적 증명서 기반의 평가 기준을 보여줍니다.

질문:
상담원이 대화를 시작할 때 "안녕하세요", "안녕하세요", "좋은 아침입니다"와 같은 표준 인사말을 사용하여 고객에게 인사했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
상담원은 정중한 인사로 대화를 시작해야 합니다. 허용되는 인사말로는 "안녕하세요", "안녕하세요", "좋은 아침입니다" 또는 이와 동등한 표현이 있습니다.

필사본 예:
고객: "제 계정에 도움이 필요합니다."
상담원: "좋은 아침이에요! ABC 지원팀에 전화해 주셔서 감사합니다."
→ AI는 예라고 표시합니다

질문:
상담원이 계정 관련 문제를 해결하기 전에 고객의 신원을 확인했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
상담원은 진행하기 전에 생년월일, 계정 ID, 전화번호 등 최소한 하나의 고객 신원 정보를 확인해야 합니다.

필사본 예:
고객: "청구지 주소를 업데이트하고 싶습니다."
상담원: "계좌번호 마지막 네 자리를 확인해 주시겠어요?"
→ AI는 예라고 표시합니다

질문:
상담원이 고객이 방해받지 않고 말을 마칠 수 있도록 했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
상담원이 고객의 말을 중간에 끊으면 방해가 발생합니다. 고객이 작업을 마친 후에 설명을 하는 것은 허용됩니다.

필사본 예:
고객: “문제는 언제 시작되었는가—”
상담원: "그만 두겠습니다..."
→ AI는 No로 표시

질문:
상담원이 대화 중에 고객의 이름을 한 번 이상 사용했나요?

답변 옵션:
예 / 아니오

도움말 텍스트:
고객 이름을 사용하면 상호작용이 개인화됩니다. AI는 기록이나 대화에 제공된 이름이 언급되었는지 확인합니다.

필사본 예:
고객: "저는 마리아입니다. 주문하는 데 도움이 필요해요."
상담원: "고맙습니다, 마리아. "주문 내용을 살펴보겠습니다."
→ AI는 예라고 표시합니다

질문:
상담원이 문제 해결에 들어가기 전에 고객의 문제를 인지했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
공감은 상담원이 "이해합니다", "그런 일이 생겨서 죄송합니다", "실망스러울 수 있다는 걸 알고 있습니다"와 같은 문구로 문제를 인정할 때 나타납니다. AI는 해결에 앞서 확인을 기다립니다.

필사본 예:
고객: "제가 너무 많은 요금을 청구받았어요."
상담원: “그 소식을 듣고 유감입니다. 함께 청구서를 검토해 봅시다."
→ AI는 예라고 표시합니다

질문:
상담원이 환불, 교체, 문제 해결 지침 등 명확한 해결 단계를 제공했나요?

답변 옵션:
예 / 아니오

도움말 텍스트:
해결책에는 구체적인 조치(환불, 교체 또는 기술적 단계)가 포함되어야 합니다. 명확한 다음 단계가 없는 단순한 사과는 인정되지 않습니다.

필사본 예:
상담원: "2일 이내에 도착하는 교체 주문을 처리했습니다."
→ AI는 예라고 표시합니다

질문:
상담원이 누구에게 연락해야 하는지, 어떤 정보가 필요한지, 예상 응답 시간 등 에스컬레이션 프로세스를 명확하게 설명했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
완전한 에스컬레이션에는 다음이 포함됩니다.

  1. 다음 연락처

  2. 필수 정보

  3. 응답 예상 시간

필사본 예:
상담원: "이 문제가 지속되면 2단계로 격상하겠습니다. 그들은 귀하의 사건 ID가 필요하며 24시간 이내에 답변해 드리겠습니다."
→ AI는 예라고 표시합니다

질문:
대리인이 의무적 공개 또는 준수 성명(예: 약관, 면책 조항 또는 법적 요구 사항)을 준수했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
규정 준수에 대한 성명은 업계마다 다르며, 필수 공개 사항, 면책 조항 또는 법적 고지 사항이 포함될 수 있습니다. AI는 필사본에서 이러한 특정 문구를 확인합니다.

필사본 예:
상담원: "보안상의 이유로, 본인 확인 없이는 계정 정보를 제공할 수 없습니다."
→ AI는 예라고 표시합니다

질문:
담당자는 설명 없이 불필요한 침묵이나 긴 침묵을 피했나요?

답변 옵션:
예 / 아니오

도움말 텍스트:
고객에게 설명한 경우에만 15초 이상 침묵이 허용됩니다(예: "확인하는 동안 잠시 기다려 드리겠습니다").

필사본 예:
상담원: "계좌 정보를 확인하는 동안 잠시만 기다려 주세요." [10초간 침묵]
→ AI는 예라고 표시합니다

질문:
상담원이 대화를 마무리하기 전에 고객 만족도를 확인했거나 다음 단계를 요약했습니까?

답변 옵션:
예 / 아니오

도움말 텍스트:
마무리하기 전에, 대리인은 해결책을 확인하거나 다음 단계를 명확하게 요약해야 합니다. 이는 완료를 입증하고 고객의 이해를 보장하는 데 도움이 됩니다.

필사본 예:
상담원: “비밀번호를 재설정했습니다. 지금 로그인할 수 있는지 확인해 주시겠어요?
→ AI는 예라고 표시합니다