시리즈: Genesys Agent Copilot 생성
자연어 이해력을 구축하고 테스트하기 위한 모범 사례
자연어 이해(NLU) 구축을 위한 팁
NLU 시스템의 최적의 성능과 안정성을 확보하려면 의도 분류를 설계하고 테스트할 때 다음 모범 사례를 따르세요.
의도 전반에 걸쳐 균형 잡힌 교육 데이터 유지
의도당 훈련 예제의 수가 너무 많으면 모델에 편향이 생길 수 있습니다. 한 가지 의도가 다른 의도보다 훨씬 더 많은 양의 훈련 사례를 가지고 있는 경우, 모델은 불확실할 때 해당 의도를 선호할 수 있습니다.
모든 의도에 걸쳐 훈련 문구가 비교적 균등하게 분포되도록 보장합니다. 의도적으로 어떤 의도를 우선순위에 두고 싶다면, 의식적으로 그렇게 하고 그 이유를 문서화하세요.
단어 벡터 유사성 이해
NLU 시스템은 벡터 표현(임베딩)을 사용하여 맥락에 따라 단어의 의미를 이해합니다. 캐시백이나 환불처럼 의미나 맥락이 비슷한 단어는 모델의 벡터 공간에 밀접하게 매핑될 수 있습니다. 맥락에 따라 의도를 명확하게 구분하지 않으면 잘못된 분류가 발생할 수 있습니다.
각 의도에 대해 다양하고 대표적인 교육 사례를 사용하고, 하나의 의도를 다른 의도와 차별화하는 고유한 맥락적 단서를 강조합니다.
NLU는 분류 문제입니다
NLU 모델은 각 의도에 확률을 할당하여 입력 텍스트를 분류합니다. N개의 의도에 대해 모델은 모든 N개의 의도에 대한 확률 분포를 반환합니다. 신뢰 임계값을 충족하는 경우 가장 높은 확률을 가진 의도가 선택됩니다.
잘못된 분류 문제를 해결할 때는 최고 점수를 받은 의도만이 아니라 전체 확률 분포를 검토하세요.
신뢰 임계값과 의도 대체를 이해합니다.
일반적으로 시스템은 입력을 특정 의도로 분류하기 위해 최소한의 신뢰 점수가 필요합니다. NLU 모델은 의도를 지정하기 위해 최소 40%(0.4)의 신뢰도가 필요합니다. 최상위 의도가 이 임계값 아래로 떨어지면 시스템은 폴백을 반환합니다.None
의지.
특별히 조정해야 할 이유가 없다면 임계값을 기본값으로 두세요. 너무 높게 올리면 과도한 폴백 응답이 발생할 수 있고, 낮게 올리면 의도와 맞지 않는 매칭이 늘어날 수 있습니다.
AI를 활용한 의도 및 발언 생성 팁
명확하고 중복되지 않는 의도를 정의하세요
모호성을 피하려면 각 의도가 고유한 목적을 갖는지 확인하세요. 의도 정의가 중복되면 학습 중 혼란이 발생하고 분류 정확도가 낮아집니다.
의도 사이에 명확한 경계를 설정하세요. 두 가지 의도가 너무 비슷하다면, 두 의도를 병합하거나 정의를 세분화하는 것을 고려하세요.
핵심 의도 집합으로 시작하세요
확장하기 전에 작고 우선순위가 높은 의도부터 시작하세요. 집중된 세트는 반복 작업을 더 빠르게 진행하고 견고한 기초를 구축하는 데 도움이 됩니다.
핵심 의도를 담은 개념 증명 모델을 개발합니다. 핵심 경험이 안정적으로 작동한 후에만 확장하세요.
일관된 명명 패턴을 사용하세요
프로젝트 전체에서 의도의 이름을 지정하는 방식을 표준화합니다. 일관성은 유지 관리를 개선하고 팀이 의도한 목적을 즉시 이해하는 데 도움이 됩니다.
NLU 테스트를 위한 팁
테스트 중에는 한 단어로 된 입력을 피하세요
한 단어로 된 입력은 일반적으로 너무 모호하며 정확한 의도 분류에 필요한 맥락이 부족합니다. NLU 모델은 패턴과 맥락에 의존합니다. 주변 단어가 없기 때문에 모델은 제한된 정보를 기반으로 추측해야 하며 가장 일반적이거나 밀접하게 관련된 의도를 기본값으로 사용할 수 있습니다.
실제 사용자 행동을 반영하는 자연스럽고 완전한 문장으로 구성된 쿼리를 사용하세요.
고품질의 훈련 데이터를 준비하세요
다음 팁을 활용하세요:
- 실행 가능한 훈련 세트를 개발하세요: 시작 의도당 10~20개의 다양한 예가 있습니다.
- 표현을 다양하게 바꾸세요: 동의어, 다양한 구문 구조, 일반적인 오타를 포함합니다.
- 중복을 피하세요: 혼란을 줄이려면 발언에서 의도를 명확하게 구분해야 합니다.
- 테스트 범위: 모든 의도에서 수동으로 발화를 샘플링하여 NLU 예측을 확인합니다.
인텐트 마이너 사용을 위한 팁
Intent Miner를 사용하면 고객의 표현 방식에 맞춰 의도와 발언을 구축하여 의도 감지에서 더 나은 결과를 얻을 수 있습니다.
인텐트 마이너는 지정된 날짜 범위 동안 상담원과 고객 간의 대화, 채팅 및 음성 기록의 과거 데이터를 검색합니다. 다음으로 상위 인텐트 집합과 이러한 인텐트를 둘러싼 분석을 추출합니다. 마지막으로, 시스템이 해당 의도와 연관시키는 의도 발언 목록을 반환합니다.
Architect에서 마이닝한 인텐트를 Genesys Dialog Engine Bot Flow나 Genesys Digital Bot Flow로 가져와서 인텐트 구성을 할 수 있습니다. 자세한 내용은 다음을 참조하세요. Genesys Dialog Engine Bot Flow 또는 Genesys Digital Bot Flow로 채굴된 인텐트 가져오기 .