Genesys Agent Copilot AI 모델 및 LLM 입력 이해

제네시스 에이전트 조종사 Genesys 네이티브와 AWS 베드락 모델은 기능, 사용 사례, 방언에 따라 달라집니다.

Genesys Agent Copilot AI 모델 및 LLM 입력

Genesys Agent Copilot은 Genesys 기본 기능과 AWS 베드락 모델은 기능, 사용 사례, 방언에 따라 달라집니다.

토큰 개요

토큰은 단어의 일부, 공백 또는 구두점과 같은 텍스트 세그먼트를 나타냅니다. API는 입력을 처리하고 해당 입력을 토큰으로 분해하는데, 이 분해된 토큰이 항상 전체 단어와 일치하는 것은 아닙니다. 일부 주요 근사값은 다음과 같습니다.

• 토큰 1개는 영어 문자 약 4개에 해당합니다.
• 토큰 1개는 단어의 약 ¾에 해당합니다.
• 100개의 토큰은 약 75개의 단어와 같습니다.

 또는: 

• 1~2개의 문장은 대략 30개의 토큰과 같습니다.
• 한 문단은 약 100개의 토큰과 같습니다.
• 1,500개의 단어는 약 2048개의 토큰과 같습니다.

예를 들어, "Carpe diem"과 같은 인기 있는 속담에는 토큰이 10개 있을 수 있습니다. 회사의 비전 선언문은 토큰 500개 정도일 수 있습니다. "가지 않은 길"과 같은 고전 시에는 약 1,700개의 토큰이 포함될 수 있습니다.

언어의 차이

토큰화는 언어마다 다릅니다. 예를 들어, 프랑스어로 "안녕하세요 여러분"을 의미하는 "Bonjour tout le monde"는 총 19개의 문자임에도 불구하고 토큰이 5개 들어 있습니다. 영어가 아닌 텍스트에는 더 많은 토큰이 필요할 수 있으며, 이는 API 비용에 영향을 미칩니다.

토큰 생성 방법

API는 맥락에 따라 단어를 토큰으로 변환하고 이를 처리한 후 토큰을 다시 읽을 수 있는 텍스트로 변환합니다. 같은 단어라도 배치에 따라 여러 개의 토큰으로 분리될 수 있습니다. 예를 들어, "blue"라는 단어는 끝에 공백이 있거나 대문자로 시작하면 다른 토큰을 가질 수 있습니다.

예시:

• 뒤에 공백이 있는 "파란색"의 토큰은 "4321"이 될 수 있습니다.
• "파란색"의 토큰(공백으로 대문자로 표시)은 "4521"이 될 수 있습니다.
• "파란색"의 토큰(시작 부분이 대문자)은 "5000"일 수 있습니다.

일반 토큰은 가치가 낮습니다. 구두점은 쉼표와 마찬가지로 자주 사용되기 때문에 일관된 토큰 ID를 갖는 경향이 있습니다. 단어는 문장 내에서의 위치나 격에 따라 다른 토큰 ID를 가질 수 있습니다.