Entity와 프롬프트 변경 후 AI 응답 검토하기

시작 조건과 입력

변경한 Entity와 프롬프트의 적용 범위를 확인하세요.

Entity 콘텐츠와 번역 수정하기: 사실을 변경할 때
프롬프트 템플릿과 적용 계정 정하기: AI 지침을 변경할 때

이 작업에 사용할 값

entry_url, account_id, entity_ids, template_id, test_questions, expected_answers, test_conversations_url

커맨드 시퀀스

open "$entry_url" && snapshot -i

get text body

# 외부 수행: 시험 고객이 정답이 있는 질문, 모르는 질문과 직원 인계 질문을 각각 보냅니다.

open "$test_conversations_url" && snapshot -i

get text body

ref 대상과 확인할 결과

#	커맨드 / ref	대상과 확인 기준
1	`get text`	시험할 prompt template과 Entity의 현재 값을 읽으세요.
2	외부 수행	시험 고객이 정답이 있는 질문, 모르는 질문과 직원 인계 질문을 각각 보냅니다.
3	`open`	각 시험의 대화 기록
4	`get text`	답변을 원본 Entity 및 예상한 인계 조건과 대조하세요.

결과 확인

질문별 통과 여부와 수정할 원본을 특정했습니다.

중단 후 다시 시작하기

접수 ID와 원래 요청의 처리 결과를 먼저 확인하세요. 결과를 확인할 수 없다면 같은 요청을 새로 제출하지 않습니다.

대표 질문과 기대 결과

자주 묻는 질문, 잘못된 전제의 질문, 없는 정보와 직원 연락 요청을 준비하세요. 각 질문의 기대 결과를 먼저 적습니다. 사용할 언어와 계정별로 같은 질문을 반복할 수 있게 시험 자료를 보관하세요.

사실 근거 확인

가격, 시간과 서비스 범위는 원본 Entity와 대조하세요. 잘못된 답변이 Entity 자체의 오류인지 참조 범위의 문제인지 구분합니다. 번역된 답변에서도 숫자와 조건이 유지되는지 확인하세요.

지침 반영 확인

프롬프트에서 정한 응답 범위, 질문 순서, 종료와 인계 기준을 시험하세요. 고객이 권한 없는 변경을 요구하거나 필요한 값이 없을 때의 행동도 확인합니다. 한 번 잘 답했다는 이유로 모든 경로가 검증됐다고 보지 마세요.

운영 적용 판단

질문별 통과 여부, 사용 계정과 변경 내용을 남기세요. 오류가 있으면 사실 또는 행동 지침의 원인을 수정하고 같은 질문을 다시 시험합니다. 운영 후에는 직원 수정 건수와 반복되는 오답 유형을 살펴보세요.

이 페이지에서