01
성능을 어떻게 평가하나요
정확도·완수율·근거·비용
업무 성공률, 출처의 적절성, 처리 시간과 도구 호출 비용을 함께 살펴볼 수 있습니다. 소수의 시연 성공만으로 실서비스 품질을 판단하기보다는 반복 가능한 테스트 사례를 마련해야 합니다.
02
보안과 오작동 점검
권한 상승·정보 노출·비정상 지시
사용자 권한을 벗어난 자료를 요청할 때 차단되는지, 문서에 숨은 악의적 지시를 무시하는지, 비정상적인 연속 실행을 중지하는지 점검해야 합니다. 위험도가 높은 실행에는 승인 절차를 둡니다.
03
평가 결과를 운영으로 연결
실패 사례 관리와 정기 점검
발견된 오류를 분류하고 수정 사항을 추적해야 합니다. 새 모델이나 데이터가 적용되면 기존 평가 시나리오를 다시 실행해 품질 변화를 확인할 수 있습니다.
자주 묻는 질문
QAI 에이전트 평가와 인증은 같은가요?
A
아닙니다. 내부 성능 평가와 공인 인증은 다른 개념입니다. 공인 인증 여부는 운영 주체와 인정 범위를 확인해야 합니다.
Q출시 후에도 평가해야 하나요?
A
모델과 연동 시스템, 실제 사용 패턴이 변할 수 있으므로 주기적 모니터링과 재평가가 필요합니다.