안녕하세요.
GPT Prompt Tester입니다.
이번 v0.9.8 업데이트에서는 프롬프트 분석/개선(Eval) 기능이 강화되었습니다.
기존 Eval 기능이 프롬프트 설계 분석 중심이었다면,
이번 업데이트에서는 분석 실행 흐름과 결과 확인 방식이 개선되어
프롬프트 테스트와 개선 과정을 더욱 편리하게 사용할 수 있습니다.
특히 다음과 같은 부분이 개선되었습니다.
- Prompt Analysis 실행 및 분석 진행 과정 개선
- 분석 진행 상태 확인 기능 추가
- 실행 히스토리와 Eval 결과 연동 강화
- P · R · I 배지를 통한 분석 결과 빠른 접근
이 글에서는 v0.9.8에서 강화된 프롬프트 분석/개선 기능의 사용 방법과 흐름을 소개합니다.
프롬프트 분석/개선 사용방법
GPT API 테스트/프롬프트 플레이그라운드에서 프롬프트를 실행 한 후
더보기 메뉴(①) → 프롬프트 분석/개선(②)을 클릭하면 화면에 Eval 분석 패널(③)이 열립니다.
이 패널은 현재 실행된 프롬프트와 모델 응답을 기반으로 분석을 수행하는 Eval 기능 화면입니다.
Eval 패널 상단에는 다음과 같은 3개의 분석 탭이 제공됩니다.
- Prompt Analysis
- Response Quality
- Improve
각 탭은 서로 다른 관점에서 프롬프트와 응답을 분석합니다.
처음 패널을 열면 아직 분석이 실행되지 않았기 때문에
화면에는 “아직 Prompt Analysis 결과가 없습니다.” 메시지가 표시됩니다.
이 상태에서 Prompt Analysis 실행하기 버튼을 클릭하면
현재 프롬프트와 응답을 기반으로 분석이 시작됩니다.
Prompt Analysis 실행 및 진행 과정
Eval 패널에서 Prompt Analysis 실행하기(①) 버튼을 클릭하면
현재 실행된 프롬프트와 모델 응답을 기반으로 분석이 시작됩니다.
처음 Eval 패널을 열면 아직 분석이 실행되지 않았기 때문에
화면에는 “아직 Prompt Analysis 결과가 없습니다.” 메시지가 표시됩니다.
이 상태에서 화면 중앙 또는 패널 상단의
Prompt Analysis 실행하기(①) 버튼을 클릭하면 분석을 시작할 수 있습니다.
분석 진행 화면
Prompt Analysis가 실행되면 Eval 패널에는 분석 진행 상태 화면이 표시됩니다.
Prompt Analysis는 GPT 모델 종류와 네트워크 환경에 따라 분석 완료까지 걸리는 시간이 달라질 수 있습니다.
다소 시간이 길어 진다면 Eval 패널을 계속 열어둘 필요는 없습니다.
히스토리 분석 진행 화면
분석 중 패널을 닫아도 됩니다.
패널을 닫아도 분석은 백그라운드에서 계속 진행됩니다.
분석이 진행되는 동안 패널을 계속 열어둘 필요 없이 다른 작업을 하면서 결과를 기다릴 수 있습니다.
분석 상태는 실행 히스토리에서도 확인할 수 있으며 현재 분석 중인 항목은 Analyzing 상태로 표시됩니다.
또한 각 히스토리에는 P · R · I 배지가 표시되어 해당 실행에 어떤 Eval 결과가 포함되어 있는지 확인할 수 있습니다.
배지를 클릭하면 해당 히스토리가 활성 패널로 복원되며
Eval 패널이 자동으로 열리고 해당 결과 탭이 바로 표시됩니다.
Prompt Analysis 탭
Prompt Analysis 탭은 현재 실행된 프롬프트 구조와 설계 품질을 분석하는 기능입니다.
분석 결과에서는 프롬프트의 전체 구조와 함께 다음과 같은 핵심 정보를 확인할 수 있습니다.
- Overall : 프롬프트 전체 구조에 대한 종합 분석
- Strengths : 프롬프트의 강점
- Weaknesses : 개선이 필요한 부분
- Next Actions : 프롬프트 개선을 위한 다음 단계 제안
또한 Detailed Analysis 영역에서는 프롬프트 설계 관점에서 다음과 같은 다양한 분석 항목을 제공합니다.
- Shot Pattern
- Instruction Hierarchy (지시 계층 구조)
- Output Contract (출력 형식 설계)
- Task Decomposition (작업 분해)
- Constraints Design (제약 조건 설계)
- Safety & Hallucination Mitigation
- Cost / Token Awareness 등
각 항목은 프롬프트 엔지니어링 관점에서 구조와 설계 품질을 분석하여
프롬프트 개선 방향을 보다 구체적으로 이해할 수 있도록 도와줍니다.
또한 분석 결과에는 다음과 같은 실행 정보도 함께 제공됩니다.
- 분석에 사용된 모델
- 분석 시간 (Latency)
- 사용된 토큰 수
- 분석 비용
이를 통해 프롬프트 분석 과정의 모델 사용 정보와 비용까지 함께 확인할 수 있습니다.
Response Quality · Improve 탭
Eval 패널에는 Prompt Analysis 외에도 다음의 기능이 제공됩니다.
- Response Quality : 모델 응답 품질 분석
- Improve : 프롬프트 개선 제안
각 탭에서는 서로 다른 관점에서 프롬프트와 응답을 분석하고
프롬프트 개선을 위한 다양한 정보를 제공합니다.
두 기능에 대한 자세한 설명은 Help Center 에서 확인할 수 있습니다.
프롬프트 분석/개선(Eval) 기능은
단순히 결과를 확인하는 기능이 아니라
프롬프트 실험 → 분석 → 개선 → 재실행 과정을 반복할 수 있도록 돕는 도구입니다.
이번 v0.9.8 업데이트에서는
분석 실행 과정과 히스토리 연동이 개선되어
프롬프트 테스트와 분석 작업을 더욱 자연스럽게 이어갈 수 있습니다.
앞으로도 GPT Prompt Tester는
프롬프트 실험과 분석을 보다 효율적으로 수행할 수 있도록
기능을 계속 개선해 나가겠습니다.
감사합니다.
