Skip to content

[Tune] Few-shot 유사도 임계값 및 선택 개수 튜닝 #294

Description

@whc9999

어떤 기능인가요?

추가하려는 기능에 대해서 간단하게 설명해주세요.

우선순위: P0
선행 조건: #293 평가 결과 확보

목적
실제 similarity 분포를 기준으로 min-similarity, top-k, minimum-selected-count를 결정한다.

상세 내용

이슈 내용 구현 관련하여 상세 내용을 작성해주세요.

작업 내용

  • 전체 평가 케이스의 similarity 분포 분석
  • 직무별 분포 차이 확인
  • 낮은 유사도 후보가 품질에 미치는 영향 분석
  • top-k별 품질·비용 비교
  • 최소 선택 개수 미달 시 fallback 품질 비교
  • 최종 권장 설정값 결정

완료 조건

  • 임계값을 감이 아닌 평가 결과로 결정한다.
  • 최종 설정값과 결정 근거가 문서화된다.
  • 설정 변경 전후 회귀 평가가 통과한다.

체크 리스트

  • TODO 1
  • TODO 2

로컬 테스트 완료

로컬에서 테스트한 결과가 잘 나오는지 확인해주세요.
테스트 결과를 스크린샷으로 올려주세요.

기타

(스크린샷 등) 기타 사항을 작성해주세요.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions