확인할 내용
영어 평가 데이터셋
- 변별력과 학습 데이터 포함 가능성: 현재 모델의 차이를 가려낼 수 있는지와 문항이 학습 데이터에 포함되었을 가능성을 확인합니다.
- 코딩과 에이전트 평가: 일부 평가는 별도 실행 환경이나 격리된 실행 공간(sandbox)이 필요합니다.
- 이용 조건: 코드, 데이터셋과 원문 문항의 라이선스를 각각 확인해야 합니다.
- —
- 영어 항목
- —
- 상업 이용 가능
- —
- lm-eval 지원
평가 시점
평가 시점을
기록하세요
LiveBench처럼 문항을 계속 추가하는 벤치마크가 있습니다. 결과를 저장할 때 데이터셋 버전, 문항 공개일, 채점 방법과 실행 환경을 함께 기록해야 합니다.
처음으로 돌아가기 ↑