GPQA

생물학, 물리학, 화학 분야의 전문가가 작성한 448개의 객관식 문제로 구성된 도전적인 데이터세트

대학원 수준으로 질문이 극도로 어려움

https://arxiv.org/abs/2311.12022



인간

- 해당 분야 박사 학위 전문가 65%.

- 반면 고도로 숙련된 비전문가 검증자는 웹에 대한 무제한 액세스로 평균 30분 이상을 소비했음에도 불구하고 34%의 정확도에 도달했습니다



SOTA AI

- 클로드3 제로샷 50.4% vs GPT-4 34.1%

- 클로드3 Maj@32 5-shot CoT 적용하면 59.5%


* Maj@32: 이 부분은 "Majority at 32"의 약어로 해석될 수 있으며, 특정 조건이나 평가에서 32개 중 다수결을 의미할 수 있습니다. 일반적으로는 특정 기준에 대한 다수의 의견이나 결과를 나타내는 데 사용됩니다.


* 5-shot: "5-shot" 학습은 "few-shot" 학습의 한 예로, 모델이 매우 제한된 예시(이 경우, 5개의 예시)를 사용하여 특정 작업을 학습하는 방법을 말합니다.


* 제로샷: "zero-shot" 학습은 쉽게 말하면 모델이 한 번도 배우지 않은 작업을 학습하는 것을 의미합니다.


* CoT: "Chain of Thought"의 약어로, 모델이 복잡한 문제를 해결하기 위해 중간 단계나 추론 과정을 명시적으로 표현하는 방식을 의미합니다. 이 접근법은 특히 자연어 처리(NLP)나 문제 해결에서 모델이 보다 투명하고 이해하기 쉬운 방식으로 작업을 수행하도록 돕습니다. CoT 접근법은 모델이 추론 과정에서 "생각하는" 단계를 연속적으로 구성하여 문제를 해결하는 데 도움을 줍니다.




MATH

https://arxiv.org/abs/2103.03874


- 고등학생을 위한 경쟁 수학 문제로 구성

- 수학적 문제 해결을 위해 새로운 알고리즘 발전이 필요할 것이라면서 내놓은 벤치마크

- 2021년 6.9% 2025년 50% 예측했었던거



클로드3 제로샷 60.1% vs GPT-4 4-shot 52.9%

Maj@32 4-shot 73.7%