메타의 반복추론 선호도 최적화 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 메타의 반복추론 선호도 최적화

ㅇㅇ(125.191) 2024.05.01 11:04:04

조회 235 추천 7 댓글 4

https://arxiv.org/abs/2404.19733

반복적 선호도 최적화 방법은 최근 일반적인 명령어 튜닝 작업에서는 우수한 성능을 보이지만 일반적으로 추론 작업에서는 거의 개선되지 않는 것으로 나타났습니다(Yuan 외., 2024, Chen 외., 2024). 이 연구에서는 정답으로 이어지는 추론 단계의 승패에 따라 경쟁적으로 생성된 생각의 연쇄(CoT) 후보 간의 선호도를 최적화하는 반복적 접근 방식을 개발합니다. 저희는 음의 로그 가능성 항을 추가한 수정된 DPO 손실(Rafailov et al., 2023)을 사용하여 훈련하는데, 이는 매우 중요하다고 판단됩니다. 이 방식을 반복적으로 반복하면 추론 능력이 향상되는 것을 확인할 수 있습니다. 훈련 세트의 예시에만 의존하는 방식이지만, 이 접근 방식은 GSM8K에서 55.6%에서 81.6%(32개 샘플 중 다수결 투표 시 88.7%), MATH에서 12.5%에서 20.8%, ARC-Challenge에서 77.8%에서 86.7%로 Llama-2-70B-Chat의 정확도를 높여 추가 소싱 데이터 세트에 의존하지 않는 다른 Llama-2 기반 모델보다 뛰어난 성능을 발휘합니다.

0a90d413f1e82f913a9ef7a341f97173b9e017dd673e58780af509170db6f4

고정닉 3

원본 첨부파일 1

GMdUtZwW4AAv7H5.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3134]	*특갤용*	23.08.06	39885	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [2]	*부패하는유전자!!!*	24.03.06	2701	2
363220	공지	선형글 삭제 기준 [7]	*특갤용*	23.10.14	7415	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13588	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	9080	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8593	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9311	30
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	8202	34
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22945	33
487531	일반	지능 발전 가능성은 무조건 열려 있음	ㅇㅇ(119.202)	18:37	12	0
487530	일반	진짜 ai 겨울이긴한가보다 ㅋㅋㅋ	ㅇㅇ(121.140)	18:35	23	0
487529	일반	5년동안 특이점을 믿었지만 llm보면서 한계를 느낌 [3]	ㅇㅇ(118.235)	18:35	40	0
487528	일반	동성애자가 세상을 이끄는게맞는듯	ㅇㅇ(112.165)	18:33	21	0
487527	일반	우리나라 청소년 8명 중 1명은 동성애자 [6]	ㅇㅇ(218.147)	18:32	86	0
487526	일반	알트만의 여동생에 대해 알아보자 [2]	ㅇㅇ	18:31	82	0
487524	일반	난 알트먼믿는다 [2]	ㅇㅇ(112.165)	18:28	58	0
487523	일반	여동생이 존코너인가	ㅇㅇ(125.128)	18:27	32	0
487522	일반	새삼 삶이란 정말 기구하다는걸 느낌	ㅇㅇ	18:26	45	0
487521	일반	알트만에게 강X당한 여성이라니 [1]	ㅇㅇ(163.152)	18:25	96	0
487520	일반	알트먼 동생이 뭘 하든 자기맘인데 마약하려고 [3]	ㅇㅇ(218.150)	18:25	80	0
487519	일반	알트만이 여동생 포기한 점에서 더 믿음이 감	ㅇㅇ	18:25	57	0
487518	일반	알트만 씹게이라 살았노	ㅇㅇ(118.40)	18:24	45	0
487517	정보/ 정보/뉴스	레오폴드 SITUATIONAL AWARENESS 요약 [11]	다이아몬드핸드	18:23	142	9
487516	일반	알트만 여동생 ㄹㅇ 골때림 [4]	ㅇㅇ(59.6)	18:20	177	3
487515	일반	솔직히 지금 트윗들 다 틀렸지	ㅇㅇ(59.6)	18:16	63	0
487514	일반	딱 59년하도도 4개월 24일 17시간 45분 남았네 [1]	ㅇㅇ(14.38)	18:15	63	0
487513	일반	지금 VPN으로 계속 차단당해도 오는 놈이 있음 [1]	ㅇㅇ(163.152)	18:15	56	0
487512	일반	출/산장려정책이러는데 [14]	ㅇㅇ(112.165)	18:13	66	0
487511	일반	근데 그런 사람들 흔함 [1]	ㅇㅇ	18:10	61	0
487509	일반	올트먼의 아픈 손가락..억만장자의 여동생은 노숙자 [22]	ㅇㅇ	18:06	285	0
487508	일반	지금이 1982라는건 희소식인 듯 [1]	Leopard	18:06	105	0
487507	일반	노래 추천해서 유튜브 플레이리스트 못만듬?	ㅇㅇ(1.226)	18:06	12	0
487506	정보/ 정보/뉴스	스태빌리티, '음향효과' 생성 AI 출시..."47초 샘플 생성"	ㅇㅇ	18:04	86	1
487505	일반	걍 2008 금융위기 이후로 한국사회가 지금처럼 변함	ㅇㅇ(223.38)	18:03	64	0
487504	일반	쇼케이스 에서 보여줬던 단일신경망의 미친속도는	ㅇㅇ(221.167)	18:01	58	0
487503	일반	중국어번역 힘드네 [2]	ㅇㅇ(1.252)	17:59	51	0
487502	일반	모든 찌라시떡밥 자기 입맛대로 해석해서 행복회로 존나돌리는 [2]	ㅇㅇ(133.106)	17:57	91	2
487499	일반	너네는 2020년하고 지금하고 코로나빼면 차이크다 생각함? [6]	ㅇㅇ(121.139)	17:53	86	0
487498	일반	솔직히 2020년대 극초반하고 지금하고 유의미한 차이가 있는듯 [6]	ㅇㅇ(121.139)	17:50	98	0
487497	일반	근데 역노화 나와도 한국은 출san장려 계속 유지해야함... [11]	ㅇㅇ	17:49	122	0
487496	일반	특이점까지 8시간 남았다 ㅅㅅ [2]	ㅇㅇ(133.106)	17:48	95	0
487495	일반	파딱 슬슬 준비하자 [2]	ㅇㅇ	17:46	146	0
487494	일반	내일 OAI가 뭔가 발표를 하기는 하는걸까	천사다천사	17:41	74	0
487493	일반	보이스 모드 안푸는 이유가 뭘까 [6]	이세이미야케	17:36	230	0
487492	일반	ㅌㅇㅈ ㅈㅂ 230ㅇㅊ [2]	포스트휴먼.	17:30	69	0
487491	일반	내일 새벽 발표는 gpt 검색이겠네	ㅇㅇ(218.50)	17:25	96	0
487490	일반	아니 요새 뭔가 특갤에 빌런이 ㅈㄴ 많아진 것 같은데 기분 탓임? [2]	초2때부터야동본놈(116.36)	17:23	117	0
487488	일반	세계단일정부는 특이점이 와도 불가능할것 같은게... [14]	ㅇㅇ	17:17	193	0
487487	일반	이새끼는 믿으면서 지미애플은 못믿겠다고..? [4]	ㅇㅇ(59.17)	17:11	412	6
487486	일반	꺼드럭만이 전에 답도 해준거보면 니미 애플은 뭔가있는거 아니냐 [1]	ㅇㅇ(106.101)	17:06	151	0