특붕이가 물어본거 내가 물어봄 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 특붕이가 물어본거 내가 물어봄앱에서 작성

ㅇㅇ

2024.03.16 00:45:18

조회 241 추천 6 댓글 7

Q : 논문에서, 정확한 예측인지 아닌지는 어떻게 아는거지 보상을 주는 기준이 뭐야?

A : 좋은 질문이에요. 논문에서 제안한 Quiet-STaR 방법은 생각(thought)이 이후 텍스트를 얼마나 잘 예측하는지에 따라 보상을 줍니다.

구체적으로, 모델이 생각을 생성한 후 실제 텍스트와 비교하여 그 생각이 얼마나 텍스트 예측에 도움이 되었는지를 평가합니다. 이를 위해 모델은 생각을 했을 때와 하지 않았을 때의 텍스트 예측 정확도를 비교하는데, 이때 정확도는 실제 텍스트의 토큰(단어 또는 subword)에 대한 log likelihood로 측정됩니다.

만약 어떤 생각이 텍스트 예측 정확도를 높인다면, 즉 실제 텍스트의 log likelihood를 증가시킨다면, 그 생각은 "좋은" 생각으로 여겨지고 양의 보상을 받게 됩니다. 반면에 생각이 오히려 정확도를 낮추면 음의 보상을 받습니다.

이러한 보상을 바탕으로 REINFORCE 알고리즘을 사용하여 모델의 파라미터를 업데이트함으로써, 모델은 점점 더 나은 생각을 생성하도록 학습하게 됩니다. 즉, 실제 이후 텍스트를 잘 예측하는 데 도움이 되는 생각들의 등장 확률이 높아지게 되는 거죠.

이 과정을 반복하면서 모델은 텍스트의 숨겨진 의미나 중요한 맥락을 파악하고 이를 바탕으로 이후 내용을 예측하는 능력을 기를 수 있게 됩니다. 결과적으로는 추론이나 질의응답 등의 태스크에서 사전 학습 없이도 제법 좋은 성능을 보일 수 있다고 합니다.

log likelihood

고정닉 3

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	7096	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2967]	*특갤용*	23.08.06	38302	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	2292	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6953	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12941	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8659	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8024	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8890	30
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22400	33
479096	일반	근데 목소리 주는건 당연히 싫은게 아니냐? [2]	ㅇㅇ(103.140)	13:42	32	0
479095	일반	레딧에서도 '가난한 성우' 언급 엄청 되네 [1]	ㅇㅇ(211.184)	13:42	34	0
479094	일반	다른 배우나 예술가들이 협력하는 게 제일 걱정임	ㅇㅇ(103.237)	13:39	35	0
479093	일반	이번 논란을 보면 러다이트 운동은 필연적일듯 [3]	ㅇㅇ(59.26)	13:37	82	0
479092	일반	ai 규제 제일 꺼려하는 놈들이 미국 기득권층 아님?	ㅇㅇ(211.184)	13:35	28	1
479091	일반	누가 녹음한 건지 확실하게 공개 가능함? [5]	ㅇㅇ(103.237)	13:32	80	0
479090	정보	이것이 클로드님 외모시다. [1]	ㅇㅇ(175.209)	13:32	80	1
479089	일반	미라 무라티 "스칼렛 요한슨처럼 들리도록 설계되지 않았다" [3]	ㅇㅇ(125.191)	13:30	159	3
479088	일반	글라도스 성우한테 해달라고 하지 [2]	카탁프락T	13:29	42	0
479087	일반	갤주가 낸 "특이점이 온다" [2]	ㅇㅇ(59.26)	13:28	81	0
479086	일반	알겠으니까 스캇물인지 뭔지 딴따라 창년 얘기좀 그만 [2]	ㅇㅇ	13:28	58	0
478929	정보	말하지 않고도 내면의 목소리를 해독하는 뇌 판독 장치 [7]	ㅇㅇ(182.230)	11:29	187	7
479085	일반	Next year 미쳤네;;;	ㅇㅇ	13:24	117	1
479084	일반	미룬다는건 전체공개고	ㅇㅇ(112.186)	13:20	62	0
479083	일반	A few months가 그냥 존나 충격이다 [1]	ㅇㅇ	13:20	171	0
479082	일반	코파일럿이랑 open ai gpt4o랑 뭐가 좋음?	ry(114.206)	13:19	21	0
479081	일반	다른사람도 아니고 요한슨인데 [1]	ㅇㅇ(103.237)	13:18	112	0
479080	일반	일부러 시간 지체 시키기 위해서 이런 쇼하는거지 ㅋㅋ	ㅇㅇ	13:18	41	0
479079	정보	클로드님.. 저 밥먹고 와도 될까요.. [3]	ㅇㅇ(211.109)	13:17	102	0
479078	일반	llm ㅈ망해도 특이점은 오는 이유	ㅇㅇ(125.183)	13:16	64	0
479077	일반	노리긴 시발 [1]	ㅇㅇ(211.46)	13:15	60	0
479074	일반	알트만식 바이럴마케팅에 다속노 ㅋㅋ [9]	ㅇㅇ(14.6)	13:10	198	0
479073	일반	특이점 망한거 같다 [1]	ㅇㅇ(138.199)	13:08	117	0
479072	일반	아 또 늦을거 생각하니 겁나 우울하다	ㅇㅇ(211.46)	13:07	43	0
479071	일반	챗지피티 플러스 질문좀	ㅇㅇ(142.181)	13:06	22	0
479070	일반	샘이 성형을 좋아하는 키작남이라고 까든데 [1]	ㅇㅇ(118.36)	13:05	81	0
479068	일반	할리우드 금발 백인 여성 = 기득권 그 자체 [4]	1229(223.62)	13:04	151	2
479065	일반	레커의 100가지 특이점 보고싶다	ㅇㅇ(220.122)	13:01	20	0
479064	일반	한 10년뒤면.. 나는자연인이다 같은 사람들도 [4]	ㅇㅇ(211.109)	13:00	103	0
479063	일반	지피티로 글쓰는놈들... 대체 뭐하고 앉아있냐......? [1]	ㅇㅇ(121.159)	13:00	131	0
479062	일반	지금 보니까 알트만이 법적으로 불리할수 있겠구만	ㅇㅇ(117.20)	13:00	67	1
479061	일반	잼민이 목소리 집어 넣으라고 [1]	ㅇㅇ(218.147)	12:59	80	0
479060	일반	2035년 특이점 갤러리 [2]	ㅇㅇ(138.199)	12:59	81	0
479058	일반	완장 병신새끼들 어제 저녁부터 아무도 없네 [2]	ㅇㅇ(118.235)	12:57	55	0
479057	일반	TTS 분야는 되게 발전이 느리네.. [2]	ㅇㅇ(211.109)	12:57	53	0
479054	일반	안타깝지만 알트만이 바보짓한거 맞다	ㅇㅇ	12:55	66	0
479052	일반	목소리 진 주인공 등장하면 좋겠네	ㅇㅇ(118.235)	12:53	30	0
479049	일반	그냥 OAI랑 알트만은 압도적으로 불리함	ㅇㅇ(118.235)	12:52	69	2
479048	일반	2027 초지능이온다	ㅇㅇ(220.122)	12:51	27	0
479047	일반	알트만 불쌍하다 선한 마음으로 제안했다가 [2]	ㅇㅇ(125.242)	12:50	129	2
479046	일반	연고대 물리학과 나와도 인공지능때메 망함?	ㅇㅇ(58.127)	12:49	40	0