구글, LLM 답변을 검색으로 확인하는 'SAFE' 개발 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 구글, LLM 답변을 검색으로 확인하는 'SAFE' 개발

ㅇㅇ(182.230) 2024.04.02 21:39:51

조회 1720 추천 18 댓글 7

https://www.aitimes.com/news/articleView.html?idxno=158446

구글, LLM 답변을 검색으로 확인하는 'SAFE' 개발

구글이 대형언어모델(LLM)의 답변을 검색으로 확인하는 LLM을 개발했다. 이 방식은 인간이 확인할 때보다 높은 정확도를 기록했다는 설명이다.벤처비트는 28일(현지시간) 구글 딥마인드의 인공지능(AI) 전문가 팀이 'SAFE(검색증강 사실 평가자)'라는 시스템을 개발했다고 보도했다.이 방식은 LLM의 답변이 사실인지 확인하기 위해 인간이 구글 검색 엔진 등을 이용해 응답에 대한 소스를 찾는 방법과 동일하다. 연구진은 별도의 LLM을 구축, 구글 검색을 사용해 정답을 확인했다.시스템을 테스트하기 위해 '롱팩트(LongFact)'라는

www.aitimes.com

7ce88872b18407f739ef82e341ee716a73ba8838823ea935ecb7f85f9aff691fff83fa

구글이 대형언어모델(LLM)의 답변을 검색으로 확인하는 LLM을 개발했다. 이 방식은 인간이 확인할 때보다 높은 정확도를 기록했다는 설명이다.

벤처비트는 28일(현지시간) 구글 딥마인드의 인공지능(AI) 전문가 팀이 'SAFE(검색증강 사실 평가자)'라는 시스템을 개발했다고 보도했다.

이 방식은 LLM의 답변이 사실인지 확인하기 위해 인간이 구글 검색 엔진 등을 이용해 응답에 대한 소스를 찾는 방법과 동일하다. 연구진은 별도의 LLM을 구축, 구글 검색을 사용해 정답을 확인했다.

시스템을 테스트하기 위해 '롱팩트(LongFact)'라는 벤치마크를 통해 '챗GPT'와 '제미나이', '클로드', '팜 2' 등 LLM 4개 제품의 답변에 포함된 약 1만6000개의 사실을 확인했다.

7ce88872b18407f739ef82e34eee71659f75f5286a74bcea40f06a2ca2e5738f39

그 결과 SAFE가 크라우드소싱을 통한 인간 확인 결과와 72% 일치한다는 사실을 발견했다. 특히 SAFE와 인간 체크가 일치하지 않을 경우, SAFE가 76%의 경우에서 올바르다고 밝혔다.

또 큰 모델일수록 일반적으로 사실적 오류가 적지만, 최고 성능을 발휘하는 모델이라고 해도 상당수의 허위 사실을 출력한다고 지적했다.

특히 이 방식의 강점은 비용 문제로 나타났다. SAFE는 인간 체크보다 약 20배 저렴하다는 설명이다. LLM에 의해 생성된 정보의 양이 계속 폭발적으로 증가함에 따라, 이를 검증하는 경제적이고 확장 가능한 방법으로 주목받고 있다고 평이다.

연구진은 깃허브에 SAFE를 공개, 모든 사람이 사용할 수 있도록 개방했다.

https://github.com/google-deepmind/long-form-factuality

GitHub - google-deepmind/long-form-factuality: Benchmarking long-form factuality in large language models. Original code for our paper

Benchmarking long-form factuality in large language models. Original code for our paper

github.com

고정닉 12

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [28]	모브	24.01.24	6767	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2908]	*특갤용*	23.08.06	37905	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	2159	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6811	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12748	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8517	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	7857	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8742	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22214	33
476824	일반	저 제미니 성능지표 ㄹㅇ임? [1]	ㅇㅇ(49.163)	06:44	12	0
476823	일반	제미나아 어드밴스 쓰는애들 없냐? [1]	연맛	06:44	9	0
476822	일반	근데 ai의 위협을 과소평가하는 것도 웃김	ㅇㅇ(121.88)	06:43	13	0
476821	일반	AGI는 택도 없음 아직 [2]	ㅇㅇ(59.20)	06:43	21	0
476820	일반	알트만이 타기업 및 오픈소스 견제하는 이유 [5]	ㅇㅇ	06:41	28	0
476819	일반	제미니 1.5 pro 엄청난 성능 향상 [2]	ㅇㅇ	06:40	45	1
476818	일반	그나마 내가 최근에 기분좋은거	ㅇㅇ(59.20)	06:40	7	0
476817	일반	AI로 지구온난화 해결해야되는데 [1]	딩둘딩	06:38	17	0
476816	일반	렉카들이 AI 명분으로 공포조장하고 안전문제를 들고와도 문제없음	ㅇㅇ(59.20)	06:37	18	0
476815	일반	어짜피 빠르게 agi 가지않는 이상 인류는 핵전쟁뿐임 [2]	캬르룩	06:34	19	0
476814	일반	백만 유튜버 김어준 씹새끼 gpt4o 나왔다고 위험타령 해대네 [4]	연맛	06:31	79	0
476813	일반	알트만 말하는거 보면 agi가 생각보다 빨리 나올수도 [2]	ㅇㅇ	06:28	63	0
476812	일반	지금 최악의 시나리오 가능성이 생긴거다 [8]	ㅇㅇ(117.20)	06:26	94	0
476811	일반	머스크 그록은 별다른 얘기 없냐... [2]	ㅇㅇ(49.163)	06:25	38	0
476810	일반	알트만도 알트만이지만	ㅇㅇ(59.20)	06:24	15	0
476809	일반	gpt4o까지는 일리야 정렬팀이랑 같이 협업 아닌가?	연맛	06:24	22	0
476808	일반	[GPT4o 수학추론] 어 씨발 이거 맞냐? 미쳤네 확정이네 수고했다 [7]	ㅇㅇ	06:21	123	3
476807	일반	Ai개발 그만하자노~ 절대 안됨 [1]	ㅇㅇ	06:20	42	0
476806	일반	코파일럿 쓰면 안되는 이유	ㅇㅇ(1.247)	06:18	41	0
476805	일반	제프리 힌튼"일리야의 스케일링론이 옳았다" [5]	ㅇㅇ	06:15	150	7
476804	일반	테그마크랑 벤지오가 우려했던 게	ㅇㅇ(49.163)	06:09	42	0
476801	일반	Ai의 반란은 너무 인본주의적 사상임 [27]	ㅇㅇ(104.28)	05:56	212	0
476800	일반	90%가 해임반대하고 10%가 해임찬성했으면 [4]	ㅇㅇ(211.179)	05:56	114	0
476799	일반	gpt 4o 직접 찍먹해봄 [7]	ㅇㅇ(210.117)	05:55	107	0
476797	일반	아무리생각해도 llm은걍 검색 알고리즘 같은데.. [1]	dd(223.39)	05:52	73	0
476796	일반	일리야는 신이다 [1]	ㅇㅇ(106.101)	05:50	73	0
476795	일반	얀르쿤 언제 입여냐	ㅇㅇ	05:49	36	0
476794	일반	일리야계 배신자들은 처단 될운명이었고	연맛	05:48	60	0
476793	일반	삼성 빡대가리새끼들아(틀딱해당)	ㅇㅇ(76.38)	05:47	57	0
476792	일반	이래놓고 얀르쿤이 맞으면 웃기겠네 ㅋㅋ	ㅇㅇ(59.17)	05:47	59	0
476791	일반	특붕이들이 원하는 세계를 구현하기 위해 GPT9가 필요하다 치자	ㅇㅇ(218.39)	05:45	43	1
476789	일반	알트만 해임당시 770명 직원중에 700명 넘게 해임반대했음 [1]	ㅇㅇ(59.17)	05:43	102	0
476788	일반	안전 윤리주의자들만 모였나	ㅇㅇ(58.78)	05:43	46	0
476787	일반	불가능이 가능해지는 시대가 열렸는데	딩둘딩	05:43	36	0
476786	일반	다들 너무 사상적으로만 보는 듯? [3]	ㅇㅇ(221.164)	05:42	92	0
476785	일반	앞으로 5년뒤면 존나달라질듯	ㅇㅇ(111.91)	05:38	52	0
476784	정보	지금 OAI 내부 파벌 확실히 갈리긴한듯	ㅇㅇ(119.77)	05:37	88	0
476783	일반	알트만 해임됐을때도 사유중 하나가 거짓말을 했다는거임	ㅇㅇ(59.17)	05:37	72	1
476782	일반	nda 까면 배신자라서 다른 업계에서 일못함	ㅇㅇ(58.78)	05:35	48	0
476781	일반	머스크가 돈줘도 NDA 까긴 힘듬 [8]	ㅁㄴㅇㄹ	05:31	160	2
476780	일반	안전주의자들 입장에서 알트만에 대한 신뢰가 무너질만한 일이 뭘까 [5]	ㅇㅇ	05:31	109	1