GPT-4, 사진과 텍스트만으로 '둠' 플레이했다

게임메카

2024.03.12 19:49:08

조회 2144 추천 4 댓글 8

🔼 사전 정보로 GPT-4V에 제공된 둠 스크린샷 샘플 (자료출처: Will GPT-4 Run DOOM? 논문)

[게임메카=김미희 기자] 오픈AI가 개발한 4번째 언어모델 GPT-4가 사전학습 없이도 둠을 부분적으로 플레이할 수 있다는 연구결과가 발표됐다.

이번 연구는 MS 수석 응용 과학자이자 영국 요크대학교 연구원인 아드리안 드 윈터(Adrian de Wynter)가 진행했고, 관련 논문이 8일 비영리 과학 논문 공개 사이트인 아카이브(arxiv)를 통해 공개됐다. 논문 제목은 ‘GPT-4로 둠을 실행할 수 있나요? (Will GPT-4 Run DOOM?)’이며, 학습 없이 스스로 정보를 습득해서 둠을 플레이하는 것은 일부 가능하다고 확인됐다.

연구에서 GPT-4는 몇 가지 지침과 게임 상황에 대한 스크린샷에서 모델 자체에 의해 생성된 텍스트 설명만으로 둠을 플레이했다. 구체적으로 이미지, 음성 등을 분석해 여러 결과물을 얻을 수 있는 GPT-4V를 기반으로 게임 엔진에서 스크린샷을 캡처하고, 상황에 대해 텍스트로 변환해주는 구조를 설계했다. 그리고 앞서 이야기한 부분을 시각적인 정보와 이전 기록을 토대로 결정을 내리는 GPT-4에 결합했다.

이를 토대로 GPT-4는 둠의 첫 번째 에피소드 첫 맵인 격납고(Hangar)를 플레이했다. 그 결과 연구자들은 GPT-4가 길을 찾으며 문을 열고, 무기를 발사하며 적과 싸우는 것을 확인할 수 있었다. 플레이를 반복해서 배우게 하는 강화학습을 거치지 않고 관찰과 자체적인 추론만으로 게임을 하는 것이 가능했고, 프롬프트를 조정해나가면 더 나은 결과를 얻을 수 있다는 것이 연구진들의 의견이다.

🔼 프롬프트를 조정하며 점점 더 결과가 나아지는 것을 확인할 수 있었다 (자료출처: Will GPT-4 Run DOOM? 논문)

다만 이번 실험에서 GPT-4는 스테이지를 클리어하지는 못했다. 이에 대해 연구진은 이번에 설계한 모델은 적으로 등장하는 좀비가 시야 밖으로 사라질 경우 적이 있다는 사실을 종종 잊어버렸다. 인간이라면 적을 추격해 마무리했겠으나, GPT-4는 적의 존재를 잊었기에 이후에 공격을 당하거나 구석에 몰리는 등으로 사망을 맞이했다고 설명했다.

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
공지	안녕하세요, 게임메카 갤러리를 오픈했습니다. [47]	운영자	20.07.13	28775	41
13213	나쁜짓 총집편, 범죄 시뮬레이터 데모 공개	게임메카	05.11	414	0
13212	[인디言] 다마고치에 타이쿤 더한 ‘차깨비 찻집’	게임메카	05.11	255	0
13211	고전에서 V 라이징까지, 뱀파이어 게임 변천사	게임메카	05.10	749	0
13210	음악 나오는 105cm 마스터 소드, 젤다 굿즈 예판	게임메카	05.10	482	0
13209	EA CEO "배틀필드 차기작은 엄청날 것"	게임메카	05.10	716	0
13208	[오늘의 스팀] 메트로배니아 애니멀 웰 '압긍'	게임메카	05.10	202	0
13207	[이구동성] Xbox 선장의 가혹한 처분	게임메카	05.10	395	0
13206	그라나도 에스파다 "버그·폭언 논란 직원 조사 중"	게임메카	05.10	654	0
13205	다회차 추천, 스팀 '무한 리플레이' 세일 열린다	게임메카	05.10	1076	0
13204	와우·콜옵, 미국서 320억 규모 특허 침해 휘말려	게임메카	05.10	726	0
13203	그라비티, 1분기 매출·영업익 모두 크게 감소	게임메카	05.10	82	0
13202	P의 위용, 네오위즈 1분기 영업익 1,085% 증가	게임메카	05.10	556	0
13201	긴축재정 들어간 컴투스, 흑자전환 성공	게임메카	05.10	82	0
13200	고양이 뷰 오픈월드, ‘리틀키티, 빅시티’ 정식 출시	게임메카	05.10	91	0
13199	엔씨, 사내 리뷰 시스템 개편해 더 많은 신작 낸다	게임메카	05.10	367	0
13198	FC 모바일, 전주월드컵경기장에서 행사 연다	게임메카	05.10	166	0
13197	원피스 등, 넷플릭스 대표작 로블록스에 모였다	게임메카	05.10	180	0
13196	신작 성과, 컴투스홀딩스 1분기 매출 25.9% ↑	게임메카	05.10	60	0
13195	엔씨소프트, 직원 수 90% 수준으로 감축한다	게임메카	05.10	1220	0
13194	명중률 상승, 세나 2 '불굴의 복수자 카일' 등장	게임메카	05.10	57	0
13193	젠지와 T1, VCT 퍼시픽 결승 진출 두고 맞대결	게임메카	05.10	88	0
13192	펄어비스 1분기 매출 854억, 전년 대비 0.5% ↓	게임메카	05.10	67	0
13191	붉은사막, 올해 게임스컴서 시연 버전 선보인다	게임메카	05.10	298	0
13190	엔씨, 1분기 영업익 전년 동기대비 68% 감소	게임메카	05.10	200	0
13189	스타시드에 특수속성 프록시안 '에라디카' 등장	게임메카	05.09	369	0
13188	넷마블 나혼렙, 출시 첫 날 글로벌 매출 140억 원	게임메카	05.09	11788	0
13187	배그 모바일 국내대회 'PMPS 시즌 1 파이널' 개최	게임메카	05.09	94	0
13186	아스달·나혼렙 이어, 넷마블 레이븐2 29일 출시	게임메카	05.09	115	0
13185	차기 확장팩으로, 용군단 '검은 심장' 열렸다	게임메카	05.09	128	0
13184	넷이즈 MMO '원스 휴먼' 사전예약 1,200만 참여	게임메카	05.09	84	0
13183	AK-47 포함, 서든어택 AK 7종 이동속도 증가	게임메카	05.09	512	0
13182	넷마블 나혼렙, 27개국 애플 매출 TOP10 진입	게임메카	05.09	116	0
13181	SD 건담 참전! '건담 브레이커 4' 오는 8월 발매	게임메카	05.09	108	0
13180	K리그 8개 구단, FC 온라인으로 한판승부	게임메카	05.09	113	0
13179	넷마블 '마블 퓨처파이트' 티어-4 센트리 등장	게임메카	05.09	144	0
13178	[오늘의 스팀] 정식 출시된 V 라이징, 호평 이어져	게임메카	05.09	826	0
13177	폴고슴도치즈? 소닉 파티게임 ‘소닉 럼블’ 발표	게임메카	05.09	444	0
13176	[순정남] 원작보다 훨씬 유명해진 게임 TOP 5	게임메카	05.09	356	0
13175	아이돌 마스터 IP 신작 ‘가쿠마스’ 16일 출시 확정	게임메카	05.09	1698	0
13174	스팀 게임들의 지원 언어 현황, 한국어는 몇 위?	게임메카	05.09	394	0
13173	다크앤다커 모바일 테스터 최애캐는 '로그'	게임메카	05.09	130	1
13172	피 사냥 나선 뱀파이어, V 라이징 스팀 정식 출시	게임메카	05.09	298	0
13171	NHN, 1분기 게임부문 매출 전년 대비 4.2% 상승	게임메카	05.09	122	0
13170	클립·미션 후원 추가, 치지직 9일 정식 출시	게임메카	05.09	428	0
13169	최강 서버 가린다, 프라시아 전기 토너먼트 개최	게임메카	05.09	212	0
13168	'디지복셀 지구방위군 2' 콘솔판 9일 예약 판매	게임메카	05.09	67	0
13167	폭풍을 부린다, 디아블로 이모탈 격풍사 예고	게임메카	05.09	87	0
13166	역대 최대, 인디크래프트 게임사 326곳 접수	게임메카	05.09	433	0
13165	크래프톤, 다크앤다커 모바일 4분기 출시 예정	게임메카	05.09	190	0