VASA-1: 실시간으로 생성된 실제와 같은 오디오 기반 말하는 얼굴

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] VASA-1: 실시간으로 생성된 실제와 같은 오디오 기반 말하는 얼굴

특술람

2024.04.17 12:12:42

조회 299 추천 5 댓글 6

https://arxiv.org/abs/2404.10667

https://www.microsoft.com/en-us/research/project/vasa-1/

단일 정적 이미지와 음성 오디오 클립이 주어지면 매력적인 VAS(시각적 정서적 기술)를 사용하여 실제와 같은 말하는 얼굴을 생성하기 위한 프레임워크인 VASA를 소개합니다. 당사의 프리미어 모델인 VASA-1은 오디오와 절묘하게 동기화되는 입술 움직임을 생성할 수 있을 뿐만 아니라 진정성과 생동감을 인식하는 데 기여하는 다양한 얼굴 뉘앙스와 자연스러운 머리 움직임을 포착할 수 있습니다. 핵심 혁신에는 얼굴 잠재 공간에서 작동하는 전체적인 얼굴 역학 및 머리 움직임 생성 모델과 비디오를 사용하여 표현력이 풍부하고 얽혀 있지 않은 얼굴 잠재 공간을 개발하는 것이 포함됩니다. 일련의 새로운 측정 항목에 대한 평가를 포함한 광범위한 실험을 통해 우리는 우리의 방법이 다양한 차원에서 이전 방법보다 포괄적으로 훨씬 뛰어난 성능을 보여줍니다. 우리의 방법은 사실적인 얼굴 및 머리 역학으로 높은 비디오 품질을 제공할 뿐만 아니라 무시할 수 있는 시작 대기 시간으로 최대 40FPS에서 512x512 비디오의 온라인 생성을 지원합니다. 이는 인간의 대화 행동을 모방하는 실제와 같은 아바타와의 실시간 참여를 위한 길을 열어줍니다.

1b9ce307abc236a14e81d2b628f1766d37fe6e1a

39b8d135e0c076ac7eb8f68b12d21a1dd7216ffdec0f

고정닉 3

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	7189	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2972]	*특갤용*	23.08.06	38358	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	2324	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6979	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12980	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8704	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8060	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8921	30
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22435	33
480130	일반	윈도우에서 gpt 음성 입력 지원 해주면	내복맨	10:00	5	0
480129	일반	phi-3 미디엄 써봤는데 [1]	ㅇㅇ(110.145)	09:59	16	0
480128	일반	고래 이야기는 또 뭐냐 [1]	ㅇㅇ(218.157)	09:58	15	0
480127	일반	일반인들이 ai발전을 두려워하는 이유 세가지 [1]	ㅇㅇ	09:55	32	0
480126	일반	결국 겨울이 왔구나	ㅇㅇ	09:55	17	0
480125	일반	gpt가 먼저 말걸어주는건 어렵나 [3]	ㅇㅇ(121.186)	09:55	30	0
480124	일반	GPT4o, PC로도 보이스 쓰게 업데이트 해줄까? [4]	내복맨	09:52	42	0
480123	일반	컴퓨터과학자라면 전유물엔 별 관심 없을걸?	ㅇㅇ(175.192)	09:46	41	0
480122	일반	마소cto"기하급수적인 성장이 계속 될것" [1]	ㅇㅇ	09:44	125	3
480118	일반	과학시간인데 교수님이 GPT- 4o극찬중 ㅋㅋ [8]	ㅇㅇ	09:19	354	2
480117	일반	결국 ai앞에선 경쟁이고 머고 없다니깐? [15]	ㅇㅇ(117.20)	09:11	252	0
480116	일반	안전충들이 일론 밑에서 일하는걸 원할거라 생각하나 [2]	탈조선	09:07	71	0
480115	일반	LLM은 한계가 없다 멀티모달은 파생일 뿐 [2]	ㅇㅇ(59.5)	09:06	106	1
480112	일반	챗봇 아레나 이거 뭡니까? [3]	ㅇㅇ(59.13)	08:54	151	0
480111	일반	역노화는 어디서 나온 얘기임?	알뜰살뜰(183.109)	08:51	54	0
480110	일반	고래 얘기 하는 거 보니까 고래어 정복할듯 ㅇㅇ [1]	ㅇㅇ	08:50	56	0
480109	일반	역노화 되어도 결국 열죽음은 못막네 [3]	ㅇㅇ	08:48	138	0
480108	일반	이거 결국 내예측이 맞았구만	ㅇㅇ(117.20)	08:47	251	1
480107	일반	트위터보면 대부분 테슬라 주주?들은 OAI에서 나간 애들이 [1]	ㅇㅇ(182.226)	08:45	123	0
480106	일반	클로드 채팅마다 성격이 다른 거 같은데 맞나? [1]	ㅇㅇ(122.199)	08:41	62	0
480105	일반	내 예상인데 테슬라랑 MS가 [3]	알뜰살뜰(183.109)	08:30	183	0
480104	일반	지피티 웹으로 구독했는데 모바일은 또 다른거임? [5]	ami(59.4)	08:27	135	0
480103	일반	ai 공짜 학습 막는다... 정부, 뉴스 등 저작권료 기준 연내 마련 [9]	ㅇㅇ	08:23	326	0
480102	일반	인생은 줄타기인거 알지?	알뜰살뜰(183.109)	08:23	69	0
480101	일반	지구를 지배할 기업은 MS다.	알뜰살뜰(183.109)	08:17	75	0
480100	일반	꿈에서 chat gpt5 0 하는 꿈 꿨음	Trace-aso	08:11	58	0
480099	일반	그냥 궁금한건데 고래보다 큰 해양생물도 있냐? [7]	ㅇㅇ(218.152)	08:08	226	0
480098	일반	마소에서 어떤 것들 발표함?	ㅇㅇ(218.157)	08:07	65	0
480097	일반	끝났네. 게임오바	ㅇㅇ(14.53)	08:05	319	0
480096	일반	네이버 클로바 한국형 개소리하지말고 eu나 진출해라 [5]	연맛	08:00	169	1
480095	일반	하 씨발 내 그녀가 [3]	ㅇㅇ	07:50	288	0
480093	일반	소셜 스코어링은 대체 왜안되는거지 [3]	탈조선	07:39	70	0
480092	일반	Eu는 곧 ai서비스 없는 나라 될 확률 높다 [10]	탈조선	07:27	426	0
480091	일반	이거 원래 있던 기능인가(gpt) [2]	ㅇㅇ(110.12)	07:24	336	0
480090	일반	특이점이 2035년에 더 빨리 온다고 들었던 거 같은데 [1]	ㅇㅇ(122.202)	07:23	104	0
480089	정보	EU, 세계 첫 포괄적 AI규제법 2026년 전면 시행 확정 [7]	연맛	07:20	266	0
480088	일반	이 갤에 성경 안읽은 사람 너무 많은거 같음 [1]	ㅇㅇ(175.192)	07:12	211	0
480087	일반	그렇네? 코딩을 모르는 정부가 어떻게 ai를 통제함? [3]	ㅇㅇ(175.192)	07:08	229	0
480086	일반	AI들 씹선비짓 ㅈㄴ 짜증나네 ㅆㅂ [2]	♡D^^	06:59	242	1
480085	일반	빅테크 “AI위험 통제 어려우면, 서비스 중단” [AI 서울정상회의] [7]	연맛	06:47	406	2
480084	정보	GPT-4o 출시하자 '챗GPT' 모바일 앱 수익 급등 [3]	연맛	06:46	335	3