MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

ㅇㅇ(182.230) 2024.03.29 23:23:19

조회 1111 추천 20 댓글 3

https://www.aitimes.com/news/articleView.html?idxno=158399

MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델

www.aitimes.com

7ce88875bc8b07f739ef82e541ee7769fe198033142c32f7b26f977c54a69617d01b

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.

MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.

여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델 동작을 안전하고 책임감 있는 결과로 유도하는 안전 시스템 메시지(Safety system messages) 🔼애플리케이션의 탈옥 공격 및 콘텐츠 위험 생성에 대한 안전성 평가(Safety evaluations)

🔼어떤 입력과 출력, 사용자가 콘텐츠 필터를 우회하는지 파악할 수 있는 위험 및 안전 모니터링(Risk and safety monitoring) 등이 포함된다.

이들은 조만간 출시 예정이며, 일부는 미리보기로 제공한다.

7ce88875bc8b07f739ef82e54eee7768e27f8e81e759d2bc0832104e3827f777bfc0

사라 버드 MS 책임 있는 AI 최고 제품 책임자는 더 버지와의 인터뷰에서 “우리는 대부분 사용자가 프롬프트 공격이나 증오성 콘텐츠에 대해 깊은 전문 지식을 갖고 있지 않다는 것을 알고 있다"라며 "이런 평가 시스템을 통해 사용자는 무엇이 문제인 지를 확인할 수 있다"라고 말했다.

특히 최근 제미나이로 인해 큰 문제가 된 역사적으로 부정확한 이미지나 유명인의 딥페이크 등이 생성되는 것을 막을 수 있다는 설명이다. 또 애저를 사용하는 회사의 시스템 관리자는 누가 안전하지 않은 출력을 시도하는지 파악할 수 있게 된다.

이 기능은 현재 애저에서 제공하는 'GPT-4'나 '라마 2'같은 모델에 즉시 적용할 수 있다는 설명이다. 일부 오픈 소스 모델에는 수동 지정도 필요하다.

이에 앞서 지난 2월에는 MS와 구글, 오픈AI 등 20개 빅테크가 생성 AI 콘텐츠의 선거 악용을 방지하기 위해 공동 대책을 마련하기로 합의했다. 또 각 회사는 생성 AI 이미지에 워터마크를 삽입할 예정이다.

하지만 이달 초 미국 비영리단체 디지털혐오 대응센터(CCDH)가 발표한 조사 결과에 따르면 여전히 선거 관련 허위 콘텐츠 생성에 취약하다는 결과가 나왔다.

또 MS에서는 이미지 생성 AI에 문제가 있으며, 경고에도 불구하고 회사가 이를 무시했다는 내부 폭로도 등장한 바 있다.

고정닉 5

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [27]	모브	24.01.24	5928	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2865]	*특갤용*	23.08.06	37253	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	1914	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6519	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12293	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8253	79
385147	공지	구글의 AGI 분류 체계 [16]	ㅇㅇ	23.11.22	7438	30
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8428	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	21742	33
468123	일반	1시간동안 할거없는 특붕이들 열로 와라 [1]	비닌	01:11	18	0
468122	일반	노래 들으면 딱 느낌 오지 않냐?	ㅇ0oO	01:11	13	0
468121	일반	형 고구마 먹는다	자애	01:11	3	0
468120	일반	구글 하사비스 부활까지 50분 ㅋㅋㅋ	ㅇㅇ(121.124)	01:10	1	0
468119	일반	새소리 나는거보니까	깍쟁	01:10	9	0
468118	일반	3만명은 걍 감스트가 맨유 중계만 해도 찍음	위스덤	01:10	6	0
468117	일반	1시간동안 버틸사람 여기 들어와라	ㅇㅇ(211.192)	01:10	6	0
468116	일반	2시에 시작이네 ㅅㅂ	ㅇㅇ(180.233)	01:10	0	0
468115	일반	지금 자면 하루가 지나는 게 아니다.........	츄츄(183.109)	01:10	16	0
468114	일반	속보 샘알트만 팀쿡 프렌치키스중 똥새어나와	ㅇㅇ(58.230)	01:10	2	0
468113	일반	음악이 오묘한데?	ㅇㅇ(218.147)	01:10	4	0
468112	일반	캐삭빵 50분전 ㅋㅋㅋㅋ	ㅇㅇ(58.29)	01:10	9	0
468111	일반	지금 나오는 음악 인공지능으로 만든거고 이 모델 발표하는거임ㅇㅇ	ㅇㅇ(180.230)	01:10	28	1
468110	일반	gpt5 발표라고 안하고, gpt4 업데이트라고 한 이유가 뭐임? [1]	ㅇㅇ	01:10	34	0
468109	일반	1시간 자고올게 트만아	초존도초	01:10	8	0
468108	일반	음악이 심상치 않다. 큰게 몰려온다	매직ai	01:10	14	0
468107	일반	뭐야 두배속하니까 알트만 나오는데? [1]	ㅇㅇ(58.29)	01:10	32	0
468106	일반	유출 보면 걍 업적자랑질하는 총결산같은거라는데 [1]	ㅇㅇ(218.153)	01:10	31	0
468105	일반	이야 글자 튕기는 거 지리노 ㄷㄷfeel the agi	ㅇㅇ(58.124)	01:09	16	0
468104	일반	알트만은 팀쿡과 동성애를 즐겼다	ㅇㅇ(218.55)	01:09	5	0
468103	일반	지금 나오는 영상이랑 브금 gpt가 만든거임? [1]	ㅁㄱㅌㅊ(39.122)	01:09	32	0
468102	일반	얼마나 '개씹놀라운'을 보여줄려고 이렇게 뜸들이는거임?	퐁칸8	01:09	21	0
468101	일반	미국은 왜 관심이 적은거임?? [5]	ㅇㅇ(14.39)	01:09	93	1
468100	일반	선형충들 승리면 안된다	헬스토끼	01:09	27	0
468099	일반	그래서 2시쯤 오면됨?	ㅇㅇ(59.31)	01:09	4	0
468098	일반	실방에 삼만명 넘음	ㅇㅇ(125.188)	01:09	35	0
468097	일반	특이점이 온 세계는 맡길게요	Singnice	01:09	16	0
468096	일반	gpt4 업댓?	ㅇㅇ(58.29)	01:09	20	0
468095	일반	Gpt4 업데이트?ㅋㅋㅋㅋㅋㅋ	ㅇㅇ(58.29)	01:08	56	0
468094	일반	노래 좀더 신나짐 ㅋㅋ	ㅇㅇ(121.124)	01:08	12	0
468093	일반	선형충 승리할까봐 조마조마한 특붕이면 개추 ㅋㅋㅋ	ㅇㅇ(121.124)	01:08	9	0
468092	일반	털드만 머스크 했네	ㅇㅇ(220.116)	01:08	12	0
468091	일반	근데 ㄹㅇ 생각만큼 관심도가 높지 않노	ㅇㅇ(115.139)	01:08	46	0
468090	일반	제밯	노(125.191)	01:08	5	0
468089	일반	노래 바꼈다 ㅋㅋㅋㅋㅋ	ㅇㅇ	01:08	18	0
468088	일반	월2코가 안오르는게 쎄하노.. [3]	확률게임	01:08	74	0
468087	일반	드럼 시작됐다 [1]	자애	01:08	17	0
468086	일반	지금까지 지구 시뮬레이션을 플레이 해주셔서 감사합니다.	RR(210.221)	01:08	15	0
468085	일반	4업뎃이 4.5일수도있지 씨발련들아 [3]	ㅇㅇ(125.183)	01:08	71	0
468084	일반	선형충 승리 20분 전ㅋㅋㅋ	ㅇㅇ(58.124)	01:07	27	0
468083	일반	딱 보면 모르겠냐	ㅇㅇ(58.29)	01:07	44	0