매우 간단하게 LLM 집컴으로 돌리는 방법 (LM Studio)

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 매우 간단하게 LLM 집컴으로 돌리는 방법 (LM Studio)

ㅇㅇ(121.151) 2024.03.24 20:14:23

조회 2411 추천 23 댓글 4

오늘 LM Studio 깔아봤는데 재미있는 것 같아서 간단하게 설명 글 써봄

먼저 프로그램 다운로드 링크

https://lmstudio.ai/

7cf3c028e2f206a26d81f6e74e857268

대부분 윈도우 쓸꺼니까 LM Studio for Windows 다운받으면 됨. exe 파일이며 설치는 불필요하고 누르면 바로 실행됨

7ff3c028e2f206a26d81f6e44f82766a29

프로그램 화면 안에서 Hugging Face에 연동되어 필요한 LLM 모델 검색해서 바로바로 다운로드 가능함.

일단 테스트용으로 용량이 1.5GB로 작은 구글의 [gemma-2b-it-GGUF] 모델이 좋은듯. 토큰 출력속도도 매우 빠름

GPU 없으면 알아서 CPU로 구동되니까 하드웨어 사양 걱정은 ㄴㄴ. 위의 모델 기준으로 여유 메모리 1.5GB만 있으면 됨.

7ef3c028e2f206a26d81f6e443857365d5

원하는 모델 다운로드가 완료됐으면, 아래와 같이 화면에서 사용할 모델을 선택하면 됨

79f3c028e2f206a26d81f6e44e83706c52

기본설정은 Plaintext인데, Markdown 형식으로 출력하게 바꿔야 텍스트 양식이 잘 반영되서 나오니 참고하고,

질문 던지면 아래와 같이 답변이 나옴. 모델 크기가 작아서 한글 문서는 학습안한듯 하니 영어로만 질문해야함.

78f3c028e2f206a26d81f6e746817d6c13

일단 익숙해지고 나면 이런저런 모델 HuggingFace에서 다운로드 받아서 실험해보면 됨

Temperature 등 여러가지 parameter 조절도 가능하고, 모델별로 결과가 어떻게 다르게 나오는지도 확인 가능

LLM을 단순히 쓰는게 목적이라면 ChatGPT, Claude 3 같은 클라우드 서비스 사용하는게 낫지만,

좀 더 가공이 되지 않은 날것의모습?? 같은거 확인해보고 싶으면 위에서 설명한대로 LM Studio 써보면 재미있을 것 같음

Bitnet 1.58b랑 비슷하게 2Bit 양자화된 모델도 있으니 테스트 가능

(단, Training을 2bit로 한게 아니고 학습 후 2bit로 양자화 한거니 논문에서 주장하는 방식과는 차이가 있음)

개인적으로 봤을 때 이정도 용량으로 나름 괜찮은 수준의 답변을 하는 것 보면, LLM 연동된 게임속 NPC 구현도 충분히 가능할듯?

고사양 LLM에 비하면 능지는 딸리겠지만, 질문에 따라 유동적으로 답변을 해준다는 것으로도 일단은 충분하지 않을까?

그럼 20000

고정닉 7

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2858	설문	SNS로 싸우면 절대 안 질 것 같은 고집 있는 스타는?	운영자	24/05/06	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [27]	모브	24.01.24	5696	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2845]	*특갤용*	23.08.06	37023	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	1858	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6451	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12201	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8200	79
385147	공지	구글의 AGI 분류 체계 [16]	ㅇㅇ	23.11.22	7359	30
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8367	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	21648	33
466242	일반	Her 목소리 커스터마이징+3d로 이미지 실시간 움직이기	ㅇㅇ(110.46)	13:59	5	0
466241	일반	인간의 탐욕과 불평등 본능을 전혀 모르고 헛소리를 진리로 믿는 개돼지들아	ㅇㅇ(58.233)	13:57	14	0
466240	일반	드디어 화요일 특이점이구나	ㅇㅇ(106.102)	13:57	11	0
466239	일반	Agi 컴퓨팅 80억분의 1조각 받으면 [1]	ㅇㅇ(110.46)	13:55	26	0
466238	일반	노 레이턴시, 커스텀 보이스, 주인 음색 구분, 생활 소음 구분	ㅇㅇ(121.124)	13:54	15	0
466237	일반	그림을 3D모델로 만들어준다는 ai사이트 [2]	Samus	13:52	58	1
466236	일반	확실히 gpt5 선적용 시켰을수도 [2]	ㅇㅇ(121.131)	13:50	78	0
466235	일반	알트만이 어제 입만 안털었어도 her들갑 안했는데	ㅇㅇ(121.124)	13:50	38	0
466234	일반	보이스엔진에서 gpt5 모먼트가 나온다는게 뭔말임 [2]	ㅇㅇ(121.124)	13:46	64	0
466233	일반	gpt5 만 생각하셈 [3]	ㅇㅇ	13:45	55	0
466232	일반	내일만 버티면 gpt5 시연 + Audio ASI 시연을 볼수있다고? [5]	ㅇㅇ(121.124)	13:44	87	0
466231	일반	'놀라운, 대단한, 흥미로운' 키워드가 가능한 기술 [3]	ㅇㅇ(125.134)	13:44	83	0
466230	일반	"밈 게임이었다" [3]	디시콘발사대	13:43	80	0
466229	일반	알트만 말하는거 보니까 자본주의 안사라지곘더만 [15]	ㅇㅇ(117.20)	13:41	118	0
466228	일반	레딧 특갤 보니까 voice to voice 모델을 추측하는 글이 많네 [10]	ㅇㅇ(118.235)	13:41	112	0
466227	일반	특갤에 정체숨긴 고수 몇명있음 [3]	ㅇㅇ(110.46)	13:39	95	0
466226	일반	온라인 발표니까 진짜 별거없을수도 있음 [4]	ㅇㅇ(121.131)	13:38	108	2
466225	일반	개씨발 특이점 존나 마려워지는 짤 ㄹㅇ........ [2]	ㅇㅇ(222.101)	13:37	110	0
466224	일반	첨에 홍보용으로 고성능 때리고 그뒤로 서버내리는게 결국 정론인가	쿠드	13:35	29	0
466223	일반	알트만이 그저 똥게이가 될지 신이 될지 결정되는건가	ㅇㅇ(211.197)	13:34	18	0
466222	일반	sora급은 보여만주고	ㅇㅇ	13:34	29	0
466221	일반	내일 모레는 데모니까 실사용은 대선이후일려나? [1]	et	13:33	41	0
466220	일반	오랜만에 특갤 할 만하겠누 ㅋㅋ	이런내가특특	13:32	58	0
466219	일반	알트만 아가리의 신뢰성이 내일 드러나겠구나	ㅇㅇ(121.131)	13:32	34	0
466218	일반	알트만에게조차 마법같다는 게 무엇일지 상상이 안감	ㅇㅇ(118.235)	13:31	25	0
466217	일반	나중에 gpt 5 나오면 또 그건 따로 구독해야 되는거냐	ㅇㅇ(219.241)	13:31	11	0
466216	일반	AGI가 나오고 모든 노동이 대체되어도 가치있는 것 [2]	ㅇㅇ(106.101)	13:31	46	0
466215	일반	특갤 스테디셀러 컨텐츠	ㅇㅇ(110.46)	13:31	17	0
466214	일반	떠도는 루머 보니까 음성쪽이랑 관련있는건 맞는듯 [7]	ㅇㅇ	13:28	118	0
466213	일반	난 그래도 기대되는데 [1]	ㅇㅇ	13:27	43	0
466212	일반	내일 선형충 vs 특슬람 전쟁의 윤곽이 잡힌다.. [2]	ㅇㅇ(118.235)	13:25	70	0
466211	일반	그래도 화요일까지는 믿고	닉얼	13:23	31	0
466210	일반	특이점 오면 자본주의는 소멸한다 [20]	ㅇㅇ(14.53)	13:23	157	2
466209	일반	알트만=일론 되면 내 대가리 깨진다.. [1]	ㅇㅇ(110.46)	13:22	48	0
466208	일반	특 대 선 운명의 날 D-2	ㅇㅇ(211.226)	13:22	22	0
466207	일반	이번에도 뭐 좆도 없으면 알트만 = 일론 정도로 봐야 [1]	ㅇㅇ(121.128)	13:21	39	0
466206	일반	내일이 선형충 멸망의 날이냐? [6]	ㅇㅇ(118.235)	13:19	92	0
466204	일반	로봇인권은 외모에따라 다름	ㅇㅇ(121.147)	13:19	23	0
466203	일반	딱봐도 별거아님 [1]	ㅇㅇ(110.46)	13:18	60	1
466202	일반	알트만은 이번 발표에 오픈에아이 ceo로서 가지는 명예를 걸었음 [5]	ㅇㅇ(118.235)	13:14	125	1
466201	일반	LLM은 시간 지나면 왜 성능 좆박음? [9]	ㅇㅇ(211.226)	13:13	133	0