특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] KAN 간략한 정리글

ㅇㅇ(221.152) 2024.05.02 08:49:24

조회 4636 추천 23 댓글 47

아무도 정리 할 생각이 없어보이길래 걍 내가 정리해 옴

KAN: 콜모고로프-아놀드 네트웍스(Kolmogorov-Arnold Networks)

Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다.

MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결★ 에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

1. MLP에는 노드("뉴런")에 고정된 활성화 기능

2. KAN에는 에지("가중치")에 학습 가능한 활성화 기능

요번에 GPT2 가 KAN 의 학습메커니즘을 기반으로 만들어졌을 가능성이 있을 듯

7ef3c028e2f206a26d81f6e34e897c6d

빨간색 으로 동그라미 쳐진 부분이 뉴런("노드") 고 파란색 네모박스가 에지("가중치") 임

MLP 는 노드에 학습을 하는 반면 KAN 은 가중치에 학습을 함

"MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

내가 잘 이해한건진 모르겠는데 '학습 유동성' 이 더 좋아졌다(?) 라고 생각하면될듯?

고정닉 13

원본 첨부파일 1

3.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3151]	*특갤용*	23.08.06	40096	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [4]	*부패하는유전자!!!*	24.03.06	2768	2
363220	공지	선형글 삭제 기준 [7]	*특갤용*	23.10.14	7478	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13678	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	9132	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8666	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9362	30
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	8278	34
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	23059	33
488869	일반	사실 우리는 축복받은 세대임과 동시에 [2]	ㅇㅇ(211.197)	04:29	71	0
488868	일반	Gpt4 무료 업그레이드방법 (5초삭) [2]	ㅇㅇ(211.197)	04:17	129	3
488867	일반	빨리 AGI 나와서 환경오염 해결하고 살기 더 좋아져야 하는데 [13]	은바다	04:17	78	1
488866	일반	oai agi 타임라인 미루는게 킹받음	초코냥	04:11	69	0
488865	일반	어차피 sora 못씀요 ㅋㅋㅋ	ㅇㅇ(180.66)	04:07	48	0
488864	일반	좆트만 보니까 선형충이 옳은 듯	ㅇㅇ(211.234)	04:04	47	0
488863	일반	"금세기 인류는 신이 될 것이다" 호모 데우스 [1]	모브	04:01	103	0
488862	일반	바이오도 경험이 더 중요한가보네	ㅇㅇ(180.66)	04:01	21	0
488861	일반	Oai 미적거리는게 짜증나서 중국 응원하게 돼버림 [1]	ㅇㅇ(125.143)	04:00	60	3
488860	일반	존나 헛소리인거 아는데 [2]	ㅇㅇ(106.101)	03:51	74	0
488859	일반	내가 사는동안 agi 나오겠지? [6]	ㅇㅇ(106.101)	03:42	97	0
488858	일반	중국이 OAI따면 ai가 문제가 아니고 반도체도 위험받는거임 [6]	초코냥	03:37	98	0
488857	일반	Feeling the AGI today ♥	ㅇㅇ	03:26	86	1
488856	일반	LLM처리에 GPU가 많이 필요하다던데 [9]	자애	02:57	178	0
488855	일반	gpt타자 나만이상하냐? [7]	ㅇㅇ(223.38)	02:48	106	0
488854	일반	제일 어이없던 특갤 분탕 [3]	ㅇㅇ(222.238)	02:47	209	0
488853	일반	Gpt5 출시를 미루는 건 [3]	Singnice	02:34	217	0
488852	일반	항노화 치료제 약빨 잘받으면 [5]	ㅇㅇ(118.235)	02:34	194	1
488851	일반	중국판 소라 홍보영상인데 좀 쩌네 [12]	lightvector	02:33	360	4
488850	일반	카운트다운 새끼는 아닐 거 같긴 했다	ㅇㅇ(58.234)	02:33	60	0
488849	일반	GPT 몇정도되야 한달요금 100만원? 이렇게받음? [3]	ㅇㅇ(121.154)	02:29	177	0
488847	일반	이새끼 뭐임?? [2]	ㅇㅇ(125.180)	02:21	209	2
488846	일반	gpt5 어그로 끌었던 새끼 광대의 길을 걷는구나 [5]	ㅇㅇ(59.17)	02:20	259	1
488845	일반	질문 유도를 잘 해야 하는 이유	ㅇㅇ(59.20)	02:09	106	0
488844	일반	아마존 피규어ai 투자 철회 [5]	달나라로켓	01:53	384	2
488843	일반	2000년생이 2100년에 살아있을까? [5]	dd(124.54)	01:38	233	0
488842	일반	뇌는 비결정론적 튜링머신일까? [5]	ㅇㅇ(49.142)	01:34	143	0
488841	일반	님들 지피티 유료결제 했는데 [6]	ㅇㅇ(180.69)	01:23	191	0
488840	일반	애플 wwdc 기대된다 [1]	세입압	01:23	177	0
488839	일반	생각을 더 오래 많이하도록 만들순 없나? [5]	자애	01:21	176	0
488838	일반	오늘도 노동해방과 특이점을 향한 기도를 올립니다 [1]	ㅇㅇ(219.240)	01:18	47	0
488836	일반	특이점 몇년남음? [7]	도치도치	01:12	285	0
488835	일반	오늘도 특갤은 평화롭구나	ㅇㅇ(14.53)	01:11	46	0
488834	일반	1년 동안 겨우 이만큼 발전했냐고 하는데	ㅇㅇ(59.21)	01:10	134	0
488833	일반	영어 공부하기에는 어떤 ai가 제일 좋냐	ㅇㅇ(116.123)	01:10	54	0
488832	일반	gpt 실행화면에 나오는 이거 프롬프트 적용된거임?	ㅇㅇ(211.46)	01:10	94	0
488831	일반	근데 진짜 다들 여기 좀 여유있는거 같음... 흙수저 출신 없음? [7]	부공	00:59	370	3
488830	일반	유투브 분석해서 정리해주는 ai도 있냐 [4]	자애	00:57	110	0
488829	일반	llm이 agi랑 멀어서 싫다는 애들 가끔 보이는데 [1]	한가운데	00:55	154	0
488828	일반	대선 이후 sora 공개는 이 시발 ㅋㅋㅋㅋㅋ [3]	Samus	00:53	409	1
488826	일반	Scale AI 여기 뭐하는 곳임? [3]	ㅇㅇ(1.235)	00:52	133	0