디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[일반] MS는 10만개 넘는 H100을 연결해 GPT-6 학습 중

ㅂㄷ(58.29) 2024.03.29 00:30:06
조회 1461 추천 31 댓글 20
														

24b0d121e09c28a8699fe8b115ef046c67f32f4899



마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다.

그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.


나: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?


걔: 아 우리도 처음에 그렇게 함. 근데 한 지역(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고



한 지역에서 H100 10만개 이상을 쓰지 못해 여러 지역을 연결해서 클러스터를 구성 중이란걸 보면

미국 여러 지역에 수십만개씩 연결해서 트레이닝 중인가봄...



참고로 H100 가격은 하나에 6천만원 정도ㅋㅋ




자동등록방지

추천 비추천

31

고정닉 7

원본 첨부파일 1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2860 설문 경제관념 부족해서 돈 막 쓸 것 같은 스타는? 운영자 24/05/13 - -
412470 공지 레이 커즈와일 신간 6월 25일 발매 [27] 모브갤로그로 이동합니다. 24.01.24 5859 32
242613 공지 특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2857] 특갤용갤로그로 이동합니다. 23.08.06 37171 41
433260 공지 웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1] 부패하는유전자!!!갤로그로 이동합니다. 24.03.06 1899 2
363220 공지 선형글 삭제 기준 [6] 특갤용갤로그로 이동합니다. 23.10.14 6499 24
375493 공지 필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40] ㅇㅇ(182.230) 23.11.11 12263 122
373402 공지 직업 비하, 조롱 글 30일 차단됩니다. [50] 특갤용갤로그로 이동합니다. 23.11.07 8237 79
385147 공지 구글의 AGI 분류 체계 [16] ㅇㅇ갤로그로 이동합니다. 23.11.22 7410 30
332612 공지 음모론 삭제 기준을 안내드립니다. [23] 특갤용갤로그로 이동합니다. 23.08.25 8410 29
259237 공지 특갤 용어 모음집 [6] 특갤용갤로그로 이동합니다. 23.08.09 21710 33
467227 일반 근데너네 군대는 갔다왔냐 ㅇㅇ(223.39) 18:19 13 0
467226 일반 걍 gpt4 읽어주는 수준일거임 기대하지마라 ㅇㅇㅇ(182.221) 18:17 35 2
467225 일반 월쿄 75배로 달리고 후기줌 [4] ㅇㅇ갤로그로 이동합니다. 18:17 51 0
467223 일반 ㅋㅋ "동료같다" 그리고 "마법같다" [1] ㅇㅇ(211.179) 18:09 139 0
467222 일반 언어 기능 나와도 한국어는 못알아듣는 거 아님? [3] 카탁프락T갤로그로 이동합니다. 18:08 58 0
467221 일반 공무1원들은 못 짜르는데 미래엔 어뜩함? [7] oo(175.125) 18:06 146 0
467220 일반 근데 진짜 기대컨 해야됨 [2] ㅇㅇ갤로그로 이동합니다. 18:04 114 0
467219 일반 얀르쿤 멸망전 시작 et갤로그로 이동합니다. 18:02 111 0
467218 일반 지금 몇몇 사람들이 기능에 대해서 걱정하는데 [1] ㅇㅇ(117.20) 18:01 109 0
467217 일반 대가리 깨놓으라한건 저쪽임 ㅇㅇ(223.38) 18:01 57 2
467216 일반 이건 후장이네. 싹다 확장시켜. [1] ㅇㅇ(118.235) 18:01 38 0
467215 일반 애들 이정도 특레발이면 ASI아니면 만족 못하겠는데 ㅋㅋㅋㅋㅋㅋㅋ [4] lIlIllIlIIlIlIllIlIl갤로그로 이동합니다. 17:58 92 0
467214 일반 ㅌㅇㅈ ㅈㅂ 206ㅇㅊ [4] 포스트휴먼.갤로그로 이동합니다. 17:58 69 3
467213 일반 드디어 내일인가... ㅇㅇ갤로그로 이동합니다. 17:58 25 0
467212 일반 기대컨하라는 건 제정신임?? [2] ㅇㅇ갤로그로 이동합니다. 17:57 124 0
467211 일반 최악의 시나리오: 사만다 내년출시 [3] et갤로그로 이동합니다. 17:57 104 0
467210 일반 아니 뭔 걱정을하냐 oai에서 마법같다는데 최소 sora급임 [1] ㅇㅇ(133.106) 17:56 110 0
467209 일반 이런 거면 호재야? [7] ㅇㅇ갤로그로 이동합니다. 17:55 114 0
467208 일반 검색엔진 나오는거 아님? [1] ㅇㅇ(182.221) 17:53 65 0
467207 정보 SK하이닉스 “HBM4E 2026년 개발” ㅇㅇ(118.39) 17:52 85 2
467206 일반 요건 가능성 있을까?? [4] ㅇㅇ갤로그로 이동합니다. 17:50 80 0
467205 일반 결국엔 사건 사고땜에 발목 잡을거 같다 [9] ㅇㅇ(117.20) 17:50 173 0
467204 일반 특레발 존나많이봐서 기대가안된다 공익전붕이갤로그로 이동합니다. 17:47 69 0
467203 일반 지구 팩트 [2] ㅇㅇ(211.197) 17:47 125 0
467202 일반 Gpt5가 아니면 의미가 없다 ㅇㅇ(110.46) 17:47 37 0
467201 일반 미리 결제하는게 낫냐 그냥 보고 결제하는게 낫냐 [1] ㅇㅇ(39.113) 17:46 66 0
467200 일반 특갤 이상함 [1] ㅇㅇ(218.154) 17:46 67 3
467199 일반 3D 모델링 가능한 AI는 없음? [3] ㅇㅇ갤로그로 이동합니다. 17:44 89 0
467198 일반 끝났네 확정이네 [4] ㅇㅇ(125.186) 17:41 262 0
467197 일반 차라리 별도 프로그램으로 나와서 컴퓨터 자원 어느정도 쓰고 [4] ㅁㄴㅇ(222.112) 17:41 76 0
467196 일반 기대컨 좀 해라 [2] ㅇㅇ(221.148) 17:41 91 1
467195 일반 영상쪽은 절대 아닐듯 ㅇㅇ갤로그로 이동합니다. 17:40 48 0
467194 일반 현생살다가 몇주만에 왔는데 무슨일이고 [8] ㅇㅇ(223.62) 17:40 174 0
467193 일반 Feel the agi ㅇㅇ(110.46) 17:39 32 0
467192 일반 근데 진짜 보이스 관련이면 통역어플 다 망하는 거 아님? [7] ㅇㅇ갤로그로 이동합니다. 17:38 174 1
467191 일반 절대 발생해선 안되는 시나리오 [3] ㅇㅇ(117.20) 17:38 186 0
467190 일반 노동 해방이 눈앞에 보임? [1] fsdfsdfsdf(121.178) 17:38 59 0
467189 일반 근데 기대치 너무 높은거아니냐.. [7] ㅇㅇ(106.101) 17:36 157 2
467188 일반 siri 탑재는 확정이네 [1] 디붕이(121.190) 17:35 139 0
467187 AI창 ai가 내 그림 조금 완성도 높여줬는데 어때? [11] ㅇㅇ(211.109) 17:34 203 0
467186 일반 영화 her 다시 봤는 데 묘하네 [2] ㅇㅇ(211.214) 17:31 197 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2