요약 열과 같은 환경의 노이즈를 오히려 도움되게 쓰는 열역학기반 컴퓨터를 만들었고 이건 기존의 결정론적 반도체에 열을 통해 확률론적 계산을 더해 돌리는 혁명적인 새 컴퓨터임 이건 열을 통해 지형을 만들고 계산 값을 공이라치고 넣으면 값이 열로 만들어진 지형위에서 튀어다니면서 연산하고 지형이 인공지능의 확률론적 모델이 되는 방식임 이건 기존 컴퓨터보다 10의 n승배 효율적이고 양자컴퓨터보다 훨씬 만들기 쉬움

https://twitter.com/pronounced_kyle/status/1767360766930481217

구글양자컴퓨터 오류보정 알고리즘 우리가 만들었었는데 양자컴퓨터는 절대0도에서 돌아가야하는데 지구에 열이있어서 현실에선 절대0도에서 안돌아감 그래서 항상 오류가 있을수밖에 없고 하드웨어적으로 생기는 노이즈를 소프트웨어/하드웨어적으로 걸러내려는 노력을 할수밖에 없음 그런데 고치려 하다보면 노이즈가 더 많이 생기는 경우가 많음 큐비트 자체가 기본적으로 노이즈가 적어야 노이즈를 걸러내기 쉽고 노이즈가 많으면 노이즈를 걸러내기 힘듬 냉장고가 뜨거우면 식히기 어렵고 차가우면 더 잘식히는거랑 같음 우리는 여기서 노이즈를 이길수없다면 이용하면 어떨까 하는 생각을 하게됨 인공지능 알고리즘은 확률론적이고 결정론적인 컴퓨팅환경하에서 계산하면서 알고리즘적으로 강제로 억지로 확률론을 넣게되는데 이 과정에서 에너지가 추가로 되어야함 그래서 우리는 온도를 이용해 기본적으로 결정론적 컴퓨터와 확률론적 컴퓨터 사이에 있는 온도를 이용해 확률을 더하는 컴퓨터를 만들었음 컴퓨터를 충분히 작게 만들면 온도변화를 피할수가 없음 이건 당연한거임 컴퓨터를 작게만들려면 열-확률을 건드려야함 기하급수적 컴퓨터 성능의 성장은 느려지고 있음 이는 물리학적 한계때문임 온도도 이에 강력한 영향을 미침 그래서 우리 엑스트로픽은 모두가 피하려하던 문제를 오히려 역이용하는 방법을 생각해냄 디지털 컴퓨터 환경 하에서 트랜지스터는 논리 스위치이고 이게 현대 컴퓨터가 일하는 방식임 실제 물리적 기계를 논리 스위치로 활용하는거임 그런데 인공지능이나 확률론적 계산을 하려는데 논리적이고 결정론적 컴퓨터를 이용하면 비효율적임 엔트로피적으로 열을 통해 무작위성을 더해주면 훨씬 효율적임 그런데 그냥 무작위면 컴퓨팅에 무의미함 그래서 이 열을 필터링해야하는데 필터링도 에너지가 필요하고 열이 발생함 그래서 현대컴퓨터는 냉장고속에 히터넣고 쓰는것처럼 비효율적임 기본적으로 결함이 많은 방식이고 너무나도 비효율적임 현대의 결정론적 기계에서 샘플링을 하는건 너무 비효율적이라서 고급 의사결정에 쓰려는 갑부들 아니면할수가 없고 샘플링을 안하는 사람이 많아질수밖에없음 그래서 이걸 딥러닝을 통해 샘플링해서 많은 변환을 걸쳐서 쓰려는 움직임이 강함 그런데 거대한 트랜스포머 하나로 다차원 깊고 복잡한 정보를 샘플랭하려면 너무나도 비효율적임 자율운전에 엄청난 양의 데이터를 박아놔야 사람이 10시간 운전수업 배운 수준까지 올라감 현대 딥러닝은 너무나도 비효율적이고 이건 최종 단계가 아님 이건 시작단계일뿐임 딥러닝은 기본적으로 엄청난 양의 환각을 발생시킴 디퓨전 모델은 노이즈를 만들었다 없앴다하는데 하드웨어적으로 stochastic하게 가야함 물질은 흔들리고 전자는 뛰어넘고 효율성을 위해선 확률론적 세계로 가야함 인공지능의 미래에 도달하긴 어렵겠지만 우리의 방법은 하나의 새 가능성을 제시함 물리학과 열역학적으로 새 가능성을 제시함 GPU는 샘플링을 못해서 딥러닝을 함 샘플링은 직렬작업이고 CPU가 함 GPU는 인공지능 프로세서로 개발된게 아니라 행렬연산용 그래픽 기계였다가 인공지능기계가 된거임 그래서 지난 몇년간 인공지능 소프트웨어는 행렬연산을 개선하려는거였음 그런데 행렬연산 기계는 기본적으로 병목현상이 있음 파이토치같은걸 보면 25%의 시간은 메모리 안밖으로 자료를 옮기는데 씀 그래서 성능을 개선시켜도 효율이 낮고 한계가 있음 그래서 우리는 이걸 개선하면 엄청난 성과가 생길거라 봤음 딥러닝은 가우시안분포기반으로 만들어졌는데 가우시안분포는 극단을 잘 이해못함 그래서 LLM도 극단을 이해못하고 평범한 답변만 함 LLM은 일반화하는 기계임 결정론적 기계가 인공지능이 뭐해야하는지 고정관념을 만들었고 그게 소프트웨어까지 영향을 미침 그래서 현대 LLM은 결함이 있음 1차원 선형 정보가 있으면 이걸 앞에서 뒤까지 쪼개서 학습시킴 2차원이면 그리드를 그려 학습시킴 N차원이면 하이퍼큐브를 그려 학습시킴 그런데 이러면 학습포인트가 기하급수적으로 늘어남 그래서 학습정보의 차원에 따라 학습되어야하는 양이 기하급수적으로 늘어남 그래서 우린 메모리에 저장안하고 샘플링하려함 양자컴퓨터가 고차원정보를 압축하지 않고 그대로 계산하는것과 같은이치임 양자컴퓨터를 전통머신러닝에 적용하는건 바보짓임 로켓타고 마을사이 짐을 운송하는것과 같음 확률론적 추론에서 양자컴퓨터가 좀더 낫긴 하지만 그럴이유가 없음 양자터널링을 통해 연산을 하면 좀더 빠르긴 하지만 도구가 너무 세고 도구돌리는데 자원이 너무 많이듬 그래서 일반 인공지능 돌리는데 거대하고 돈많이드는 양자컴퓨터쓸필요가 없음 고전텀퓨터와 비슷하면서 좀 다른컴퓨터로 돌리면 됨 우리는 이론적으로 고전컴퓨터에서 돌릴수있는 고전 알고리즘을 10의 n승배 빠르게 돌릴수있음 우리는 미래에 장차 이것과 관련된 과학적 정보를 올릴거니 기대하는게 좋음 우리가 비밀을 유지한것도 한번 이걸 발견하면 경쟁자가 늘수도 있었기 때문임 우리 컴퓨터를 쓰면 연산장치 몇개 산 동네 천재가 거대 기업을 세울수도 있을거임 양자컴퓨터는 양자세계에서 돌아가는데 우리가 사는 일반세계는 양자법칙으로 돌아가지 않고 양자컴퓨터를 만들어도 쓸데가 적을수도 있음 그런데 나는 양자컴퓨터 엔지니어라서 이게 걱정되서 새로운 분야를 창조해야겠다고 생각하게 됨 물론 양자컴퓨터는 발전할거고 미래에 엄청난 양의 정보를 처리하게 될거임 그런데 고도로 복잡한 자연상태를 컴퓨터에서 매핑해서 양자역학적으로 표현하고 인공지능 만들려면 너무나도 복잡한 과정을 거쳐야함 인공지능 돌리는데는 양자컴퓨터도 전자컴퓨터도 아닌 열역학적 컴퓨터가 제일 뛰어남 실온에서 돌아가고 빠르고 효율적이며 우린 이걸 세상에 보여줬다 이걸 언젠가 전세계 일반인들이 쓰게하는게 우리 목표다 평범한 IC서킷 만들고 노이즈더하면 가우시안분포가 나오지만 우리가 만든건 에너지 기반 모델임 프로그래밍가능하고 완전히 일반적으로 아무거나 만들수있음 데이터 분포를 볼츠만 평형상태로 만들어서 언덕모양을 바꾸고 튕기는 공 넣고 흔들면서 전자인 공위치를 조종하고 지형을 만드는거임 이 언덕모양이 머신러닝에 해당됨 머신러닝과 열역학이 여기서 만나는거임 노이즈가 장치내의 다른 특성보다 두드러져야 노이즈=열을 이용해 연산할수있는데 그리만드는게 힘들었음 가장 스케일키우기 쉬운게 뭐냐 생각해보니까 반도체라서 반도체를 이용해 만듬 인풋아웃풋패러미터가 있는게 기본임 회로에 몇볼트 넣느냐에 따라 회로 내에서 정보가 다르게 움직이고 회로에 증폭기를 넣어서 랜덤값에서 몇가지 정보를 추출하다보면 샘플링이 되고 회로의 지형값도 확률적임 확률론적 세계에서 오래머물면 에너지가 절약돼서 우리는 그요소를 많이넣으려했음 양자컴퓨터가 효율적효과적이려면 큐비트상태로 연산해야하는것과 같음 열역학적 컴퓨터도 근데 열을 측정하는게 양자만큼은 아니어도 어려운편이라 힘들었음 열역학적 컴퓨터가 너무 크면 서로 열이 전달이 안돼서 우물2개사이에 거대벽이있는것처럼 열전달이안되고 계산이 안됨 실리콘밸리에서 일하다가 끝내주는아이디어하나만 믿고 될지안될지도 모르는거 만들기 너무힘들었음 뉴로모픽이 어쩌고 하는데 우리가 만든열역학컴퓨팅이 뉴로모픽보다 효율적임 대자연이 수십억년간 만든 알고리즘보다 우리가만든게 더 나음 양자컴퓨터가 양자의 특성에서 시작해 연산을 하듯 열역학적컴퓨터도 열의 엔트로피적 특성에서 시작해 연산을함 비행기만들때 새처럼 펄럭이지 않듯 인공지능은 뉴로모픽일 필요가 없음 생명체를 그대로 따라할필요가 없고 생명체가 쓰는 물리적 특성을 이해하고 현실적으로 가능하게 만드는게 공학마인드임 비행기가 날개 펄럭이지 않는것과 같음 뉴로모픽은 현대컴퓨터보다 훨배효율적이고 우리 열역학적 컴퓨터는 뇌보다 훨배 효율적임 우리는 물리적 특성을 이용해 컴퓨팅의 끝을 향해가는데 도움이 된다는 목표를 쫓는거임 우리는 이분야 최초이자 유일 최고이고 경쟁자가 없음 우리는 열을 이용해 효율상 거의 무료로 적은 량의 데이터만을 이용해 인공지능을 만들수있고 이게 거대LLM보다 훨배나음 LLM에도 도움되겠지만 일반기기용으로 더 쓸모있음 AI는 이제 태어나고 있고 우리 기술은 막대한 도움이 될거임 우리가 있는 시점은 AI계의 캄브리아생명폭발기임 우리가 만든 프로세서로부터 새로운 S커브가 시작될거고 기존 컴퓨팅 ★ 방식을 뛰어넘을거임 우리는 열역학 컴퓨터로 무어의 법칙을 계속해나갈거임 우리 인생에서 가장 중요한 일이고 지구를 지키고 인류를 구하는길임