AI 핵심이자 가장 복잡한 연산이 사라진다...? NVIDIA, Intel, AMD GPU, 빅테크 NPU 설계 트렌드에 대변혁이 올까요?

트랜스포머 모델의 핵심인 행렬 곱셈(MatMul)을 제거하는 새로운 접근 방식으로도 기존 트랜스포머 모델과 동일한 성능을 보이는 기술 내용이 공개되었는데요. NVIDIA의 Tensor Core 와 Transformer Engine, Intel의 XMX 등 많은 AI 용 하드웨어가 행렬 연산을 중심의 트랜스포머를 동작시키기 위한 기준으로 설계되고 있는데, AI 모델 자체에 행렬곱이 사라질 수 있다면 복잡도를 낮추는 것은 물론 AI 하드웨어 설계 트렌드를 완전히 바꿀 수 도 있습니다. MatMul 대신 삼진 연산(ternary operations)을 도입하여 연산 효율성을 크게 높이는 방법이 도입되면 GPU의 CUDA 코어와 텐서 코어는 삼진 연산을 지원하도록 재설계되어야 하고. 빅테크의 맞춤형 칩과 AI 반도체 스타트업들도 새로운 연산 유닛과 메모리 접근 방식을 채택해야 하는데요. 영상을 통해 트랜스포머에서 행렬곱의 의미와 알고리즘 설명, 핵심 내용을 간결하게 정리해보겠습니다.
논문: arxiv.org/abs/...
arxiv.org/html...
Written by Error
Edited by 이진이
[e-mail]

[@l3y3nf]

LLM AI는 아직 태동기라는 생각이 드네요 이런게 혁신이지

[@시]

컴퓨터 자체가 아직 걸음마 단계죠 100년도 안되었으니

[@sangwonsuh6323]

3진에 맞는 학습방법이 필요하겠네요
하드웨어와 로직이 서로 영향을 주면서 최적화 방향이 잡혀가는 것 같습니다

[@luneclips]

엔디비아 독점체제가 좀 깨지거나 약해지면 좋겠네요. GPU가격이 미쳐 날뜀

[@Go-re7yw]

Gpu가격은 예전이나 지금이나 비슷한데...

[@julius-z2q]

​@@Go-re7yw 출시가도 2배가 됐는데요.

[@dayservant]

​@@Go-re7yw물구나무 서고 봐도 올랐음

[@user-sifhdnsifu]

@@julius-z2q 물가상승률보다 올랐나요?

[@julius-z2q]

@@user-sifhdnsifu 물가상승률이 100%가 아닌이상 당연하죠

[@맛있는게좋아-n8w]

감사합니다!

[@cost1812]

감사합니다

[@du5494]

이런 연구들은 이전에도 있었는데(삼진 또는 프루닝 등등), 영상 설명에는 그전과 차이가 잘 드러나진 않네요. 원리적으로 왜 정확도에서 차이가 나지 않을 수 있었던 것인지 설명이 있으면 좋을 거 같긴 합니다.
i) 논문에서 사용한 벤치마크에서만 정확도가 높게 나온 것은 아닌지, ii) 학습 복잡도가 높은 벤치마크나 응용들에서는 어떠한지 가 가장 중요할 것 같습니다. 일단은 모바일 환경에서는 충분히 적용할 만한 방법들인 것 같습니다.

[@김민재-h1t2n]

마즘 ㅇㅇ 논문은 논문일뿐 제품으로 양산해서 증명해야함 ㅋㅋㅋ

[@eveangellion]

와 최근 동영상은 다 정주행 해야겠네요

[@가가기기-m8y]

원래 정보를 압축했는데 비슷한 결과가 나온 다는 게 신기하구만

[@DotRoll-bu7pz]

AI 학습에 정보를 압축하는 경우는 있었는데(특히 이미지 분석에서). 그게 데이터를 다듬는게 아니라 연산에서도 적용된다는게 신기한거 같습니다.

[@알베-y3p]

다른기술들은 지지부진 한데 llm만 유독 발전이 빠르네

[@정규성-l3w]

고맙습니다

[@aiphdssong]

예전에 float 로 weight 를 구성하지 않고 3진화해도 성능이 유지된다는 거랑 비슷하네요

[@August924]

이럴수도 있군요 👍

[@mmhdfmh]

w1x1 + w2x2... 이 아니라 x1 + x2 - x3.. 이런식으로 부호만 바꾸는 덧셈으로 바뀌는게 되게 큰듯

[@danielpark9989]

애플 같은 온디바이스 칩에 구동되는 모델에 사용하면 딱이네요

[@수행평가-w9q]

애플 떡상 ㅋㅋ

[@콰트]

예전에 마소에서 나온 1bit llm논문이랑 비슷한 느낌이네요

[@nagnusyo]

사실 기반 아이디어는 아예 똑같죠. 이 논문은 하드웨어적인 부분에서 더 다룬거 같네요.
문제는 양자화만해도 성능이 떨어지는데, 저렇게 극단적으로 모델을 간략화 하면 성능 저하는 너무 당연히 필연적인거라.
애초에 로스만으로 성능을 검증할수 없어서.

[@ik964]

24bit color가 아니라 윤곽스케치만 가지고도 선을 많이 그으면 충분히 알아본다 같네요.

[@딩동링-t5g]

GPT4o급을 보급형 컴으로 로컬로 돌릴 수 있으면 좋겠네요

[@신페르조나]

그것이 미니

[@Zeddy27182]

연산 소모를 줄일 수 있다면 경량화로도 흘러가겠지만 전 오히려 더 대형화로 가리라 봅니다. 왜냐하면 다르게 얘기하면 용량의 한계치가 더 늘어났다는 얘기니까요.
이걸 가장 잘 구현해내온 게 엔비디아듯, 앞으로도 이 경향은 유지되지 않을까 싶네요.

[@MondayGone]

소모가 줄어든 만큼 기존의 하드웨어에 더 많이 꽂아 넣어서
최적화가 어떻게 되든 총합 규모는 지금 기업들이 투자하고 있는 크기로 유지되거나 더 커지거나..

[@Zeddy27182]

@@MondayGone 저도 그렇게 생각합니다. AGI로 가기 위해서는 필수불가결하다 생각해요.

[@dlsrksguadhX]

결국 팽창 - 압축 - 팽창 - 압축 순환을 반복하면서 기술이 진보하는건가..

[@Qseud]

1bit llm 개념과 굉장히 유사해보이네요

[@user-racshun]

그래서 하드웨어 대신
개발자가 갈려나간다는거지?

[@MindTickleBytes]

와.. 신기하네요

[@MK-gy8mq]

언제까지 엔비디아 인가....화무십일홍이라고 그 대단하던 IBM도 결국 저 아래로 밀려났고......바닥에서 박박 기던 애플은 쫓아냈던 잡스의 복귀 이후 혁신을 통해 최고의 기업으로 반등 했다.
수 많은 반도체 기업들이 부흥과 몰락을 반복하는데 엔비디아라고 영원하지 않겠지....
저 가죽점퍼 보기싫어 죽겠네......제발 망하고 새로운 기업이 튀어나와 혁신을 이루고 소비자들에게 위안을 주었으면 하는 바램이 있다.

[@chrla5925]

이러다 삼진메모리도 나올듯

[@Spharkling]

AGI는 온다.....

[@infested_pigeon]

AI의 가장 큰 문제는 가중치들이 어떻게 구해지는지 알 수가 없다는것....
정말 너무도 큰 리스크가 아닌가 생각이 듭니다.

[@rami-rami-dorami]

인간도 똑같음

[@OMG-r3j]

아 이거 유명했었음. 정수만 대체해서 70%이상만큼 성능이 유지된다고 하던.
난 당연히 임베디드 단말용으로 사용될거라고 예상했는데 이걸 그냥 써먹을수도 있나보네

[@YTTT506]

제발 다른걸로 되줘 글카값 넘비싸 ㅠ

[@isaaclee6719]

그래 엔디비아 GPU는 행렬계산에 최적화된 칩이었던거다.
그러다보니 메모리가 핵심부품으로 다시 떠오를수 밖에 없었고.
그런데 그게 한계에 봉착하고 있다는 것이다!
한마디로 행렬계산으로는 인공지능이 한계에 빠르게 접근하고 있다는 것이다! 24.08.03(토)

[@danwlfn]

흥미롭군요. 과투자된 산업이 몇년안에 무너질수도 있음 ㅎㅎ

[@ppmaeno]

환경을 위해서도 지금의 비효율적인 현재 방식의 개선이 필요하다. 지금의 데이터 센터는 그 자체로 심각한 공해사업임. 전기를 하도 쳐먹어서

[@이규종-w8s]

복잡한 연산이 사라지면, 계산 결과는 빠르게 나올지 모르나, ai 의 지능이 낮아지는 결과가 나올것 같습니다. 지능이 낮은 인공지능은 단순한 안내용으로 밖에는 쓰지 못할 것입니다. 인간과 같이 심도있는 내용을 논한다거나 하는 것은 무리일것 같습니다. 인공지능은 아무래도 프로그램상으로 성능을 높이는것 보다는 하드웨어로 성능을 높이는게 필요한 분야 같습니다.

[@Palantir_story]

안녕하세요 amd 동업자입니다

[@권기현bigollo]

일반인은 솔까 지피티줘도안씀. 치맥 더맛나게먹는법이런거좋아함.

[@themaskedfighter-4041]

문돌이 몬말인지 모르고 그냥 갑니다 😂

[@AcornLuncher]

RTX 9090은 실외기형이나 전용냉장고형으로 나올 줄 알았는데 칩 하나가 될 수도 있겠네...ㅋㅋㅋ

[@블루펜서]

이게 되면 엔비디아 시대가 아니라 amd intel 이 다시 뜰수도 있겠군요
기존의 cuda가 무력화 되는 sw도 수반되겠고요

[@dodododo-ff3yj]

soxl이 답이다

[@김태영-g7u]

잘모르지만 기저행렬을 이용한다는 느낌적인 느낌?

[@Sinjin-h]

좋은소식이네요

[@helookscool]

와....저게 가능한가.....?

[@seeart_forever]

다시는 텐스토렌트를 무시하지 마라

[@아레코]

그래픽카드 가격 정상화 드가자

[@SejongYoo-z4z]

엔비디아 참 많이컸다.
30년전에 수많은 흔한 pc그래픽카드
제조업체중 하나였는데 ...

[@yarn75]

이것이 획기적이라고 해도
전용칩을 만들어줄 회사들도 최신공정은 단가 높고 소량 생산하면 칩 가격이 상승할것이고
새로운 이론이 나오면 효율이 떨어지고 범용성도 낮아서
이제 AI 시작 단계에서 전용칩은 의미가 낮다고 봐야 할것 같지 않나 싶어요.
AI가 어느 정도 자리 잡어면 GPU 보다 효율이 높은 전용칩이 나오겠지요.
뭐 칩 집접도 올리는 비용이 천문학적이라 AI 정체기를 돌파하는 이론 나와서 점프하는 날이 오겠지요.
AI 산업이 이제는 돈이 되는 산업이라

[@swk2573]

압축한 모델 돌려보면 엄청 멍청함. 양자화만 해도 멍청해지는데.. 3진화한다고.. ㅎ..ㅎ

[@파란해골13호-j6v]

삼진화가 이해 안 됩니다 ㅜㅜ 연산에 쓰는 숫자들이 워드임베딩으로 나온 숫자일 텐데 이걸 어떻게 바꾼다는 건지?

[@ultraviolet_sa]

5:52 에서 우측 상단과 하단 보시면 완전 삼진화 하는것이 아니라 특정 변수의 배수로 표현하는 것이며 이를 재귀적으로 곱해서 결과를 근사하는 것 같습니다

[@raramra9267]

입력값이 아니라 가중치를 -1, 0, 1로 scaling하는거에요

[@floatingmine]

헤일 하이드라!!!!

[@김마린-h3b]

{개구리, 올챙이, 말미잘, 에러} > {1,0,-1} 변환방법 발견하면 우아아아 대단하다 이겠지만
논문에서 말한건 그 변환방법을 개발하면 연산에 필요한 컴퓨팅파워를 줄일수 있다란 이야기니
너무 당연한 건데요, 논문으로서의 가치가 있는지도 잘모르겠습니다

[@du5494]

설명에서는 간단히 해서 그렇지만, 논문에서는 원리가 있지 않을까 싶습니다. 기존의 학습 정확도를 많이 희생시키지 않는 방향으로의 삼진 변환 방법은 그 자체 만으로 가치가 있지요.

[@김마린-h3b]

@@du5494 그렇다면 영상에서 그걸 알려주는 게 더 중요할 것 같지만 안 그런 걸 봐서...솔직히 아닐 것 같습니다

[@JL-tw8vh]

이해가 잘 안되지만 잘 봤습니다 근데 혹시 래퍼신가요??

[@광원윤-h7c]

쇼미더머니 8
에서 예선탈락하신분입니다
피스~

[@JL-tw8vh]

@@광원윤-h7c 어쩐지 말하시는게 다르네요

[@oieh155]

와 댓글 싹다 삭제한거봐..

[@postmodernism1417]

경량화가 진행되어 밀집도가 올라가면 그만큼 모델 크기를 더 키워버립니다. 즉 포텐셜을 성능 향상에 쓰지 연비에 쓰질 않아요. 태동기엔 그런 법입니다. 대신 그만큼 더 큰 성능을 끌어내겠죠. 결국 GPU는 여전히 필요할 겁니다. 그리고 그 크기는 계속 우상향할거고요. 좋은 새로운 방식이 개발된다고 해서 다른 리소스를 절대 편해지게 두지 않아요 그만큼 더 많은 걸 뽑아내려고 더 갈아대죠. 좋은 내용 소개는 감사합니다.

[@gyeungchanjang3192]

옥상옥 -> 기존모델 존재 + 민감도 분석 수준의 변형에만 적합할 듯...

[@MinsuHan-d8i]

논문이.안열리는데 혹시 링크 다시 올려주실 수 있으신가요?

[@unrealtech]

arxiv.org/html/2406.02528v1 입니다 ㅎㅎ

[@MinsuHan-d8i]

@@unrealtech 감사합니다!

[@조용경-k2b]

뒤집어지긴 힘들지않을까요....

[@hobit-j4o]

뭔가 근본적인 성능을 개선하는것보다 최적화, 가성비 올리는 쪽으로 진행되는거 같아 아쉽네요. 한동안 엄청난 인공지능은 나오지 않을 것 같아요.

[@sejcj2]

래퍼맞으신듯ㄷ정신사나워서 뭔말인지 잘모르겠습니다😅

[@raramra9267]

이 논문이 era of 1bit llm: bitnet 1.58b 랑 다른게 뭔가요? 거기선 llama 구현체도 제시했는데 이건 뭐임

[@zz9843-g1w]

황씨 얼굴 그만 보고싶다!

[@뎅뎅군]

1:31 "그러면 이제 NVIDIA GPU 안 팔리는 거 아닌가?"

[@또또또-e2w]

ㅋㅋㅋㅋㅋㅋ 질문하는 꼬라지

[@집닭-d8t]

주식쟁이가 지가 찾아볼 생각은 안하네 ㅋㅋㅋㅋㅋㅋㅋㅋ

[@박철호-m4x]

단어를 행렬연산 행렬 행렬곱셈으로
통일했으면 이해가 편하겠네요.
영어를 써야 한다는 압박감 때문에
이리저리 섞어 쓰니 바로 들어오지 않네요

[@DOCTOR-KJ]

역시 에러님😊

[@권기현bigollo]

거품7공주 한방에 죽나

[@cheungganlee300]

3등 재미없어서 패스 ~

[@정진영-y9m]

:D

[@FluxMaestro]

1빠

[@jp5862]

3진법 반도체 왜 안만들까... 근데 왜 뉴로모픽은 조용한지.. 너무 궁금하네.

[@그냥-f7u]

있다 없다 이외의 상태를 가지는 전자 물질이 있으면 알려주세요 저도 궁금함

[@jahyukshin4239]

@@그냥-f7u전류의 양으로 끊으면 되긴함 거의 안흐르면 0 적당이 흐르면 1 많이 흐르면 2 이렇게

[@jp5862]

@@그냥-f7u 슈레딩거냐옹이...

[@kgro353]

그게 양자컴퓨터인데 초전도체가 없어서 더딘거임...

[@민기-q1v]

만들면 만들 수 있을듯. 필요전력 증가, 에러율 증가, 속도 감소, 크기 증가, 발열, 저항 증가, 수율 감소 등이 배가 아니라 제곱으로 올라가는 사소한 문제들이 있긴하지

[@Viewtizen]

카ㅓ툰 얼굴하고 음성하고 매칭이 안되서 집중이 안되네요

[@그로밋-o7j]

예민하시네요

[@hwannnnnnnn]

이 정도면 당신 집중력 문제… 병원 가보시길..

[@VEGA_253]

핑계도 가지가지네요