NVIDIA GPU는 수 년 전부터 NPU까지 고려하여 설계되었다...! 빅테크 자체칩 설계에도 NVIDIA가 여전히 강력할 수 밖에 없었던 이유
Вставка
- Опубліковано 16 чер 2024
- NVIDIA의 A100, H100에 이어 Blackwell과 Rubin까지 등장하며 이제 시가총액 1위를 넘보는 상황인데요. NPU를 설계하는 사피온, 리벨리온, 퓨리오사AI와 같은 국내기업은 물론 빅테크 기업들의 자체칩 설계로 추론 분야에서 NPU를 통해 가성비와 전성비를 노리기도 합니다. 그럼에도 불구하고 NVIDIA의 GPU가 많이 팔리는 이유는 V100 Volta Architecture, RTX Turing Architecture에서부터 고려되어 온 Tensor Core, 즉 GPU+NPU 겸용 설계의 혜안 때문인데요. 최근에는 Transformer Engiine으로 행렬 연산에 최적화된 NVIDIA의 이러한 설계는 이미 NPU 시장을 고려하여 설계된 것으로 보입니다.
#엔비디아 #Blackwell #GPU
Written by Error
Edited by 이진이
unrealtech2021@gmail.com - Наука та технологія
늘 좋은영상 감사합니다
늘 잘 보고 있습니다
엔비디아의 혁신을 꾸준히 추적해주시네요. 고맙습니다
에러 정말 대단하다~~👍👍👍 정말 완벽한 설명~~👍👍👍
엔비디아 SM 구조에서 32비트 정수연산, 32비트 부동소수점연산, 64비트 부동소수점연산... 이렇게 각각 작은 프로세서들의 집합이 나눠져 있는 이유는... 연산유닛의 비트수가 적으면 성능은 빠른대신 정확도가 낮고, 비트수가 높으면 정확도가 높은대신 느리기 때문에, 그래픽 처리할때 각각 용도에 맞는 유닛을 쓰기위함 입니다.
TPU는 쉽게 말하면 NPU를 여러개 묶어논 것인데, 엔비디아 GTX시절에는 없다가, RTX부터 TPU가 들어가 있는 이유는...
레이트레이싱, DLSS 벡터연산 전용유닛임.
추론용으로 TPU를 넣은게 아니라, 레이트레이싱, DLSS용 전용유닛으로 들어가 있는 TPU를 AI연산 할때는 NPU로 쓰는 것.
엔비디아가 이런 말을 하는 이유는... 현재, 매년도 아니고, 분기별로 ASIC기반 AI전용 커스텀칩의 점유율 잠식이 빠르기 때문.
사람들이 헷갈릴수 있는데...
AI 분야에서는... 언제나 염두에 두고 이런 기사를 보셔야 할게 있는데...
AI는 크게 학습과 추론 두가지 영역으로 나뉘고...
학습에는 엄청 카다란 서버 자원으로 오랜시간의 학습을 하고,
이렇게 만들어진 라이브러리 모델을... 아이폰이 다운 받으면, 불과 11TOPS의 성능에 불과한 온디바이스 NPU로 간단한 FP16 연산만으로 추론을 하는 겁니다,
여기서 또 오해가 생길수 있는데... 구현 하고자 하는게 뭔지에 따라, 추론이 아이폰 온디바이스 처럼 간단 할수도...
아니면 굉장히 복잡 할수도 있습니다.
뭔말인고 하면은... LLM 텍스트 학습과 추론 이라면, 위에 이미 적어논 대로 비교적 추론이 간단할수 있지만,
테슬라 자율주행 FSD처럼 추론이지만 엄청 복잡할수도 있습니다.
참고로... ASIC기반 AI전용칩들이 속속 나오고 있고, 분기별로 다를정도로 굉장히 빠르게 엔비디아 점유율을 갉아먹고 있기 때문에,
엔비디아 입장에서는 그래서 솔루션 까지 출시 한거고, 엔비디아 GPU가 더 낫다라고 이렇게 말할수 밖에 없는거죠.
이런거 설명 할때는... 이게 학습용인지, 추론용인지 구분할 필요가 있고,
LLM이 대중적으로 유명하니까, 텍스트 문장추론만 염두에 두는 경우가 많은데...
LLM은 구현하는 AI중 일부일 뿐이며, 먼저말한 자율주행부터, 군사용까지 가면, 비교도 안되게 더 복잡해 집니다.
즉, 추론만 따져도 너무 시스템이 크고 무거워지기 때문에... 갈수록 가볍게 구동할수 있는 AI전용 커스텀칩이 만들어질수 밖에 없는거죠.
2027년이면 AI분야에서 GPU점유율이 70% 하락할 거라고..,
더 간단하게 말해주세요 결론은 엔비디아칩 점유율이 70%하락할거란거임?
AI 칩은 크게 학습용 추론용으로 나뉨. GPU는 크기 자체가 어마무시해서 온디바이스 추론에는 사용하기 힘듬 (e.g 방산, 자율주행). NPU가 추론 중심 반도체인데 앞으로는 온디바이스 추론 영역이 더 중요해지기 때문에 GPU 독점으로 이익을 봐온 엔비디아 이익률 감소가 예상된다는 말임. 근데 앞으로 1-2년 동안은 엔비디아의 독점 예상됨
한줄요약: 앞으로는 GPU보다 더 작은 추론용 AI 칩이 더 중요해짐 - 엔비디아 영양력 감소.
모델 최적화/경량화가 얼마나 빠르게 이뤄질지가 핵심입니다. 현재 매우 빠르게 개선되고 있죠. 하지만 아직도 on-device LLM은 성능이 매우 떨어지고 한참 멀었습니다. 개인적으로는 최소 2년 정도는 모델 발전 경과를 지켜봐야 결론 날 것 같네요.
그리고 또 하나 무서운 점은 전세계 연구진들이 모델을 개선하면서 사용할 수 있는 하드웨어가 NVIDIA GPU 뿐이라는 점입니다. 그래서 네이버 클라우드의 AI 경량화 팀에서 삼성에 마하1 추론 칩을 개발하자고 제안한것이고요.
엄청 자세한 댓글이다 문외한이라 뭐라는진 모르겠지만,,,
안될공학님 안그래도 엔비디아 아키텍처 설계가 너무 궁금했는데 영상으로 올려주셔서 정말 감사합니다. 영상에서 나온 텐서 코어가 결국 행렬 연산을 가속한다는 것으로 이해했는데, 혹시 구체적으로 이러한 행렬 연산을 RTL 설계 관점에서 어떻게 가속하는 것인지 관련 서적이나 논문으로 나와있는 게 있을까요? 구체적인 기법이 궁금한데 알고 계실 것 같아 댓글 남깁니다. 좋아요 꾹!
영상 너무 좋습니다. 공부 열심히 하시네요 ㅎㅎ 근데 엔비디아 칩 다이 구조 같은 건 어디서 볼 수 있나요? 테크커뮤니티 같은 곳에 있는지 혹시 공유 되실까요? ㅇㅅㅇ
디섯번째 보고 있어요 감사해요
안될공학님 시청하면서 이해가 안가도 매일매일 시청하고 있습니다 들어라도 보자 ..이해를 못해도
엔비디아 시장점유율이 떨어지더라도 매출 자체는 오를듯
시장확대되는 속도가 점유율 떨어지는 속도보다 더빨라서?
젠슨황이 한말중 기억이 남는게 일반서버도 폭증하는 데이터량을 감당못해서 ai칩을 사용해야한다. 1년에두배씩 느는 데이터양
브로드컴 분석해주세요!!
일반 사용자 영억은 학습을 거의 사용이 없을게 뻔해서 추론영역이 괭장히 중요할거고 기업 영역쪽이 학습을 주도할 가능성이 높아보이죠. 즉 제품도 두개가 분리되서 갈게 높아보이는데 이걸 명확히 언급하는게 없어서 난감.
아주 옛날 대략 20년전에 (2007?) 엔비디아가 그당시 GPU 기능을 고정된 그래픽 파이프라인으로 처리하는 구조를 GPGPU 라고 CPU 에 가깝게 임의의 프로그램을 실행할 수 있는 일반적 슈퍼컴퓨터 구조로 바꾼다고 했을 때 우리 게이머들은 그렇게 슈퍼컴 비슷하게 만들면 고정된 기능의 GPU 보다 당연히 효율이 떨어져 게임 그래픽 성능이 떨어지고 전력소모나 가격에서 불리해 지는 거 아닌 가 하는 걱정을 했더랬죠. 제가 알던 그래픽 가속기는 Voodoo 카드나 SGI 그래픽 워크스테이션 같은 대규모 병렬 파이프라인 구조가 짱이라고 학교에서 배웠으니까요. 기껏해야 마이크로 코드 정도? 그런데 그런 유연성있는 구조라서 그래픽 처리 뿐 아니라 소수찾기 같은 수학 계산도 하고 날씨예측도 하고 암호화폐 채굴도 하고 이제 인공지능 알고리즘도 돌릴 수 있게 된거죠. 2000년대 후반에 우리같은 평범한 게이머들이 어찌 황사장 같이 먼 미래를 내다보는 천재 봉황의 뜻을 알았겠습니까?
결국 ASIC에 가까운 가성비 추론칩과 학습 추론 다되는 고성능 GPU가 함께 가는 시장으로 갈텐데
(+각종 엣지 디바이스들)
빅테크들이 추론칩 자체개발을 성공적으로 진행할지, 실패하고 반도체 회사에 의존하는 방향으로 갈지가 앞으로 관건이라고 봅니다.
개인적으로는 이렇게 기술 최전선분야에서는 기업 독자기술보다 엔지니어 채용이 중요하다고 보는 입장이라, A급 반도체 엔지니어들을 잘 모을 수 있는 기업이 이쪽에서 승리할거라고 봐요
동의합니다. 실제 예를 들면 구글의 핵심 인력이 창업한다고 많이 나가서 경쟁력이 낮아졌다고 생각합니다. 그런데 엔비디아는 기존 직원의 이직률이 3%? 인가로 평균 IT 기업의 이직률보다 훨씬 낮다고 합니다. 그런 면에서도 엔비디아가 잘하고 있는 거 같습니다.
과거에 인텔이 R&D 축소하면서 같은 회사 R&D 그 인력들이 엔비디아, AMD, 애플로 엄청나게 나갔죠. 지금으로썬 엔비디아만큼 칩 엔지니어 대우가 좋은 회사가 없어서 인력을 많이 모을 수 있는 것 같습니다. 칩이 돈이 된다는 것이 증명된 이상 앞으로는 또 시스템 엔지니어들 좋은 대우로 많이 뽑으면서 돈의 논리로 흘러가지 않을까 싶네요.
엔비디아 연봉이 구글, 메타같은 곳 하이레벨 SW, AI 엔지니어보단 좀 낮은걸로 압니다.
킹비디아
훌륭한 내용입니다. 댓글에서 비꼬는 인간들 손절하세요.
저는 발절할래요 ㅋㅋ
저는 익절만 할래요 손절(stop loss) ㄴㄴ
모두 구독해주는 사람들인데 굳이 손절?....그건 아닌 듯
참 흘륭한 설명이네요. Chip이 Matrix algebra에 특화되어 있을거란 예상을 확인할수 있군요.
젠장1주있다
엔비디아 추론 온디바이스에 약하다고 생각할지 모르지만 젠슨황이 가만히만 있겠냐
반도체 안될공학님한테 좀 배우고 싶네요..
젠슨황 식당 구석에서 친구 둘이랑 게임 그래픽 칩 개발 할땐 몰랐겠지. 인류사를 바꾸는 회사가 될줄은.
전성비가....큰모델과 작은모델 따로 구별해야할필요도있구... 아직은 과도기라...그냥 현재는 자동차 엔진싸움중이라봐짐
이 사람은 이렇게 잘 알면서 엔비디아 주식은 없어
어떻게 알아요?
빵터짐 ㅋㅋㅋ
ㅋㅋㅋ 원래 그런거임
.... ㅠㅠ
원래 그런거 ㅋㅋ
9:59 호호호 이 시대에 shader 공부하고 잇다는게 행운으로 느껴지네요
엔비디아 팔지 말아야겠네요😅 수익율 미쳐 돌아가는데 ㅋ
황인훈 아재 vs 젠슨 황
전셋집 보증금 빼고 월세 받고 엔비디아 올인!! 가즈아!! 테슬라에 물린 돈까지 조만간.. 엔비디아는 미래의 쌀
전혀 동의하기가 어렵네요. 말이 너무 길어질것 같은데.. inference 용도로는 NPU시장 계속 커질꺼라고 봅니다. 기능을 지원하는게 중요한게 아니고, 사이즈, 소모전력, 가격, 발열 모든 요소가 중요하니까요.
엔비디아 승승장구 뭐 좋지만... 겜용글카에 삼백 때려박는 현실은 좀 슬픕니다. 5090은...에혀...
텐서코어는 코어수가 너무적어 쿠다코어를 주로 사용한다고 보면된다.
인터넷시대 오기 직전에 백과사전 엄청나게 팔았던 전설의 영업사원 아저씨가 생각났어요.
ㅋㅋㅋㅋㅋ
GPU가 연산기를 때려박음으로써 최고의 범용성과 성능을 동시에 얻긴 했지만, 사실 전력을 많이먹는게 가장 큰 단점이죠. 칩 가격도 비싼데 운용비도 비쌉니다.
지금 GPU가 선전할 수 있는 이유는 딥러닝 학습 쪽을 거의 독점했기 때문이라고 봅니다. 빅테크들 이제 초거대모델 개발중이니까요.
장기적으로는 저전력 NPU들도 점점 필요해질거라고 봅니다.
안될공학님 추론Ai에는 앤비디아보다 낯은 회사가 나왔다고 그러셨는데 다시 바뀌셨네요? 또다시 바꾸지않을지 우려됩니다
여러 대기업 및 스타트업들이 AI 가속기 시장에 뛰어든 상황에서 가시적인 성과를 낸 경우는 아직도 없습니다. 그나마 Google TPU지만 구글 클라우드에서도 GPU 점유율이 압도적인 상황입니다.
하지만 가속기 만드는 업체들 입장에서는 자신들의 강점을 계속 부각하면서 발표자료를 낼 수 밖에 없는 것이고요.
안될공학님은 그런 자료들이 발표되면 가져와서 공유해주는 것이니, 중립적이긴 어렵죠. 그들이 자랑하는 내용을 전달해주는 거니까요. 뉴스 기사 읽듯이 보고 듣는건 좋습니다..만
그에 대한 평가는 본인이 하시는 걸 추천 드립니다.
그래서 이름이 에러입니다
@@user-qk4wd3dt2l 아하^^
삼성전자는 어떤가요?
엔비디아 명실상부 앞으로도 최고의 AI 관련 된 학습용 칩의 1위 강자이겠지만 결국 시간에 지남에 따라 그 독주체제가 서서히 균열과 금이 갈거라 확신합니다.
여기서 온디바이스로 추론형 해봤자 소용없다라는 사람들 있는데 아무리 엔비디아 좋은 칩을 만든다 한들 모바일이나 PC 내에 탑재하는 온비다이스형 시장에 진입하기 어렵거나
불가능 할 것이고 가면 갈수록 대체제 나올거고 최상위 성능 아니더라도 효율로 타사 제품을 혼용하기도 할 것 입니다.
저는 엔비디아의 이 독주체제가 하루 빨리 무너지길 바랍니다. 그리고 CPU 시장에도 진입 못 했으면 합니다.
젠슨황이 처음에 CPU만들고 싶었는데
당시 공룡기업 인텔이 꽉 잡고 있어서
고심하던중..
그래픽 가속기에 필받아서 GPU를 시작했고
이젠 AI 뜰줄 알고 GPU로 노하우 축적하다,
AI플랫폼 만들어서 파는거네
CPU도 nvidia가 직접 만들고, 특히 네트워크 장비 회사 맬라녹스 인수한계 신의 한수.
GPU 만드는 회사가 CPU 못만든다고 누가
그랬는데 그건 아닌듯. 애플이 아이폰 AP 만들다가 M1 내 놓으면서 인텔 손절한것 처럼.
선견지명
그래서 샀어요? ㅋㅋ
언론에서 AI 띄우긴 띄우는데 정작 AI로 획기적인 부가가치나 2차산업혁명급 변화를 주지를 않고 있음
아니 그렇게 뛰어난 GPU가 8k 144도 아직 정복이 안되는거냐고 대체
왠지 앎? 주인장이 엔비디아 주주거든 ㅋㅋ 그러니 빨아줘야함...
많은 사람들이 npu나 엣지디바이스 AI를 외치면서 장기적으로는 엔비디아의 위협이 될거라고 말하는데...컴퓨팅 파워라는 AI 혁명을 이끌어내는 힘...근본적인 문제를 무시한 몰상식한 말이라고 생각합니다. 추론시장이 더 커지더라도, 강력한 컴퓨팅 파워의 수요는 결코 끝나지 않을 것이며, 강력한 모델은 강력한 칩의 힘으로만 만들어집니다. 좋은 추론 모델도 결국 엔비디아 칩으로 훈련해야합니다.
어쨋든 ai독점을 따라잡려고 암드나 인텔이 괜히 낀게 아닌듯
게임도 좀 빨라져라
두서 ㅈㄴ 없네 ㅅ 부레
영상은 너무 좋은데
당나라 채널이라
자주 안찾게 되네요
안타깝습니다
문제는 엔당 최대주주가 빅테크이면 문제는없는데, 만약 중국으로 편입되면 빅테크에겐 재앙.
으아아! 양자컴퓨터가 다 이겨!!!
이해 잘 못하겠습니다
하지만 아직 엔비디아 GPU를 능가하는 회사가 없고 이번년이 대선해라 바이든이 경기를 계속 부양할것으로 보여서 11월달 까지는 주식 들고 가겠습니다
무식해서 미안합니다
삼성마하칩 때문에 더 이상 엔미디어 h100 사지 않을 것이라는 하이닉스도 큰 타격을 받을 것 같음
그래서 앤비디아 몇주 가지고 있었나요?