Nvidiaの20倍早い!言語モデルを高速に動かすCerebrasについて解説してみた

Поділитися
Вставка
  • Опубліковано 16 лис 2024

КОМЕНТАРІ • 52

  • @logos_malos_metsu
    @logos_malos_metsu Місяць тому +9

    音声会話モードすごすぎ
    これだけ応答速度早いと適応できるサービスが一気に増えそう

  • @salmon54561
    @salmon54561 Місяць тому +7

    英語話せるのうらやましいですw
    Nvidia一強だと殿様商売になっちゃうと思うので、競合がいっぱい出てくれた方が消費者としてはありがたいですね

    • @aivtuber2866
      @aivtuber2866  Місяць тому +3

      実は上手く会話が出来なくて2~3回撮りなおしてます笑
      > Nvidia一強だと殿様商売になっちゃうと思うので、競合がいっぱい出てくれた方が消費者としてはありがたいですね
      ですね!GPUはちょっと高くて手が出せない人も多いと思うので、
      安く提供してくれるところとかも出てきたらありがたいですね😊

  • @uz-uz
    @uz-uz Місяць тому +5

    音声会話モード、英会話の練習に最高だな

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      ですね!
      GPT4oの音声対話機能も楽しみですね・・・!😊

  • @capien
    @capien Місяць тому +2

    にゃんたさん、今日も最高です

    • @aivtuber2866
      @aivtuber2866  Місяць тому +1

      ありがとうございます!😊

  • @zbf85297b
    @zbf85297b Місяць тому +9

    Cerebrasは推論特化という印象。NVDAは訓練だが、市場規模は推論の方が大きいような気がする。推論側もスケール則が存在する事が指摘されているしね。

    • @グワ氏
      @グワ氏 Місяць тому

      訓練もはやいよ

  • @juukaa648
    @juukaa648 Місяць тому +4

    次の5年か10年の課題ですよね。グラボだと他の機能と被りすぎてタスクによっては不合理極まりない事になってしまうし、今の時点で家庭用では一杯一杯なので、どう分化して発展させていけるのかは、かなりまだ色々ありそうですよね。ハード面での失敗と成功が交互にきそう。

  • @RivusVirtutis
    @RivusVirtutis Місяць тому +1

    マジでこれ巨大なダイなのか……
    てっきり鬼のようなcowosで後工程で配線したのかと思ったら、多分一部が壊れても別の回路で冗長できる一つの巨大なダイってことかな?
    歩留まりを改善させる冗長回路の設計がすごいのが間違いないけど、いくら冗長性が高いからといってそれを実現させるtsmcのEUVの技術の高さもエグい。

  • @mjolnir501
    @mjolnir501 Місяць тому +3

    今後の自作PCはゲーム用途に限られて、AI使う場合はAPI使用すればよいのでノートpcで十分な感じになりそうですね。今もそうなってますけど、チップはクラウドで借りるものみたいな流れは強まりそうですね。

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      APIどんどん安くなってますもんね・・・!
      あとは日本の企業がクラウド使うのにもう少し寛容になってくれると良いですよね🤔

    • @RK-py7lv
      @RK-py7lv Місяць тому

      成功しないと踏んでるのだと思いますが、パソコンにNPU積んでローカルでビシバシ生成物を量産する感じのCopilotPCなどが出てますし、ChromPlusとかローカルに推論用チップを持っていくやつもある。
      NPUよりグラボの方が性能が良いですかレスポンスはCopilotPCも良くてポンポン画像が作成されるのが見えます。クラウドでもサクサク作れるのか分かりませんが、レスポンスの良い画像生成や動画作成AIのサービスはないのかもしれません。
      CopilotPCに画像だけでなく動画もさくさく返してくれるNPUを使った機能を持つPCが出てきたら面白いなと思います。
      どちらが有利なのか分かりませんが、サーバークライアント環境だとどうしてもプチフリっぽいものがでる傾向があると思います。実害ないんですけどプチフリはちょっとイラッときます。

  • @pymust
    @pymust Місяць тому +4

    生成早すぎてちょっと食い気味に指摘されてるの笑う

  • @0manjukombat
    @0manjukombat Місяць тому +3

    同時通訳サービスにいいんじゃないかな
    ウェアラブルなスピーカーとマイクで動かせたら言語の壁なくなるね

    • @aivtuber2866
      @aivtuber2866  Місяць тому +3

      同時通訳できるの時間の問題かもですね!😊

  • @sirghty
    @sirghty Місяць тому +2

    Cerebrasの一つのボードで動く範囲の計算ならいいですが,規模が大きな計算に利用できないため一時凌ぎですね.電力量やコスト・歩留の改善,大規模化のライブラリの拡充でもやったほうが普遍性のある仕事になると思います.

  • @willmori7106
    @willmori7106 Місяць тому +2

    Very nice presentation. Thanks a lot.

  • @そいやっさ-t4p
    @そいやっさ-t4p Місяць тому +4

    これでwhisper largeV3使えますか?

    • @aivtuber2866
      @aivtuber2866  Місяць тому +1

      cerebrasでは使えませんね・・・!
      groqの方では、whisperが出てました!

  • @hys4411
    @hys4411 Місяць тому +8

    ウェハーサイズのシリコンチップは、普通に考えて歩留まり悪そう。性能はいいとしてコストはどうだろう。
    歩留を上げるのにチップレット構造にしようと頑張っているこのご時世に、効率的に量産可能なのだろうか。

  • @gyber23
    @gyber23 Місяць тому +5

    ああああついに今までにない高性能なチップがでてきたぁああああと思ったらめちゃくちゃでかいウエハースケールとか。。。ずいぶん前にウェハースケールは噂には聞いてましたが自分ちのPCに入らないですね。PCIカードサイズがほしかったんですが。。。w
    1枚数億かな。
    世界は一足飛びで誤家庭にサーバルームを要求する時代になってしまいました。おっかねえ。

    • @aivtuber2866
      @aivtuber2866  Місяць тому +1

      クラウド前提で考えていたので
      大きさ気にしていませんでしたが
      おっしゃるように個人で買おうとすると、大きいのは厄介ですね・・・😫笑

  • @メロン豆腐
    @メロン豆腐 Місяць тому +2

    更新楽しみにしています。

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      ありがとうございます!
      暖かいコメントいただけてモチベあがります・・・!💪

  • @dugdig7716
    @dugdig7716 Місяць тому +2

    単純にNvidia H100とCerebrasの1ダイの性能が1:1だったとして、Cerebrasはウェハサイズなので(Cerebrasはウェハサイズで1ダイと数えたとしても)H100のダイの数十個分ということになる。と考えるとNvidiaより20倍速いというのは、そらそうよね。と思いました。他にもコメントがありますが、歩留まり悪そうというのはまっさきに思い当たるところですので、その点がどれだけ解消されてるのかを言ってないのがポイントですね。様子見というところでしょうか。

    • @aivtuber2866
      @aivtuber2866  Місяць тому +1

      ありがとうございます!
      歩留まりという観点全く考えていなかったので
      そのような視点で見ているの勉強になります!📝

  • @hassy3001
    @hassy3001 Місяць тому +2

    会社ごとに精度が違うとありますが、なんでなんでしょうね。個人的には、誤差の範囲なのではと思ってしまいます。

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      不思議ですよね・・・!
      TogetherAIは一貫して低いような感じにも見えるので
      軽くするために何か実装を工夫しているのかもしれないですね🤔

  • @9QeP16
    @9QeP16 Місяць тому +9

    早くグラフィックボードと同様にPCに簡単に取り付けられるAIチップカードが、
    顧客市場に手頃な価格で出回ることを心から望んでいますわ。

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      ありがとうございます!
      歩留まりという観点全く頭になかったので
      そのような見方勉強になります📝

  • @石川大介-z9t
    @石川大介-z9t Місяць тому +4

    音声対話モードいいですね。OpenAIのはまだ使えるようにならないのですかね〜😇

    • @aivtuber2866
      @aivtuber2866  Місяць тому +1

      GPT4oの精度でこの速度感だったら
      めっちゃ良さそうですよね!
      ただ、全然来る気配ないっすね・・・😱

  • @sibain_wuw
    @sibain_wuw Місяць тому +2

    キャッシュがVRAMみたいな働きをしているらしい。
    どうりで、巨大になるわけだ。

  • @たみりーん
    @たみりーん Місяць тому +1

    Qwen2.5を動かせるようにしてほしいな〜

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      Qwen2.5触ってないですが、強いですか・・・!😊

    • @たみりーん
      @たみりーん Місяць тому +1

      @@aivtuber2866 7Bでもかなり実用的だと思います。3.5 Sonnetには一歩及ばずのレベルだと感じました。

  • @o.o1561
    @o.o1561 Місяць тому +2

    😁👍

  • @hassy3001
    @hassy3001 Місяць тому +2

    10年先を進んでいるとのことですが、チップの大きさが10倍ですけどね。。。まあ、それでもデバイスとして実装するのは素晴らしいと思います。

  • @大久保直太朗
    @大久保直太朗 Місяць тому +5

    結局学習出来ないんだったらNVIDIAには勝てないんよな

    • @NorwegianFC
      @NorwegianFC Місяць тому +3

      学習コストと運用コストは別かと

    • @aivtuber2866
      @aivtuber2866  Місяць тому +3

      cerebrasのクラウドサービス?だと学習はできるっぽいんですよね🤔
      ただ自前サーバーでできるようにならないと
      おっしゃるようにNVIDIAには勝てないかもですね・・・!

  • @luxsolis
    @luxsolis Місяць тому +1

    同一ウェファ内に並列に多数のチップをはめ込んだら、歩留まり、発熱の問題が危惧される。NVIDIAはGPUという名のAIに特化したチップを作っているだけで、いわゆる旧来型の『GPU』とは全く違うものだろう。この動画だけでは何とも言えないが、大ぶろしきを広げているだけかもしれない。インテルの創業者ゴードンムーアは確か去年なくなったが、現在のインテルについてNVIDIAに敗れ、政府の補助金までもらっているインテルのテイタラクを嘆いている事だろう。

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      ありがとうございます📝

  • @rti7743
    @rti7743 Місяць тому +1

    生成速度は速いけど内容が正確じゃない。
    Llama3がアホなだけなんかな?
    たとえば、"日本で2番目に高い山は?"に、"槍ヶ岳"と間違って答えたり(正解は北岳。槍ヶ岳は5番目)。
    定番の回答が信用できないとちょっと怖いなあ。モデルのせいなのかもしれんけど。

    • @aivtuber2866
      @aivtuber2866  Місяць тому

      Llama3の日本語性能(日本文化の理解含めて)がまだちょっと微妙かもですね・・・!