youtube普段はほとんど倍速で観てるけど、このチャンネルのこのシリーズは等倍で観ても理解が追いつかなくなる
素晴らしい、私も疑問に思っていた。
待ってました！ありがとうございます！
神経回路を模倣した計算っていうアイデアは昔からあるけど、ようやく現実的に応用ができるレベルまで発展しましたね既存のアーキテクチャの計算資源で十分成果が出ているのでコンセプトとしては本当に正しいものだったと思います
非線形述語層が意味的知識を保持しているということですね。😎
非線形述語が意味的判断基準を獲得していると思われます。ここで、「意味」とは、行動(/発語)する論理的根拠、つまり 行動(/発語)因果力を指します。
待ってました
自分がこの分野を勉強した数年前よりもLLMの中身が分かってきてるの科学の進歩を感じられてとても良い活性化関数はGPT-3のレベルでもReLU使ってるんだ
GPTシリーズはすべてGELUを使用していたと思います
保存できる次元数が多いので、同じトークンでも周りのトークンによる影響を細かく学習できるってことかな。例えば、「村」ってことばでも現実世界なのか、日本の村なのか、海外の村なのか、異世界の村なのかって感じで影響に対するフラグや記憶次元を確保できる。だから人間の脳と同じように正確に推論ができると
17:10 ここからのジョンソン-リンデンシュトラウスのレンマの流れは、目からうろこだった。N次元空間では、N個の概念しか思考できないと思ってた。実際は、e^(ε N)もの概念を思考できるのか。
使えてるけど説明できない部分があるのが驚きだった過去の麻酔のメカニズムのような
コウメ太夫ってすごいんだなー
全然分からなかった
数式がたくさんあって難しく感じるけど、はい〜いいえの質問を何万項目もしてるって考えれば分かった気になれそうな…
分かった気になってるだけってことを頭に留めておいてね……(遠い目)
youtube普段はほとんど倍速で観てるけど、このチャンネルのこのシリーズは等倍で観ても理解が追いつかなくなる
素晴らしい、私も疑問に思っていた。
待ってました！
ありがとうございます！
神経回路を模倣した計算っていうアイデアは昔からあるけど、ようやく現実的に応用ができるレベルまで発展しましたね
既存のアーキテクチャの計算資源で十分成果が出ているのでコンセプトとしては本当に正しいものだったと思います
非線形述語層が意味的知識を保持しているということですね。😎
非線形述語が意味的判断基準を獲得していると思われます。
ここで、「意味」とは、行動(/発語)する論理的根拠、つまり 行動(/発語)因果力を指します。
待ってました
自分がこの分野を勉強した数年前よりもLLMの中身が分かってきてるの科学の進歩を感じられてとても良い
活性化関数はGPT-3のレベルでもReLU使ってるんだ
GPTシリーズはすべてGELUを使用していたと思います
保存できる次元数が多いので、同じトークンでも周りのトークンによる影響を細かく学習できるってことかな。例えば、「村」ってことばでも現実世界なのか、日本の村なのか、海外の村なのか、異世界の村なのかって感じで影響に対するフラグや記憶次元を確保できる。だから人間の脳と同じように正確に推論ができると
17:10 ここからのジョンソン-リンデンシュトラウスのレンマの流れは、目からうろこだった。
N次元空間では、N個の概念しか思考できないと思ってた。
実際は、e^(ε N)もの概念を思考できるのか。
使えてるけど説明できない部分があるのが驚きだった
過去の麻酔のメカニズムのような
コウメ太夫ってすごいんだなー
全然分からなかった
数式がたくさんあって難しく感じるけど、はい〜いいえの質問を何万項目もしてるって考えれば分かった気になれそうな…
分かった気になってるだけってことを頭に留めておいてね……(遠い目)