Розмір відео: 1280 X 720853 X 480640 X 360
Показувати елементи керування програвачем
Автоматичне відтворення
Автоповтор
【ことラボ】◯Twitter → x.com/KotoLaboRyo◯UA-cam → www.youtube.com/@kotolabo【参考文献】◯ことばの意味 辞書に書いてないことamzn.to/3zuKwyw【サポーターコミュニティへの加入はこちらから!】yurugengo.com/support【おたよりフォーム】forms.gle/BLEZpLcdEPmoZTH4A※皆様からの楽しいおたよりをお待ちしています!
39:02 現代数学ではしばしば元よりも先に集合を定義するんですよ.つまり「特定の条件を満たしている集合」を「ベクトル空間」と定義して,その集合の元のことを「ベクトル」と定義するんです.2週間前にコメントしましたが,2週間前にアップロードされたゆるコンピュータ科学ラジオの動画内で水野さんが仰っていたベクトルに関する具体例や直観はほぼ全て合っていたと思います。ざっくり言うと,ベクトルとは「要素の組」という形で定義される訳ではなく,スカラー倍や足し算のような特定の操作が定義された集合(=ベクトル空間)の元として定義されるということです.
「あの選手は監督と対立して干されている」は成立するけど「乾かされている」は成立しないので、選手の内部の水分が抜けていたってことですね!
つまりどういうことだってばよ・・・!
「AIと人間の言語習得は同じ?」という話ですが、人間がAIより圧倒的に少ない情報量(と思える量)で学習できているのは、視覚、聴覚、触覚、嗅覚、味覚の五感を駆使して、組み合わせて学習しているからだと思います。聾者は聴覚をほとんど使っていなくても、他の4点で補ている。ヘレンケラーは視覚聴覚両方がほとんど使えない状態でしたが、家庭教師の献身的対応により「触覚」を介して語彙を学びました、味覚嗅覚もあり、体を動かし空間を3次元的に学んでいます。「大規模言語モデル」はそのすべての学習過程を「言語」に依存して学習するために人間より大量の言語データが必要なのではないでしょうか。AIに上記五感や空間認識のインプットを数値として学習するモデルが組み合わさったとき、改めて「そのAIの学習は人間と異なるか否か」を追求できるのかもしれませんね
同意見です。コンピュータ上ではデータ量や処理の関係からテキストデータの方が扱いやすく、それに特化させ膨大なデータを使って学習する。一方で人間は(基本的に)生まれながらにして簡単に使える5つのセンサーがありますからね。
人間が生まれてから得る五感からのすべての情報をデータ量として捉えると、今のAIでは桁がいくつも少なすぎるように思いますね人間の場合、時間軸という情報量で連続性を想定できるというのもあるかとAIの学習データも長い文章や関連したデータなんかで連続性はある程度確保できるけど、原則的には定義された連続性しか認識できないいうなれば、人間は3次元+時間の4次元時空で情報を処理分析できるが、AIは1次元で情報を処理分析するまあ、人間の脳の構造としては1次元の電気信号を並列的に処理してるわけで、擬似的に4次元時空だと錯覚してはいるゆる言語学ラジオの方で赤ちゃんの言語習得でも触れられてたように、論理学的に正しくない帰納を使って覚えたりもするAIは1次元の情報処理であれば人間よりも早く処理出来るわけで、人間の認知についての理解が深まってAI技術に落とし込めれば、人間よりも高次元でものごとを認識・処理することは出来るのかも
視覚情報は一秒間にとんでもない数入ってきてるからなあ
「人間が生まれてから得る五感からすべての情報をデータ量とぢて捉えると、今の今のAIでは桁がいくつも少なすぎるように思います」ですよね。"言語"という情報に限定して見た結果、大規模言語モデルの学習量が"言語単位"で多くなっているという話で、人間が様々なインプットをしていく過程のデータ量を考えると、現状の大規模言語モデルの扱うデータ量より多いのでは……専門家の話をきいてみたいですね。実は今の技術力からそう遠くない技術で五感のセンサーを搭載できるのか、はたまたはるか未来の話か。実はそもそもその観点にAI開発側が興味なかったりするのか。
@@AyatoSaisyokuそれやってる人もいるけど、基本今のまま進める方が効率が良いからなあただ、それだけ
38:31 ベクトル空間とは和とスカラー倍が定まり、云々の条件を満たす集合のことを指すので、ベクトルの定義にベクトル空間を用いても循環参照にはなりません。ちなみに、数字の組でないものからなるベクトル空間の例としては、関数が集まってできる集合などがあります
木材なんかは内部までしっかり乾燥させる意味で「乾かす」って言ってますけどね。乾かすが表面で、干すは内部まではあまり納得感がないな…。干すは動作、乾かすは状態変化ですよね。「湿度が高いから干したけど乾かなかった。」は言えますけど、「乾かしたけど乾かなかった」は成立しないですから、干すことは乾かす意思こそありますが、乾いたかどうかは問わないんじゃないですかね。知らんけど。
日本語全体に統一された用法があるというよりは、業界(例えば)ごとに用法のビミョウな差異がある場合も割とありそうな気がします。
これ干しブドウとか干芋ってカラカラに乾いてるわけではないし干すっていう動詞は結果までは言及していない感じある。
確かに。十分に乾燥しない状態を"生乾き"と言ったりしますね。
「乾かしたけど乾かなかった」は成立してるとおもいます。「干したけど干せなかった」はおかしいけど。
「乾かしたけど乾かなかった」は確かに成立し得るんですが、そのときの「乾かしたけど」は「乾かそうとしたけど」という動作主体としての表現なんですよね。「乾かした=対象物の乾燥が完了した」の状態変化を前提に置くと成立しないので、ちょっと乱暴に成立しないって言い切ってます。
意味不明なたとえを使うことで、たとえを引いた説明をした時に強制的にカタルシスを感じさせるのはゆるコンピュータ科学ラジオの策略にも思える
考えすぎで草
最後笑いました。数学(集合論)では集合を軸に定義するのでこういうことがよくあるんですよね。開集合は開集合系の元ですし、自然数も自然数の集合の元ですし、同様に整数、有理数、実数、複素数、四元数等もそれらの集合の元です。当然ながら、元となる集合を構成する際には循環論法にならないようにするので、ベクトル空間の定義に「ベクトルを集めたもの」と言ったものはなく、「この集合の元は、こういった条件や関係を満たす」として条件の箇条書きで定義されます。数学ではよく見る印象ですね。
干してある洗濯物が乾ききった時、その洗濯物は”干してある”と言えるか気になったのでChatGPTに聞いてみた洗濯物が乾ききった場合に「干してある」と言えるかどうかは、その文脈に依存します。乾燥中の状態を指す場合:乾ききった洗濯物には「干してある」とは言わず、「乾いている」「乾いた」と表現します。物理的な場所を指す場合:乾ききっていてもまだ物干し竿やハンガーに掛かっている場合は「干してある」と言えます。なるほどなあ
お煎餅の例え、分かりやすくて好きです笑
楽しみに待ってました
ぼくも!
たのまち
僕もたのまち❤❤❤
楽しみに待ちすぎたかもしれません
「人を干す」は言えても「人を乾かす」は言えないなぁと派生の意味から元の意味を推測しようとしてたので内部の水分という回答が出てからミイラがちらついて離れない
人を干すのはめざしを干している状況と関連させて両方とも動けない自由を奪われているという類似性からきているということではないか?
建築系の実験において土、石、木材の含水表現に湿潤(飽和含水): 水分の付着が確認できる表乾(繊維飽和): 表面は乾いているが水を含んでいる気乾(気乾): 通常の乾燥した状態絶乾(絶乾): 水分を含有して無い(と考えて良い)状態。石、土においては定義として『インキュベーターにて100℃程度で自由水を乾燥させた状態』って言う用語があり、吸水率試験や含水比の計測に用います。内部まで乾かしているのに、“干す”の表現が適応されていないので、業界用語の一例としてコメントしました
アラインメントといえば車のホイールアライメントが一番身近ですが「アライメント調整」と多用されるせいで頭痛が痛い。
3:24 水野さんのモノマネがうますぎて、りょーさんが喋ってると思った
音だけ聴いてると、どっちかわからなくなる時がある
細かすぎて伝わらないモノマネ選手権に出てほしい
「ベクトル空間」そのものは「ベクトル」を使わずに定義されてるってことですね。
工事現場では、2つの配管を合わせる際に、配管の軸芯のずれを修正することをアライメントと言ったりするので、親方が言っている場合は、こっちかもしれないですね。
整列するって意味ですね
ベクトル空間は古来からのベクトルの概念を抽象化した集合で、ベクトル空間の構成要素の定義に当てはまるものがベクトルであると、ベクトルが再定義されている、という順番が大事ですねー。
一方の民俗学「昔話一つ満足に作れねぇポンコツじゃ!ガハハ!!」
あの回、遊びつつ民俗学のテーマに繋げようとしててすげぇ好き
マジレスすると、民俗学に特化したAIになっていない、食わせる情報が制限されていないから、それらしくならない、って話なのかと。一方で、グリム童話だけ食わせて、グリム童話っぽい話なら作れそうですが、なかなか面白い話にはならないかなぁ。壮大な年数の伝言ゲームの中で無駄が省かれ、一方で付け足されしてきたものですから、二度と同じような変遷は辿らないわけですし。。
「画像から文字を出力するAI」という話があったので、画像の内容を分析するアプリ Microsoft社製の Seeing AI に、 32:41 のスクリーンショットを読ませてみました。 - 以下引用 -この画像には、テーブルに座っている3人の人物が写っており、それぞれがマイクを前にしています。左の人は青いシャツを着ていて、目の前に缶とビールのグラスを持っています。真ん中の人は暗い色のシャツを着ていて、赤いラップトップとビールグラスを前にしています。右の人は紺色のシャツを着ていて、目の前にビールのグラスを持っています。左上には「ゆるコンピュータ科学ラジオ」という日本語のロゴがあります。上部中央には、青いバナーに白い文字で「これがAIの力だ!」と書かれています。画像の下部には「画像を入力して文字を出力するAI」と書かれた日本語の大きな白い文字があります。1. シーン - 説明: マイクを持ってテーブルに座る男性たち2. ユーザー - 説明: 3人が検出されました。 -細部: - "中立的な黒髪の33歳男性。" (ニュートラルな黒髪の33歳の男性)。 - "幸せそうなメガネをかけた[blurred]の29歳の男性。" (幸せそうなメガネ29歳男性)。 - "27歳の黒髪の男性で、眼鏡をかけており、中立的なようです。" (黒髪と眼鏡をかけた27歳の男性、中立的に見える)。3. **テキスト (テキスト)**: - "ゆる" - "コンピュータ科学" - "ラジオ" - "BREWD" - "これがAIの力だ!" - "画像を入力して" - "文字を出力するAI"- 以上引用-年齢の推測とかまで出てくるのがおもしろいですねこれ
BREWDは左下の缶に書いてある文字か
言語学研究に「大規模言語モデルのほうが役に立つじゃん」って言うのは、陸上選手に「バイクとか車のほうが速いじゃん」って言うようなズレを感じる
車の普及で飛脚や人力車が縮小したように、大規模言語モデルの出現で辞書編纂や言語学研究も完全になくなりはしなくても、縮小しそう
陸上とは違うかな大人の言語学習に置いては言語学は成果出してる
いつも研究のお供にラジオを楽しんでいます!言語もAIも専門外なので以下は素人の感想です!「干す」も「乾かす」も多次元単語ベクトルで直交する「水分の与奪」軸、「内部ー表面」軸以外の成分(次元)ももつとします。また、厳密にはこれらの単語の違いが内部に関することか表面に関する現象かの違いだけで「水分の与奪」軸に平行な成分の大きさは同じだと仮定します。この場合、「干す」ベクトルと「乾かす」ベクトルの差分のベクトルは「内部ー表面」軸と平行になり、それは「干す」と「乾かす」の意味の差や使用できる文脈の違いそのものをあらわしているのでは?と思いました。しかし、分布仮説の性質上「干す」ベクトルも「乾かす」ベクトルもノイズとして本来重要でない次元にある程度の大きさをもっている、もしくは上記の仮定が不正確で本来これらの単語の意味の違いはほかにも存在していおり、「水分の与奪」軸に平行な成分の大きさも同じではないため差分ベクトルは必ずしも「内部ー表面」軸と平行にならず(ねじれの関係的な・・・)、ほかの次元の成分がそれなりに存在することで動画内のようにChatGPTの回答がぶれてしまうのではないかな~と妄想していました。「干す」「乾かす」「湿らす」「濡らす」などの多次元の単語ベクトルも主成分分析で重要でない次元を削減したりガウス混合モデルなどでクラスタリングすることで大雑把な意味の輪郭みたいなものを浮き彫りにできそうで興味深い話題でした!
29:09 ここの話、「『百聞は一見にしかず』っていうけど、一億回聞けば見たのも同じでしょwww」ってAIに言われてる気分です。
AIは半導体をプリンに例えたり、ネットワークを大泉洋に例えないから人間とAIの言語モデルは違う!って反論したかったけど、堀元さんの学習データに偏りがある可能性も考えられるのか
堀元AI作る時は文中のプリンは取り除かないといけないんだよね……。
コンピューター用語では「同期」という言葉が厄介ですね。順次処理のことを「同期処理」と言ったりしますが、並列処理のタイミングを合わせることを「同期をとる」と言ったります。
同期処理は「常に同期が取れている処理」だと解釈すれば無理もないような…?
「ベクトルはベクトル空間の元」というのはスカラーで言うなら0, 1, 2, ...が集まって実数ができるのではなく,さきに実数というものがあって,その中の1要素に「1」という名前を付け,ほかの1要素には「0」という名前を付け,...という風に定義をしていくということではないでしょうか.
聞いていて既視感が有ったのですが、この話は「心は存在するか」と同じことではないでしょうか。・AIが心を持つことはあり得るか?→そもそも心とは何か→人間にも心なんてないという説明で私は納得したので、であれば今回の話も同様に・AIは単語の意味を理解しているのか?→単語の意味とは何か→意味は存在しないという結論になると感じました。「人間もAIも大量の用例をインプットして自然な文章が生成できるのだから、同じ」という論理は非の打ち所がまったくないと感じます。それに対して「人間は意味を理解していてAIは理解していないのだから違う」と反論するのは、まるで神や不滅の魂の存在を信じるように「意味」の存在を信仰しているように思えます。「我々がある単語を聞いて、たちどころにその意味を理解できるのはその単語に意味というイデアがあるから」ではなく「我々はインプットした用例に共通する特徴を見出して使える範囲を推測しているに過ぎず、個々の単語に定まった意味は存在しない」のでしょう。乾くと干すのように、似た意味なのに使える状況が異なる単語があるのは、インプットされた用例に偏りがあるからそれに合わせたアウトプットにも違いがあるだけの話であって「意味の違い」とは用例の違いを説明できる解釈を提示しているにすぎないと思います。歴史や人生にナラティブな意味付けをするために物語を作る行為と似ていると感じます。
酒とってくるって言って本当にビール出てくるの細かいなあ
ベクトルの成分表示は基底を取って初めて決まるもので、基底を取らなくてもベクトルはベクトルなんですよね。基底はいつでも取れるので、そんなに気にしなくていい部分ではあるのですが……。
選択公理は認めな…!おっと誰かが来たようだ
ベクトル空間の基底の存在は(特に無限次元の場合は)選択公理の元で存在が示されますこれを「いつでもとれる」と言っていいのかちょっと引っかかりますね、わざわざ突っかかるほどのことでもない気がしますが(すみません)返信欄のはそれを前提とした数学系youtuberの内輪ネタな気がするけど伝わっているのだろうか…
そもそも人もコンピューターも言語化している時点で、言語上の話なので、その範囲内で議論している時点でそこに両者の違いはない気はする。その外を知っているのが人間だ、という話だと思う。
外の世界なしでは言語化出来ないからなあ人間は
ゆる言語学ラジオで使われる「メタ認知」もアラインメントみたいですね。心理学では、自分がどのような記憶や思考を持っているかについての認知をメタ認知というのに対して、ゆる言語学ラジオでは、自分が周囲からどう見られているかという認知で使われています。
AIが単語を正しく用いているがその理解してるのか?は興味深いですね。空手の型は見かけだけ真似ても正しい技が身に付いた事にはならない、という話を聞いたことがありますが、理解はしてなくても体裁は繕うことが出来てしまうと思うので、単語ベクトルでは用法のルールに従うことが出来てもそれは理解とは違う、に一票入れます。
はけ口を「はけくち」と読むのが気になるなぁ。連濁ルールからしても「はけぐち」が標準的・規範的な印象。
12:20「くち」12:38「ぐち」左の方は、正しく濁ってます。
乾かすは乾くという状態変化を表す動詞の他動詞形なので結果が伴うイメージが強いなあ
チャッピーに聞いたらちゃんと答えた。「干す」と「乾かす」は、どちらも物を乾燥させるという点で共通していますが、使用する場面やニュアンスに違いがあります。干す(ほす):主に物を太陽や風に当てて水分を取り除くことを指します。洗濯物や布団、食べ物(干し魚や干し野菜など)を外に出して乾燥させるときに使います。例:洗濯物を干す、布団を干す、干し柿を作る。乾かす(かわかす):水分を取り除いて乾燥させること全般を指します。物を自然乾燥させるだけでなく、ドライヤーや乾燥機を使って乾燥させる場合にも使われます。例:髪の毛を乾かす、靴を乾かす、濡れた本を乾かす。要するに、「干す」は主に屋外で自然の力を利用して乾燥させる行為に使い、「乾かす」はより広い意味で、手段を問わず乾燥させることを指します。
「単語ベクトルは意味を捉えている」派からのコメントですが、ChatGPTが「干す」「乾かす」の違いを答えられたことは、単に干すと乾かすの違いについて言及した文章を学習して思考をショートカットしているからうまくいっている可能性があり、単語ベクトルからの意味の抽出が現在の技術で可能かはあやしいと感じました。
面白いトークをありがとうございます!既に他の方も指摘されていますが、私も「干す」は動作、「乾かす」は結果に焦点が当たっているように思います。例えば、「一人暮らしの女性は防犯のために男物の下着を干すとよい」というような文だと(こんなことを言わなくてはならない社会なのが残念でならないですが、ここでは単に用例として)、「干す」ことに水分を飛ばす目的はまったくなく、動作だけの話ですよね。いろいろ思索するのが楽しく、興味深いです
干す(動詞)=動作乾かす(動詞)=動作乾く(動詞)=動作の結果干した(動詞的)=動作の完了干した(形容詞的))=内部まで乾燥した乾かした(動詞的))=(まれ)動作の完了乾かした(形容詞的)=表面が乾燥した(動詞の結果の回収)乾いた(形容詞的)=結果の回収→内部までの乾燥のイメージありませんか?
37:11 「AI」が計算機ベースであり、今の計算機がそもそも成功してる、ってのは大きいですね。特に例えば近年は「AIにしゃべらせる」が「成功」するくらいの性能に計算機が達してる。一方で言語学を駆動する計算機みたいなもの/方法論は多分まだあまり無いですよね多分
21:01 小説の「舟を編む」だったかなあ、「10」のうち、1のある方 みたいな説明をしているのを見つけたときは高校生ながらに「確かにそれがいっちゃんわかりやすいじゃん!この説明閃いた人すげえ!」って感じたことある
自分の体を縦半分に分けて、両手をそれぞれの近い方の胸に手をあてて胸に手を当ててドクドクしてる方じゃダメなのかな?と思って自分の胸に手を当ててみたけど、小道具全く感じなかった
@@ハチコ-p7n臓器の位置が反転している人もいるので、それだと定義出来なさそうですね
@@ハチコ-p7n 心臓や臓器が反対側にある人もいるから(反例)。。。
干すは乾かす為の場所に吊るしたりして放置しておくことと思っていました。仕事で干される、も追い出し部屋にいれて放置することと考えると通じますしおすし
そういう意味でのChatGPTの動詞、形容詞の違いって意味合い、意外と間違っていないかもしれない。。干すは行為で動詞、乾いた状態。英語のdryに引っ張られている感じはあるけども。。
「干す」は動作、「乾かす」は状態変化かなと思いました。洗濯物で言うと洗った後ハンガーに掛けて竿に掛けるまでが干す、その先が乾かすのイメージ
前々回のコメント欄でベクトルに興味のある人が沢山いてびっくりしました。ちゃんと訂正も入っていてさすゆるです。
現時点での水野さんにとっての「意味を理解する」の定義を明示したうえでのりょーさんの回答をもう一度聞いてみたいですね直近のゆる哲で出たメアリーの部屋とか、中国語の部屋や哲学的ゾンビあたりも絡んできそうな話っぽいのでトキヒロさんが今回の話についてどう考えるのかも聞いてみたいかも
32:39 想定しているようなAIとズレる部分もあるかもしれませんが、画像を入力して文字を出力するAIもあるように思います。一般的には確かに使われることは少ないかもしれませんが、主に視覚障害のある方向けに、写真の情報を言語化してくれるようなものは存在します。microsoftの「Seeing AI」などがその一例かと思います。
38:41 ゆっくり首を傾げるりょーさんがかわいすぎて…🤦🤦
21:00 もともと人間の英知の全範囲wにおいても「右」をきちんと説明するのは凄く難しいって話が有った気がします。「左じゃないもの」みたいな「相対的な」答えは人間も(AIも)簡単に出しそうだけど、そういう相対さを排除した説明は(少なくともベクトルの差分では)出にくそう…
干すは行為そのものが重要で水分量については副産物乾かすは水分量を変えることが第一目的
つまり、・干した結果 = おこげ・乾かした結果 = おせんべい
ご存じかと思いますが、GPT 4oにしろClaudeにしろ、文章だけでなく画像、動画、音声等を直接モデルに入力し、文章以外も出力する、マルチモダリティを目指す流れがあると思います。謎の数字の塊が統計的処理でどこまで人間の感性に近づくか見ものですね。現行手法だと課題はトレーニングのためのデータセットの用意でしょうけど……
それが、割と言語ベース依存に近い状態に感じるかなぁというのはあります。。>マルチ
干すと乾かすって干すと吊るすくらい違うんじゃないかって感覚がある
ハケクチが気になっちゃってブレるぅー絶対言いにくいやんw水野さんまで清音で言ってたから不安になって調べちまった
内部 外部の話ではないと思う。例えば、「濡れた布団を乾燥機で乾かす」といった場合、中が濡れてたらおかしいと思う。ここで思ったのが先天的な水分を除く場合「干す」、後天的に得た水分を除く場合は「乾かす」。これだと上記の例でも動画の「手」の例でも成り立つ。しかし、「茹で野菜」を茹でたことで水分を後天的に得たと考えると成り立たなそう。また、布団でも「濡れ布団」とすると急激に成り立たたなくなる気がする。この場合「茹で野菜」「濡れ布団」を一つの塊として先天的に水分を含んでいると考えると成り立ちそう。でもこうすると「濡れた布団」は塊とならず例外になる。ここで、「した物」と「し物」「され物」で塊にできるかが異なるとも思ったが「茹でた野菜」は塊になりそうなので例外。また、動画だと「水浸しになった布団」を塊で捉えてないため内部が濡れてそうとなったことを考えるとこの塊になる条件は「した物」あたりが境界でグラデーションなのかも?また、他の意見で「干す」が様態、「乾かす」が結果というのもあり影響はしそうだが、これだと「手」や「魚」でカピカピになりそうなことが説明できないと思ったのでこれだけでは説明できなさそう。
Claude3.5 Sonnetは「干す」と「乾かす」の違いをそれっぽく書いてくれました。----「干す」と「乾かす」は似た意味を持つ言葉ですが、いくつかの違いがあります:方法:「干す」:主に自然の力(太陽や風)を利用して乾燥させること。「乾かす」:自然の力だけでなく、人工的な方法(ドライヤーなど)も含む。対象:「干す」:主に洗濯物や食品(干し柿など)に使用。「乾かす」:より広い範囲の物に使用可能(髪、床、書類など)。ニュアンス:「干す」:物を外に出して乾燥させるイメージが強い。「乾かす」:場所を問わず、単に水分を取り除く行為を指す。使用頻度:「干す」:日常会話でより一般的。「乾かす」:やや formal な表現。例:洗濯物を外に干す。髪をドライヤーで乾かす。これらの違いを理解することで、状況に応じて適切な言葉を選ぶことができます。さらに詳しい説明が必要な場合は、お知らせください。
14:49 堀元さんが勘違いしていると思うんだけど、ゲスト研究者の方が仰っているのは「どう使っているかに意味が宿る」んじゃなくて「どう使っているか=意味」なんだよ。ウィトゲンシュタインは格言っぽくそう言っていたけど、21世紀の分析哲学だと割と主流な学説になっている。プラトニックに意味が存在して用法がそれを反映しているのではなくて、意味と用法を(何らかの形で)同一視する。この「何らかの意味で」の部分がウィトゲンシュタインと現代分析哲学で違うから雑な説明になっちゃってるけど、少なくとも「どう使っているかに意味が宿る」のではない。
分析哲学について全然知らないので単純に質問なんですが、分析哲学においては用法は問われるべき重要なものなのですか?なんとなくウィトゲンシュタインについて聞きかじっただけだと、前期の写像的な、意味と単語が厳密に一対一対応するという考え方が分析哲学の萌芽となり、後期の言語ゲームは我々(同一の母語話者同士)が言語の用法を共有している、そのことこそが大事なのであって、意味はあまり重視しないというような立場でなんか大陸哲学っぽいなあと思ってたのですが。
@@コツコツポンコツ-y6f まず「前期の写像的な、意味と単語が厳密に一対一対応するという考え方が分析哲学の萌芽となり」という理解は誤っていると思います。「分析哲学の萌芽」という意味ではウィトゲンシュタインに強い影響を与えたフレーゲの貢献が圧倒的であり、ウィトゲンシュタインと分析哲学の関係を上記のように理解することが間違っていると思います。「後期の言語ゲームは我々(同一の母語話者同士)が言語の用法を共有している、そのことこそが大事なのであって、意味はあまり重視しない」については滅茶苦茶で、正しい部分が見当たりませんので、その認識をもって「大陸哲学っぽいなあ」というのは誤っています。
@@Jinkei2016 うわ感じわる。滅茶苦茶で悪うござんした。
@@コツコツポンコツ-y6f 申し訳ございません、事実誤認を指摘されることが「感じ悪い」という文化の方でしたか。あなたは全て合っています、間違っていること等一つもありません。これで満足ですか。良かったですね。
@@Jinkei2016 先のコメントでは私は誤っていると言ったのに、今度は間違っていないという。これは矛盾している。さては君は口先だけの嘘つきだなぁ?
「干す」と「乾かす」の説明をAIができたのは、大規模言語モデルの中に、人がした説明文のデータがあったからという可能性はなのかな?
堀元さんの「はけ口」を水野さんが「営み」に言い換えているの、結局似てて面白い。
35:02 生成文法と生成AIにも「理学vs工学」のような対立構造があるんですね。既視感あるなぁ。工学ですと流体とか理論式は少なくて経験式でモノを作ります。
生木を製材の過程で水分を抜くとき、乾かすとも干すとも言わず「乾燥させる」っていうな。「干す」って言葉にも射程があるんかな。
統語論を勉強し始めるとSVOCではない「補語」が出てきて「お前どっちや」ってなることがあったりですね……あるんですよ……用語の干渉はですね……可能な限り避けたいですよね……無理なときはどうあがいても無理なんですけどね……
人間とAIの言語習得に関してはそれこそ今井むつみ先生辺りに聞いてみたい話ではある
言葉に一元化されたAIの世界でAIが3次元を再生するのと、我々が言語情報で行ったことない国を想像し体験できない抽象世界を構築し、4次元5次元を構築するのとはどう違うのか、あまりわからないです。基本身体性の有無が大きいとは思いますが、生まれつき足のない人、目の見えない人、耳の聞こえない人の世界が劣るわけではないのと同様「違う世界を構築している」「違う世界にそのまま応用はできない」というだけな気がします。
耳で聞いてたら性科学ではなく生化学だと思ってしまって混乱した
38:38 ベクトルはベクトル空間の元という定義は確かに初学者向けに役に立ちませんが、なぜそのような定義が必要になったのか理解されずに流されてしまって悲しいです。
38:31ベクトルがベクトル空間の元として定義されるのはベクトルの性質として加法とスカラー倍が定義されていることが必要で、その演算を定義するのに2つ以上のベクトルが必要、みたいな話かな?
単にベクトル空間の公理を満たしているものをベクトルというので、ベクトルとはなにか?と言われたらベクトル空間の元と言うしかないということだと思います。ちなみに零ベクトルしか持たないようなベクトル空間(零ベクトル空間)も考えられるので、元が2つ以上である必要はありません。
ラジオ内ではただ単に、文字面だけ見てベクトル空間の定義にベクトルが含まれていると勘違いしただけでしょうベクトル空間とは和とスカラー倍が定義された集合というだけで、その定義にベクトルは含まれていません。従って循環参照にも陥っていません。その集合がベクトル空間だと分かったならばその元のことをベクトルと言う、そういう話の順番であることに注意しましょう。
ベクトルを直接的に定義していないことに対する説明を与えたつもりでした。つまり、一般的な認識として「定義の順番はまず元を定義して、その集まりとして集合を定義するというものである」と想定したときに、ベクトル空間→ベクトルというのは逆向きになっているので、なぜそうなっているのか理由として挙げたつもりです。
大衆向けのサイエンスの文脈で「〇〇とは何か?」と聞かれたら厳密な定義じゃなくて誤解を恐れず本質的なイメージをなんとなく答えるほうが良いのではと思います。ベクトルで言うと「基底の和と実数倍で任意の要素が表せるって性質をもつやつ」とかですかね。厳密な定義は興味持った人が勉強すればいいよのスタンスでいいのかと。
LLMは単語を理解すると仮定すると、文章は理解しているんですか?トーカナイザーで分割される前のベクトルをほかの単語と比較したりするのか知りたいです
私は「生成AIの時代」に入ってからゆる言語学ラジオを通じて「言語学の概説」を学びました。実態はともかくとして自意識としては言語化能力を自分のストロングポイントだと信じていたこともあって、生成AIについては恐らくラッダイト運動で打ち壊しに参加していた人達と程度の差はあっても同種の「気持ちの悪さ」を感じて来ました。そんな私は言語学の態様を学ぶことで、言語の移ろいやすさ、不完全性、そうでありながらの道具としての有用性の高さや、一般的な言語学者の言語に対する「~警察」とは対照的な姿勢を知るにつれ、徐々に心の平安を取り戻したような、そんな気がしています。n=1の話しではありますが、「こんな時代だからこそ言語学に救われる人」は実在します。
Image Captioningは有るので、ビジュアルシンカーの絵を入力して思考や感情を言語化するAIも作ろうと思えば作れそうですね学習データ集めとビジュアルシンカー毎のパーソナライズに多大な問題があるでしょうが
電子機器も洗浄した時などは内部まで水分を取り除きたいから「干す」ですよね。コンピューターとか。
12:20 え、違うの!?
アライメントは整形外科でも使われる場所の位置を整えたり骨折の時などに使われる
29:11 「GPTには視覚がないからものの厚さに注目できない」云々っていう話、昔から「シンボルグラウンディング問題(記号接地問題)」という呼び名で取り上げられてきているんですよね~(軽くググり直したら今井むつみ先生へのインタビュー記事が出てきた...!)
まあ、ベクトル空間の定義にベクトルは使われていないから…。
「干す/乾かすの関係は濡らす/潤かすの関係とパラレル」で終わるだろ!何やってんだ堀本ぉ!道民だろぉ!と思って聞いていました。ナショ道民ismが足りていないので、堀本さんは非道民です。「結果を意味に内包しているか」で行くと乾かすと潤かすがパラレルで、「内部まで影響があるか」で行くと干すと潤かすがパラレルなので非常に面白いトピックス。語源的には乾かすの逆として潤かすを作っているっぽい気がするので、道民的には「内部の影響」というより「結果の内包」の方が意味の峻別への影響が強い感じがします。
音楽では、「ある特定の音の高さ(絶対的なピッチ)」をドレミファソラシで表し、「音階上の特定の音(相対的なピッチ)」をドレミファソラシで表し、二つの音の間隔を〜度で表し、和音の音階上の位置を〜度で表します他にも数え切れないくらいこういうのがあるので控えめに言って地獄です
ベクトルはベクトル空間の元、って説明になるんわかりすぎる。ある性質を満たすような集合として定義される対象(ベクトル空間、位相空間、...)て厳密にはそう説明せざるを得ない
この場だと数学的厳密さを追いかけないイメージの説明でよくて、「いい感じの足し算と実数倍が定義できて、任意のベクトルが基底の実数倍と和で表されるっていう性質を満たすもの」くらいでいいのではと。(つまり水野さんのほうが合ってるんだよなぁーという)
「アラインメント」ゴルフではよく使います。
GeminiとかGPT4oのマルチモーダル(画像や動画をテキストに変換せず理解する)っていうのはどうやってるんですかね?画像のバイナリ情報にベクトル性を持たせてるのか、画像を直接理解するというのが一般人への説明であって実際には違うのか…テキストを介さず処理できるなら、干すの話もだいぶ前提が変わりそうな気がします
水野さんが「〇〇的には〜」と言うと、ゆる言の方で「正確」を“性格的”と言い間違えて、一旦「性格的には明るくて〜」とボケた時が毎回毎回頭に過って楽しいりょーさんをゆる言にもゲストで呼んだらいいのに今回のような、りょーさんと検証できる言語関連の話はまだあると思われる
ベクトルは何個数字があったとしても、n次元空間の場所を指す矢印と捉えることができる。語彙を十分区別仕分けるのに何次元必要だったか知りたい。
意味の理解の仕方が人間とAIでどう違うか、学習量に差がある点は身体性である程度は説明が付きそう。人間が感覚を通してダイレクトにインプットしているものを、AIは学習のためにあの手この手で感覚が表現された文章を大量にインプットする必要がある。言語化に伴って省かれた多くの情報を逆に文章の数で補っている。
工学畑の人間ですが、実験装置を繰り返し使うことで生じる装置内部の位置や角度などのずれを調整して直すことをalignmentと言いますね
8:09 突然の親方草
アラインメント、言語学の用語にもありますね。(対格型言語か、能格型言語か、等)
「干す」の単語ベクトルと「乾かす」の単語ベクトルの「差分ベクトル」を、既存のどのような単語ベクトルの和で表せるか、という問題を解いているのが、「言葉で表現する」ということでしょう「ベクトル」というのがわかりにくければ「他の単語組み合わせでの言い換え」=タググラウドだと思うといいかも「似てる」=「共通するタグが多い」「似てる中で違う部分」=「異なるタグ」「乾かす」と共起しやすい単語群を位置を考慮した共起確率とともに表したものと、「干す」と共起しやすい(略)表したもので、差分を取った時、「中心」「表面」「手段」「目的」のような単語が浮かび上がるこれを言葉にしたのが「説明」用例を挙げて…という作業がまさにそれ逆に「言葉にしづらい差異を言語化(既存の抽象へのラベリング)することなくそのまま扱える」という単語ベクトル演算の方が、より汎用性が高いとも言えるつまり「論理的に言語で説明する」というのは、単語ベクトルの差分を既存の単語ベクトルの和として因数分解して表現しているこれは、ビジュアルシンカーが言語ラベルにマッピングしない「感覚」や「勘」でセカイを扱ってるのに似てるとかとか妄想
単純に脳が大規模言語モデルよりも高い性能を持っているようにも思えます。五感からの情報は全て脳のシナプスを介して処理されるため、脳のシナプス数とAIのパラメータ数を比較することで性能差を考えてみます。人間の脳には約100兆個のシナプスがあり、これに対して現在の先進的なAIモデルは大体1兆個のパラメータです。シナプスとパラメータは情報の処理と伝達において類似しているので一応参考にはなるかなと。
堀本さんりょーさんにadversarial attack仕掛けてて草
“ベクトル”の定義が多面的過ぎて1番「言語学習って難しいなぁ」って思わされるの面白い。
28:18 「水浸しの布団を乾かした」って聞いたら、「あ、干したんだ」って思うから別に内部がビチャビチャとは思わないな……
赤子の発声の変遷を、「万能である泣き声から無難な言語への分化」と仮定すると、言語学習というは、スマートなメカニズムによるボトムアップというよりも、なあなあな淘汰による体系の形成ととらえた方がよいのかもしれません。それを踏まえると言語学よりも大規模AIのほうが生体の言語学習に近いように思います。 そうだとしても、「明確な意図があって形成された訳ではないが、構造に利点があるもの」を解剖する学問が無駄になるわけではないと思います。
気になるわぁ😮
干す 乾かす の例で言うと、日本語母語話者のほとんども過去の膨大なインプットから何となくの使い分けはできていて、全く新しい単語が来た時に「どっちかというとこれかな?」とは言えるけど、水野さんみたいに違いを的確に答えられる人はほぼいない。それってやってることAIと同じじゃない?
「意味」は単語の用法を人間の限られた脳で理解できるよう論理的に分解したものであって、単語ベクトルは膨大なデータを膨大な現実に直接ぶつけるものだから工程数が違うと言える気がする
素人考えなんですけど、人間の言葉は(一定の文で表現され得る)意味から形式的な文の形に成形されていくのではないかと思いますLLMは類型から文の型を算出し、コアな単語を当て込んで関連する単語を確率から推計するとか?なら文章生成の順序が逆な気はします
10:58 水野さんも「制御」のニュアンスが必死に抑えてるイメージだから、ニュートラルな意味で使われると混乱するって言ってたじゃねえか、と思いました
親方にちゃんとアライメントやっとけ、といわれる現場、あるんだよなぁ自動車のタイヤ取り付け角度等を調整して、車の進行方向とステアリングの向きのズレを修正したりすることを、アライメントをとるといいますねつまり整備工場の見習い的な立場の人は、工場の親方的立場の人からアライメントやっとけ!と言われることもある
単語のベクトル化で達成できるのは、あくまで単語と単語の相対的距離の決定なので、単語同士のネットワークは完成するかもしれないけど、じゃあそれである言葉の意味って何よって聞かれたら答えることができないと思うんですよね。ゆる言語学ラジオで散々話題になった「記号接地問題」からのがらられ無いんじゃないかなあ。同じ質問を今井むつみ先生に投げて答えを聞いてみたいです。
最近毎日音楽生成AIと画像生成AIで何か作るということを続けていますが、音声(というか歌詞)に比べて画像がなんかコレジャナイ感溢れる画像が出やすいのはそういうことかー
水野さんが「ラムダ演算子」と言うのに驚いたり。
用法の羅列によってプールのブイが動くんじゃないのかな?微調整が進んで落としどころが狭まるのはAIでも人でも同じだけど、人が意味として認識できる狭さまでAIが攻められれば意味認定できそう。
【ことラボ】
◯Twitter → x.com/KotoLaboRyo
◯UA-cam → www.youtube.com/@kotolabo
【参考文献】
◯ことばの意味 辞書に書いてないこと
amzn.to/3zuKwyw
【サポーターコミュニティへの加入はこちらから!】
yurugengo.com/support
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています!
39:02 現代数学ではしばしば元よりも先に集合を定義するんですよ.つまり「特定の条件を満たしている集合」を「ベクトル空間」と定義して,その集合の元のことを「ベクトル」と定義するんです.2週間前にコメントしましたが,2週間前にアップロードされたゆるコンピュータ科学ラジオの動画内で水野さんが仰っていたベクトルに関する具体例や直観はほぼ全て合っていたと思います。ざっくり言うと,ベクトルとは「要素の組」という形で定義される訳ではなく,スカラー倍や足し算のような特定の操作が定義された集合(=ベクトル空間)の元として定義されるということです.
「あの選手は監督と対立して干されている」は成立するけど「乾かされている」は成立しないので、選手の内部の水分が抜けていたってことですね!
つまりどういうことだってばよ・・・!
「AIと人間の言語習得は同じ?」という話ですが、人間がAIより圧倒的に少ない情報量(と思える量)で学習できているのは、視覚、聴覚、触覚、嗅覚、味覚の五感を駆使して、組み合わせて学習しているからだと思います。聾者は聴覚をほとんど使っていなくても、他の4点で補ている。ヘレンケラーは視覚聴覚両方がほとんど使えない状態でしたが、家庭教師の献身的対応により「触覚」を介して語彙を学びました、味覚嗅覚もあり、体を動かし空間を3次元的に学んでいます。「大規模言語モデル」はそのすべての学習過程を「言語」に依存して学習するために人間より大量の言語データが必要なのではないでしょうか。AIに上記五感や空間認識のインプットを数値として学習するモデルが組み合わさったとき、改めて「そのAIの学習は人間と異なるか否か」を追求できるのかもしれませんね
同意見です。
コンピュータ上ではデータ量や処理の関係からテキストデータの方が扱いやすく、それに特化させ膨大なデータを使って学習する。
一方で人間は(基本的に)生まれながらにして簡単に使える5つのセンサーがありますからね。
人間が生まれてから得る五感からのすべての情報をデータ量として捉えると、今のAIでは桁がいくつも少なすぎるように思いますね
人間の場合、時間軸という情報量で連続性を想定できるというのもあるかと
AIの学習データも長い文章や関連したデータなんかで連続性はある程度確保できるけど、原則的には定義された連続性しか認識できない
いうなれば、人間は3次元+時間の4次元時空で情報を処理分析できるが、AIは1次元で情報を処理分析する
まあ、人間の脳の構造としては1次元の電気信号を並列的に処理してるわけで、擬似的に4次元時空だと錯覚してはいる
ゆる言語学ラジオの方で赤ちゃんの言語習得でも触れられてたように、論理学的に正しくない帰納を使って覚えたりもする
AIは1次元の情報処理であれば人間よりも早く処理出来るわけで、
人間の認知についての理解が深まってAI技術に落とし込めれば、人間よりも高次元でものごとを認識・処理することは出来るのかも
視覚情報は一秒間にとんでもない数入ってきてるからなあ
「人間が生まれてから得る五感からすべての情報をデータ量とぢて捉えると、今の今のAIでは桁がいくつも少なすぎるように思います」
ですよね。"言語"という情報に限定して見た結果、大規模言語モデルの学習量が"言語単位"で多くなっているという話で、人間が様々なインプットをしていく過程のデータ量を考えると、現状の大規模言語モデルの扱うデータ量より多いのでは……専門家の話をきいてみたいですね。
実は今の技術力からそう遠くない技術で五感のセンサーを搭載できるのか、はたまたはるか未来の話か。実はそもそもその観点にAI開発側が興味なかったりするのか。
@@AyatoSaisyoku
それやってる人もいるけど、基本今のまま進める方が効率が良いからなあ
ただ、それだけ
38:31 ベクトル空間とは和とスカラー倍が定まり、云々の条件を満たす集合のことを指すので、ベクトルの定義にベクトル空間を用いても循環参照にはなりません。ちなみに、数字の組でないものからなるベクトル空間の例としては、関数が集まってできる集合などがあります
木材なんかは内部までしっかり乾燥させる意味で「乾かす」って言ってますけどね。乾かすが表面で、干すは内部まではあまり納得感がないな…。
干すは動作、乾かすは状態変化ですよね。
「湿度が高いから干したけど乾かなかった。」は言えますけど、「乾かしたけど乾かなかった」は成立しないですから、干すことは乾かす意思こそありますが、乾いたかどうかは問わないんじゃないですかね。知らんけど。
日本語全体に統一された用法があるというよりは、業界(例えば)ごとに用法のビミョウな差異がある場合も割とありそうな気がします。
これ
干しブドウとか干芋ってカラカラに乾いてるわけではないし干すっていう動詞は結果までは言及していない感じある。
確かに。十分に乾燥しない状態を"生乾き"と言ったりしますね。
「乾かしたけど乾かなかった」は成立してるとおもいます。「干したけど干せなかった」はおかしいけど。
「乾かしたけど乾かなかった」は確かに成立し得るんですが、そのときの「乾かしたけど」は「乾かそうとしたけど」という動作主体としての表現なんですよね。「乾かした=対象物の乾燥が完了した」の状態変化を前提に置くと成立しないので、ちょっと乱暴に成立しないって言い切ってます。
意味不明なたとえを使うことで、たとえを引いた説明をした時に強制的にカタルシスを感じさせるのはゆるコンピュータ科学ラジオの策略にも思える
考えすぎで草
最後笑いました。数学(集合論)では集合を軸に定義するのでこういうことがよくあるんですよね。開集合は開集合系の元ですし、自然数も自然数の集合の元ですし、同様に整数、有理数、実数、複素数、四元数等もそれらの集合の元です。当然ながら、元となる集合を構成する際には循環論法にならないようにするので、ベクトル空間の定義に「ベクトルを集めたもの」と言ったものはなく、「この集合の元は、こういった条件や関係を満たす」として条件の箇条書きで定義されます。数学ではよく見る印象ですね。
干してある洗濯物が乾ききった時、その洗濯物は”干してある”と言えるか気になったのでChatGPTに聞いてみた
洗濯物が乾ききった場合に「干してある」と言えるかどうかは、その文脈に依存します。
乾燥中の状態を指す場合:乾ききった洗濯物には「干してある」とは言わず、「乾いている」「乾いた」と表現します。
物理的な場所を指す場合:乾ききっていてもまだ物干し竿やハンガーに掛かっている場合は「干してある」と言えます。
なるほどなあ
お煎餅の例え、分かりやすくて好きです笑
楽しみに待ってました
ぼくも!
たのまち
僕もたのまち❤❤❤
楽しみに待ちすぎたかもしれません
たのまち
「人を干す」は言えても「人を乾かす」は言えないなぁと派生の意味から元の意味を推測しようとしてたので
内部の水分という回答が出てからミイラがちらついて離れない
人を干すのはめざしを干している状況と関連させて両方とも動けない自由を奪われているという類似性からきているということではないか?
建築系の実験において土、石、木材の含水表現に
湿潤(飽和含水): 水分の付着が確認できる
表乾(繊維飽和): 表面は乾いているが水を含んでいる
気乾(気乾): 通常の乾燥した状態
絶乾(絶乾): 水分を含有して無い(と考えて良い)状態。石、土においては定義として『インキュベーターにて100℃程度で自由水を乾燥させた状態』
って言う用語があり、吸水率試験や含水比の計測に用います。
内部まで乾かしているのに、“干す”の表現が適応されていないので、業界用語の一例としてコメントしました
アラインメントといえば車のホイールアライメントが一番身近ですが
「アライメント調整」と多用されるせいで頭痛が痛い。
3:24 水野さんのモノマネがうますぎて、りょーさんが喋ってると思った
音だけ聴いてると、どっちかわからなくなる時がある
細かすぎて伝わらないモノマネ選手権に出てほしい
「ベクトル空間」そのものは「ベクトル」を使わずに定義されてるってことですね。
工事現場では、2つの配管を合わせる際に、配管の軸芯のずれを修正することをアライメントと言ったりするので、親方が言っている場合は、こっちかもしれないですね。
整列するって意味ですね
ベクトル空間は古来からのベクトルの概念を抽象化した集合で、ベクトル空間の構成要素の定義に当てはまるものがベクトルであると、ベクトルが再定義されている、という順番が大事ですねー。
一方の民俗学「昔話一つ満足に作れねぇポンコツじゃ!ガハハ!!」
あの回、遊びつつ民俗学のテーマに繋げようとしててすげぇ好き
マジレスすると、民俗学に特化したAIになっていない、食わせる情報が制限されていないから、それらしくならない、って話なのかと。一方で、グリム童話だけ食わせて、グリム童話っぽい話なら作れそうですが、なかなか面白い話にはならないかなぁ。壮大な年数の伝言ゲームの中で無駄が省かれ、一方で付け足されしてきたものですから、二度と同じような変遷は辿らないわけですし。。
「画像から文字を出力するAI」という話があったので、画像の内容を分析するアプリ Microsoft社製の Seeing AI に、 32:41 のスクリーンショットを読ませてみました。
- 以下引用 -
この画像には、テーブルに座っている3人の人物が写っており、それぞれがマイクを前にしています。
左の人は青いシャツを着ていて、目の前に缶とビールのグラスを持っています。
真ん中の人は暗い色のシャツを着ていて、赤いラップトップとビールグラスを前にしています。
右の人は紺色のシャツを着ていて、目の前にビールのグラスを持っています。
左上には「ゆるコンピュータ科学ラジオ」という日本語のロゴがあります。
上部中央には、青いバナーに白い文字で「これがAIの力だ!」と書かれています。
画像の下部には「画像を入力して文字を出力するAI」と書かれた日本語の大きな白い文字があります。
1. シーン
- 説明: マイクを持ってテーブルに座る男性たち
2. ユーザー
- 説明: 3人が検出されました。
-細部:
- "中立的な黒髪の33歳男性。" (ニュートラルな黒髪の33歳の男性)。
- "幸せそうなメガネをかけた[blurred]の29歳の男性。" (幸せそうなメガネ29歳男性)。
- "27歳の黒髪の男性で、眼鏡をかけており、中立的なようです。" (黒髪と眼鏡をかけた27歳の男性、中立的に見える)。
3. **テキスト (テキスト)**:
- "ゆる"
- "コンピュータ科学"
- "ラジオ"
- "BREWD"
- "これがAIの力だ!"
- "画像を入力して"
- "文字を出力するAI"
- 以上引用-
年齢の推測とかまで出てくるのがおもしろいですねこれ
BREWDは左下の缶に書いてある文字か
言語学研究に「大規模言語モデルのほうが役に立つじゃん」って言うのは、陸上選手に「バイクとか車のほうが速いじゃん」って言うようなズレを感じる
車の普及で飛脚や人力車が縮小したように、大規模言語モデルの出現で辞書編纂や言語学研究も完全になくなりはしなくても、縮小しそう
陸上とは違うかな
大人の言語学習に置いては言語学は成果出してる
いつも研究のお供にラジオを楽しんでいます!言語もAIも専門外なので以下は素人の感想です!
「干す」も「乾かす」も多次元単語ベクトルで直交する「水分の与奪」軸、「内部ー表面」軸以外の成分(次元)ももつとします。また、厳密にはこれらの単語の違いが内部に関することか表面に関する現象かの違いだけで「水分の与奪」軸に平行な成分の大きさは同じだと仮定します。この場合、「干す」ベクトルと「乾かす」ベクトルの差分のベクトルは「内部ー表面」軸と平行になり、それは「干す」と「乾かす」の意味の差や使用できる文脈の違いそのものをあらわしているのでは?と思いました。しかし、分布仮説の性質上「干す」ベクトルも「乾かす」ベクトルもノイズとして本来重要でない次元にある程度の大きさをもっている、もしくは上記の仮定が不正確で本来これらの単語の意味の違いはほかにも存在していおり、「水分の与奪」軸に平行な成分の大きさも同じではないため差分ベクトルは必ずしも「内部ー表面」軸と平行にならず(ねじれの関係的な・・・)、ほかの次元の成分がそれなりに存在することで動画内のようにChatGPTの回答がぶれてしまうのではないかな~と妄想していました。「干す」「乾かす」「湿らす」「濡らす」などの多次元の単語ベクトルも主成分分析で重要でない次元を削減したりガウス混合モデルなどでクラスタリングすることで大雑把な意味の輪郭みたいなものを浮き彫りにできそうで興味深い話題でした!
29:09
ここの話、「『百聞は一見にしかず』っていうけど、一億回聞けば見たのも同じでしょwww」ってAIに言われてる気分です。
AIは半導体をプリンに例えたり、ネットワークを大泉洋に例えないから人間とAIの言語モデルは違う!って反論したかったけど、堀元さんの学習データに偏りがある可能性も考えられるのか
堀元AI作る時は文中のプリンは取り除かないといけないんだよね……。
コンピューター用語では「同期」という言葉が厄介ですね。
順次処理のことを「同期処理」と言ったりしますが、並列処理のタイミングを合わせることを「同期をとる」と言ったります。
同期処理は「常に同期が取れている処理」だと解釈すれば無理もないような…?
「ベクトルはベクトル空間の元」というのはスカラーで言うなら0, 1, 2, ...が集まって実数ができるのではなく,さきに実数というものがあって,その中の1要素に「1」という名前を付け,ほかの1要素には「0」という名前を付け,...という風に定義をしていくということではないでしょうか.
聞いていて既視感が有ったのですが、この話は「心は存在するか」と同じことではないでしょうか。
・AIが心を持つことはあり得るか?→そもそも心とは何か→人間にも心なんてない
という説明で私は納得したので、であれば今回の話も同様に
・AIは単語の意味を理解しているのか?→単語の意味とは何か→意味は存在しない
という結論になると感じました。
「人間もAIも大量の用例をインプットして自然な文章が生成できるのだから、同じ」という論理は非の打ち所がまったくないと感じます。
それに対して「人間は意味を理解していてAIは理解していないのだから違う」と反論するのは、まるで神や不滅の魂の存在を信じるように「意味」の存在を信仰しているように思えます。
「我々がある単語を聞いて、たちどころにその意味を理解できるのはその単語に意味というイデアがあるから」ではなく
「我々はインプットした用例に共通する特徴を見出して使える範囲を推測しているに過ぎず、個々の単語に定まった意味は存在しない」のでしょう。
乾くと干すのように、似た意味なのに使える状況が異なる単語があるのは、インプットされた用例に偏りがあるからそれに合わせたアウトプットにも違いがあるだけの話であって
「意味の違い」とは用例の違いを説明できる解釈を提示しているにすぎないと思います。
歴史や人生にナラティブな意味付けをするために物語を作る行為と似ていると感じます。
酒とってくるって言って本当にビール出てくるの細かいなあ
ベクトルの成分表示は基底を取って初めて決まるもので、基底を取らなくてもベクトルはベクトルなんですよね。基底はいつでも取れるので、そんなに気にしなくていい部分ではあるのですが……。
選択公理は認めな…!おっと誰かが来たようだ
ベクトル空間の基底の存在は(特に無限次元の場合は)選択公理の元で存在が示されます
これを「いつでもとれる」と言っていいのかちょっと引っかかりますね、わざわざ突っかかるほどのことでもない気がしますが(すみません)
返信欄のはそれを前提とした数学系youtuberの内輪ネタな気がするけど伝わっているのだろうか…
そもそも人もコンピューターも言語化している時点で、言語上の話なので、その範囲内で議論している時点でそこに両者の違いはない気はする。その外を知っているのが人間だ、という話だと思う。
外の世界なしでは言語化出来ないからなあ
人間は
ゆる言語学ラジオで使われる「メタ認知」もアラインメントみたいですね。心理学では、自分がどのような記憶や思考を持っているかについての認知をメタ認知というのに対して、ゆる言語学ラジオでは、自分が周囲からどう見られているかという認知で使われています。
AIが単語を正しく用いているがその理解してるのか?は興味深いですね。
空手の型は見かけだけ真似ても正しい技が身に付いた事にはならない、という話を聞いたことがありますが、理解はしてなくても体裁は繕うことが出来てしまうと思うので、単語ベクトルでは用法のルールに従うことが出来てもそれは理解とは違う、に一票入れます。
はけ口を「はけくち」と読むのが気になるなぁ。
連濁ルールからしても「はけぐち」が標準的・規範的な印象。
12:20「くち」
12:38「ぐち」
左の方は、正しく濁ってます。
乾かすは乾くという状態変化を表す動詞の他動詞形なので結果が伴うイメージが強いなあ
チャッピーに聞いたらちゃんと答えた。
「干す」と「乾かす」は、どちらも物を乾燥させるという点で共通していますが、使用する場面やニュアンスに違いがあります。
干す(ほす):
主に物を太陽や風に当てて水分を取り除くことを指します。
洗濯物や布団、食べ物(干し魚や干し野菜など)を外に出して乾燥させるときに使います。
例:洗濯物を干す、布団を干す、干し柿を作る。
乾かす(かわかす):
水分を取り除いて乾燥させること全般を指します。
物を自然乾燥させるだけでなく、ドライヤーや乾燥機を使って乾燥させる場合にも使われます。
例:髪の毛を乾かす、靴を乾かす、濡れた本を乾かす。
要するに、「干す」は主に屋外で自然の力を利用して乾燥させる行為に使い、「乾かす」はより広い意味で、手段を問わず乾燥させることを指します。
「単語ベクトルは意味を捉えている」派からのコメントですが、
ChatGPTが「干す」「乾かす」の違いを答えられたことは、単に干すと乾かすの違いについて言及した文章を学習して思考をショートカットしているからうまくいっている可能性があり、単語ベクトルからの意味の抽出が現在の技術で可能かはあやしいと感じました。
面白いトークをありがとうございます!既に他の方も指摘されていますが、私も「干す」は動作、「乾かす」は結果に焦点が当たっているように思います。例えば、「一人暮らしの女性は防犯のために男物の下着を干すとよい」というような文だと(こんなことを言わなくてはならない社会なのが残念でならないですが、ここでは単に用例として)、「干す」ことに水分を飛ばす目的はまったくなく、動作だけの話ですよね。いろいろ思索するのが楽しく、興味深いです
干す(動詞)=動作
乾かす(動詞)=動作
乾く(動詞)=動作の結果
干した(動詞的)=動作の完了
干した(形容詞的))=内部まで乾燥した
乾かした(動詞的))=(まれ)動作の完了
乾かした(形容詞的)=表面が乾燥した(動詞の結果の回収)
乾いた(形容詞的)=結果の回収→内部までの乾燥のイメージありませんか?
37:11 「AI」が計算機ベースであり、今の計算機がそもそも成功してる、ってのは大きいですね。特に例えば近年は「AIにしゃべらせる」が「成功」するくらいの性能に計算機が達してる。一方で言語学を駆動する計算機みたいなもの/方法論は多分まだあまり無いですよね多分
21:01 小説の「舟を編む」だったかなあ、「10」のうち、1のある方 みたいな説明をしているのを見つけたときは高校生ながらに「確かにそれがいっちゃんわかりやすいじゃん!この説明閃いた人すげえ!」って感じたことある
自分の体を縦半分に分けて、両手をそれぞれの近い方の胸に手をあてて胸に手を当ててドクドクしてる方じゃダメなのかな?と思って自分の胸に手を当ててみたけど、小道具全く感じなかった
@@ハチコ-p7n
臓器の位置が反転している人もいるので、それだと定義出来なさそうですね
@@ハチコ-p7n 心臓や臓器が反対側にある人もいるから(反例)。。。
干すは乾かす為の場所に吊るしたりして放置しておくことと思っていました。
仕事で干される、も追い出し部屋にいれて放置することと考えると通じますしおすし
そういう意味でのChatGPTの動詞、形容詞の違いって意味合い、意外と間違っていないかもしれない。。干すは行為で動詞、乾いた状態。
英語のdryに引っ張られている感じはあるけども。。
「干す」は動作、「乾かす」は状態変化かなと思いました。
洗濯物で言うと洗った後ハンガーに掛けて竿に掛けるまでが干す、その先が乾かすのイメージ
前々回のコメント欄でベクトルに興味のある人が沢山いてびっくりしました。ちゃんと訂正も入っていてさすゆるです。
現時点での水野さんにとっての「意味を理解する」の定義を明示したうえでのりょーさんの回答をもう一度聞いてみたいですね
直近のゆる哲で出たメアリーの部屋とか、中国語の部屋や哲学的ゾンビあたりも絡んできそうな話っぽいのでトキヒロさんが今回の話についてどう考えるのかも聞いてみたいかも
32:39
想定しているようなAIとズレる部分もあるかもしれませんが、画像を入力して文字を出力するAIもあるように思います。
一般的には確かに使われることは少ないかもしれませんが、主に視覚障害のある方向けに、写真の情報を言語化してくれるようなものは存在します。
microsoftの「Seeing AI」などがその一例かと思います。
38:41 ゆっくり首を傾げるりょーさんがかわいすぎて…🤦🤦
21:00 もともと人間の英知の全範囲wにおいても「右」をきちんと説明するのは凄く難しいって話が有った気がします。「左じゃないもの」みたいな「相対的な」答えは人間も(AIも)簡単に出しそうだけど、そういう相対さを排除した説明は(少なくともベクトルの差分では)出にくそう…
干すは
行為そのものが重要で
水分量については副産物
乾かすは
水分量を変えることが
第一目的
つまり、
・干した結果 = おこげ
・乾かした結果 = おせんべい
ご存じかと思いますが、GPT 4oにしろClaudeにしろ、
文章だけでなく画像、動画、音声等を直接モデルに入力し、文章以外も出力する、マルチモダリティを目指す流れがあると思います。
謎の数字の塊が統計的処理でどこまで人間の感性に近づくか見ものですね。
現行手法だと課題はトレーニングのためのデータセットの用意でしょうけど……
それが、割と言語ベース依存に近い状態に感じるかなぁというのはあります。。>マルチ
干すと乾かすって干すと吊るすくらい違うんじゃないかって感覚がある
ハケクチが気になっちゃってブレるぅー絶対言いにくいやんw
水野さんまで清音で言ってたから不安になって調べちまった
内部 外部の話ではないと思う。
例えば、「濡れた布団を乾燥機で乾かす」といった場合、中が濡れてたらおかしいと思う。
ここで思ったのが先天的な水分を除く場合「干す」、後天的に得た水分を除く場合は「乾かす」。
これだと上記の例でも動画の「手」の例でも成り立つ。しかし、「茹で野菜」を茹でたことで水分を後天的に得たと考えると成り立たなそう。また、布団でも「濡れ布団」とすると急激に成り立たたなくなる気がする。この場合「茹で野菜」「濡れ布団」を一つの塊として先天的に水分を含んでいると考えると成り立ちそう。でもこうすると「濡れた布団」は塊とならず例外になる。
ここで、「した物」と「し物」「され物」で塊にできるかが異なるとも思ったが「茹でた野菜」は塊になりそうなので例外。
また、動画だと「水浸しになった布団」を塊で捉えてないため内部が濡れてそうとなったことを考えるとこの塊になる条件は「した物」あたりが境界でグラデーションなのかも?
また、他の意見で「干す」が様態、「乾かす」が結果というのもあり影響はしそうだが、これだと「手」や「魚」でカピカピになりそうなことが説明できないと思ったのでこれだけでは説明できなさそう。
Claude3.5 Sonnetは「干す」と「乾かす」の違いをそれっぽく書いてくれました。
----
「干す」と「乾かす」は似た意味を持つ言葉ですが、いくつかの違いがあります:
方法:
「干す」:主に自然の力(太陽や風)を利用して乾燥させること。
「乾かす」:自然の力だけでなく、人工的な方法(ドライヤーなど)も含む。
対象:
「干す」:主に洗濯物や食品(干し柿など)に使用。
「乾かす」:より広い範囲の物に使用可能(髪、床、書類など)。
ニュアンス:
「干す」:物を外に出して乾燥させるイメージが強い。
「乾かす」:場所を問わず、単に水分を取り除く行為を指す。
使用頻度:
「干す」:日常会話でより一般的。
「乾かす」:やや formal な表現。
例:
洗濯物を外に干す。
髪をドライヤーで乾かす。
これらの違いを理解することで、状況に応じて適切な言葉を選ぶことができます。さらに詳しい説明が必要な場合は、お知らせください。
14:49 堀元さんが勘違いしていると思うんだけど、ゲスト研究者の方が仰っているのは「どう使っているかに意味が宿る」んじゃなくて「どう使っているか=意味」なんだよ。ウィトゲンシュタインは格言っぽくそう言っていたけど、21世紀の分析哲学だと割と主流な学説になっている。プラトニックに意味が存在して用法がそれを反映しているのではなくて、意味と用法を(何らかの形で)同一視する。この「何らかの意味で」の部分がウィトゲンシュタインと現代分析哲学で違うから雑な説明になっちゃってるけど、少なくとも「どう使っているかに意味が宿る」のではない。
分析哲学について全然知らないので単純に質問なんですが、分析哲学においては用法は問われるべき重要なものなのですか?
なんとなくウィトゲンシュタインについて聞きかじっただけだと、前期の写像的な、意味と単語が厳密に一対一対応するという考え方が分析哲学の萌芽となり、後期の言語ゲームは我々(同一の母語話者同士)が言語の用法を共有している、そのことこそが大事なのであって、意味はあまり重視しないというような立場でなんか大陸哲学っぽいなあと思ってたのですが。
@@コツコツポンコツ-y6f まず「前期の写像的な、意味と単語が厳密に一対一対応するという考え方が分析哲学の萌芽となり」という理解は誤っていると思います。「分析哲学の萌芽」という意味ではウィトゲンシュタインに強い影響を与えたフレーゲの貢献が圧倒的であり、ウィトゲンシュタインと分析哲学の関係を上記のように理解することが間違っていると思います。「後期の言語ゲームは我々(同一の母語話者同士)が言語の用法を共有している、そのことこそが大事なのであって、意味はあまり重視しない」については滅茶苦茶で、正しい部分が見当たりませんので、その認識をもって「大陸哲学っぽいなあ」というのは誤っています。
@@Jinkei2016 うわ感じわる。滅茶苦茶で悪うござんした。
@@コツコツポンコツ-y6f 申し訳ございません、事実誤認を指摘されることが「感じ悪い」という文化の方でしたか。あなたは全て合っています、間違っていること等一つもありません。これで満足ですか。良かったですね。
@@Jinkei2016 先のコメントでは私は誤っていると言ったのに、今度は間違っていないという。これは矛盾している。さては君は口先だけの嘘つきだなぁ?
「干す」と「乾かす」の説明をAIができたのは、大規模言語モデルの中に、人がした説明文のデータがあったからという可能性はなのかな?
堀元さんの「はけ口」を水野さんが「営み」に言い換えているの、結局似てて面白い。
35:02 生成文法と生成AIにも「理学vs工学」のような対立構造があるんですね。既視感あるなぁ。工学ですと流体とか理論式は少なくて経験式でモノを作ります。
生木を製材の過程で水分を抜くとき、乾かすとも干すとも言わず「乾燥させる」っていうな。「干す」って言葉にも射程があるんかな。
統語論を勉強し始めるとSVOCではない「補語」が出てきて「お前どっちや」ってなることがあったりですね……あるんですよ……
用語の干渉はですね……可能な限り避けたいですよね……無理なときはどうあがいても無理なんですけどね……
人間とAIの言語習得に関してはそれこそ今井むつみ先生辺りに聞いてみたい話ではある
言葉に一元化されたAIの世界でAIが3次元を再生するのと、我々が言語情報で行ったことない国を想像し体験できない抽象世界を構築し、4次元5次元を構築するのとはどう違うのか、あまりわからないです。
基本身体性の有無が大きいとは思いますが、生まれつき足のない人、目の見えない人、耳の聞こえない人の世界が劣るわけではないのと同様「違う世界を構築している」「違う世界にそのまま応用はできない」というだけな気がします。
耳で聞いてたら性科学ではなく生化学だと思ってしまって混乱した
38:38 ベクトルはベクトル空間の元という定義は確かに初学者向けに役に立ちませんが、なぜそのような定義が必要になったのか理解されずに流されてしまって悲しいです。
38:31
ベクトルがベクトル空間の元として定義されるのはベクトルの性質として加法とスカラー倍が定義されていることが必要で、その演算を定義するのに2つ以上のベクトルが必要、みたいな話かな?
単にベクトル空間の公理を満たしているものをベクトルというので、
ベクトルとはなにか?と言われたらベクトル空間の元と言うしかないということだと思います。
ちなみに零ベクトルしか持たないようなベクトル空間(零ベクトル空間)も考えられるので、元が2つ以上である必要はありません。
ラジオ内ではただ単に、文字面だけ見てベクトル空間の定義にベクトルが含まれていると勘違いしただけでしょう
ベクトル空間とは和とスカラー倍が定義された集合というだけで、その定義にベクトルは含まれていません。従って循環参照にも陥っていません。
その集合がベクトル空間だと分かったならばその元のことをベクトルと言う、そういう話の順番であることに注意しましょう。
ベクトルを直接的に定義していないことに対する説明を与えたつもりでした。
つまり、一般的な認識として「定義の順番は
まず元を定義して、その集まりとして集合を定義するというものである」
と想定したときに、
ベクトル空間→ベクトル
というのは逆向きになっているので、なぜそうなっているのか理由として挙げたつもりです。
大衆向けのサイエンスの文脈で
「〇〇とは何か?」
と聞かれたら厳密な定義じゃなくて誤解を恐れず本質的なイメージをなんとなく答えるほうが良いのではと思います。
ベクトルで言うと
「基底の和と実数倍で任意の要素が表せるって性質をもつやつ」
とかですかね。
厳密な定義は興味持った人が勉強すればいいよのスタンスでいいのかと。
LLMは単語を理解すると仮定すると、文章は理解しているんですか?
トーカナイザーで分割される前のベクトルをほかの単語と比較したりするのか知りたいです
私は「生成AIの時代」に入ってからゆる言語学ラジオを通じて「言語学の概説」を学びました。
実態はともかくとして自意識としては言語化能力を自分のストロングポイントだと信じていたこともあって、生成AIについては恐らくラッダイト運動で打ち壊しに参加していた人達と程度の差はあっても同種の「気持ちの悪さ」を感じて来ました。
そんな私は言語学の態様を学ぶことで、言語の移ろいやすさ、不完全性、そうでありながらの道具としての有用性の高さや、一般的な言語学者の言語に対する「~警察」とは対照的な姿勢を知るにつれ、徐々に心の平安を取り戻したような、そんな気がしています。
n=1の話しではありますが、「こんな時代だからこそ言語学に救われる人」は実在します。
Image Captioningは有るので、ビジュアルシンカーの絵を入力して思考や感情を言語化するAIも作ろうと思えば作れそうですね
学習データ集めとビジュアルシンカー毎のパーソナライズに多大な問題があるでしょうが
電子機器も洗浄した時などは内部まで水分を取り除きたいから「干す」ですよね。
コンピューターとか。
12:20 え、違うの!?
アライメントは整形外科でも使われる場所の位置を整えたり骨折の時などに使われる
29:11 「GPTには視覚がないからものの厚さに注目できない」云々っていう話、昔から「シンボルグラウンディング問題(記号接地問題)」という呼び名で取り上げられてきているんですよね~(軽くググり直したら今井むつみ先生へのインタビュー記事が出てきた...!)
まあ、ベクトル空間の定義にベクトルは使われていないから…。
「干す/乾かすの関係は濡らす/潤かすの関係とパラレル」で終わるだろ!何やってんだ堀本ぉ!道民だろぉ!
と思って聞いていました。ナショ道民ismが足りていないので、堀本さんは非道民です。
「結果を意味に内包しているか」で行くと乾かすと潤かすがパラレルで、「内部まで影響があるか」で行くと干すと潤かすがパラレルなので非常に面白いトピックス。
語源的には乾かすの逆として潤かすを作っているっぽい気がするので、道民的には「内部の影響」というより「結果の内包」の方が意味の峻別への影響が強い感じがします。
音楽では、「ある特定の音の高さ(絶対的なピッチ)」をドレミファソラシで表し、「音階上の特定の音(相対的なピッチ)」をドレミファソラシで表し、
二つの音の間隔を〜度で表し、和音の音階上の位置を〜度で表します
他にも数え切れないくらいこういうのがあるので控えめに言って地獄です
ベクトルはベクトル空間の元、って説明になるんわかりすぎる。ある性質を満たすような集合として定義される対象(ベクトル空間、位相空間、...)て厳密にはそう説明せざるを得ない
この場だと数学的厳密さを追いかけないイメージの説明でよくて、
「いい感じの足し算と実数倍が定義できて、任意のベクトルが基底の実数倍と和で表されるっていう性質を満たすもの」くらいでいいのではと。
(つまり水野さんのほうが合ってるんだよなぁーという)
「アラインメント」ゴルフではよく使います。
GeminiとかGPT4oのマルチモーダル(画像や動画をテキストに変換せず理解する)っていうのはどうやってるんですかね?
画像のバイナリ情報にベクトル性を持たせてるのか、画像を直接理解するというのが一般人への説明であって実際には違うのか…
テキストを介さず処理できるなら、干すの話もだいぶ前提が変わりそうな気がします
水野さんが「〇〇的には〜」と言うと、ゆる言の方で「正確」を“性格的”と言い間違えて、一旦「性格的には明るくて〜」とボケた時が毎回毎回頭に過って楽しい
りょーさんをゆる言にもゲストで呼んだらいいのに
今回のような、りょーさんと検証できる言語関連の話はまだあると思われる
ベクトルは何個数字があったとしても、n次元空間の場所を指す矢印と捉えることができる。
語彙を十分区別仕分けるのに何次元必要だったか知りたい。
意味の理解の仕方が人間とAIでどう違うか、学習量に差がある点は身体性である程度は説明が付きそう。人間が感覚を通してダイレクトにインプットしているものを、AIは学習のためにあの手この手で感覚が表現された文章を大量にインプットする必要がある。言語化に伴って省かれた多くの情報を逆に文章の数で補っている。
工学畑の人間ですが、実験装置を繰り返し使うことで生じる装置内部の位置や角度などのずれを調整して直すことをalignmentと言いますね
8:09 突然の親方草
アラインメント、言語学の用語にもありますね。
(対格型言語か、能格型言語か、等)
「干す」の単語ベクトルと「乾かす」の単語ベクトルの「差分ベクトル」を、既存のどのような単語ベクトルの和で表せるか、という問題を解いているのが、「言葉で表現する」ということでしょう
「ベクトル」というのがわかりにくければ「他の単語組み合わせでの言い換え」=タググラウドだと思うといいかも
「似てる」=「共通するタグが多い」
「似てる中で違う部分」=「異なるタグ」
「乾かす」と共起しやすい単語群を位置を考慮した共起確率とともに表したものと、「干す」と共起しやすい(略)表したもので、差分を取った時、「中心」「表面」「手段」「目的」のような単語が浮かび上がる
これを言葉にしたのが「説明」
用例を挙げて…という作業がまさにそれ
逆に「言葉にしづらい差異を言語化(既存の抽象へのラベリング)することなくそのまま扱える」という単語ベクトル演算の方が、より汎用性が高いとも言える
つまり「論理的に言語で説明する」というのは、単語ベクトルの差分を既存の単語ベクトルの和として因数分解して表現している
これは、ビジュアルシンカーが言語ラベルにマッピングしない「感覚」や「勘」でセカイを扱ってるのに似てる
とかとか妄想
単純に脳が大規模言語モデルよりも高い性能を持っているようにも思えます。
五感からの情報は全て脳のシナプスを介して処理されるため、脳のシナプス数とAIのパラメータ数を比較することで性能差を考えてみます。
人間の脳には約100兆個のシナプスがあり、これに対して現在の先進的なAIモデルは大体1兆個のパラメータです。
シナプスとパラメータは情報の処理と伝達において類似しているので一応参考にはなるかなと。
堀本さんりょーさんにadversarial attack仕掛けてて草
“ベクトル”の定義が多面的過ぎて1番「言語学習って難しいなぁ」って思わされるの面白い。
28:18 「水浸しの布団を乾かした」って聞いたら、「あ、干したんだ」って思うから別に内部がビチャビチャとは思わないな……
赤子の発声の変遷を、「万能である泣き声から無難な言語への分化」と仮定すると、言語学習というは、スマートなメカニズムによるボトムアップというよりも、なあなあな淘汰による体系の形成ととらえた方がよいのかもしれません。それを踏まえると言語学よりも大規模AIのほうが生体の言語学習に近いように思います。
そうだとしても、「明確な意図があって形成された訳ではないが、構造に利点があるもの」を解剖する学問が無駄になるわけではないと思います。
気になるわぁ😮
干す 乾かす の例で言うと、日本語母語話者のほとんども過去の膨大なインプットから何となくの使い分けはできていて、全く新しい単語が来た時に「どっちかというとこれかな?」とは言えるけど、水野さんみたいに違いを的確に答えられる人はほぼいない。
それってやってることAIと同じじゃない?
「意味」は単語の用法を人間の限られた脳で理解できるよう論理的に分解したものであって、単語ベクトルは膨大なデータを膨大な現実に直接ぶつけるものだから工程数が違うと言える気がする
素人考えなんですけど、人間の言葉は(一定の文で表現され得る)意味から形式的な文の形に成形されていくのではないかと思います
LLMは類型から文の型を算出し、コアな単語を当て込んで関連する単語を確率から推計するとか?なら文章生成の順序が逆な気はします
10:58 水野さんも「制御」のニュアンスが必死に抑えてるイメージだから、ニュートラルな意味で使われると混乱するって言ってたじゃねえか、と思いました
親方にちゃんとアライメントやっとけ、といわれる現場、あるんだよなぁ
自動車のタイヤ取り付け角度等を調整して、車の進行方向とステアリングの向きのズレを修正したりすることを、アライメントをとるといいますね
つまり整備工場の見習い的な立場の人は、工場の親方的立場の人からアライメントやっとけ!と言われることもある
単語のベクトル化で達成できるのは、あくまで単語と単語の相対的距離の決定なので、単語同士のネットワークは完成するかもしれないけど、じゃあそれである言葉の意味って何よって聞かれたら答えることができないと思うんですよね。ゆる言語学ラジオで散々話題になった「記号接地問題」からのがらられ無いんじゃないかなあ。同じ質問を今井むつみ先生に投げて答えを聞いてみたいです。
最近毎日音楽生成AIと画像生成AIで何か作るということを続けていますが、音声(というか歌詞)に比べて画像がなんかコレジャナイ感溢れる画像が出やすいのはそういうことかー
水野さんが「ラムダ演算子」と言うのに驚いたり。
用法の羅列によってプールのブイが動くんじゃないのかな?
微調整が進んで落としどころが狭まるのはAIでも人でも同じだけど、人が意味として認識できる狭さまでAIが攻められれば意味認定できそう。