It was too amazing to let AI learn Super Mario Bros. 1-2【Reinforcement Learning】

[@豆腐の神-p6e]

2:58 しょぼんのアクションしたあとのマリオ

[@user-uk5jk8zx9i]

警戒しすぎで草

[@ナベシ-v9b]

観察するような感覚でゲームを見れる唯一のチャンネル

[@saitama-1467]

わかりみ

[@レプレインゴット]

500万ステップ学習後とかの動き、若干TAS感があって好き

[@JIRO1979]

1-2からワープするのが当たり前になりすぎて、1-3が思い出せない件。

[@Shika_no_channel]

そして最近のマリオの感覚で木の地面を下から上に行けると思ってしまって落っこちるところまで経験済み

[@drr5959]

キノコ足場の空でリフトが左右上下に動いてマリオメーカー3DSで収録されたステージ

[@dma1010]

学習が進むごとに明らかに効率的になってて見てて気持ちいい

[@ベリぽ]

M
😊

[@もち-c4k]

6:32 辺りの無駄なジャンプが人間らしくて面白い

[@Amaguri1229]

しっかりと点を取るために敵同時撃破してるの最高

[@nabe5071]

本家と同じく得点の概念も入れてほしい！
・ブロックを壊して得点
・敵を踏んで得点→連続で踏んだら得点が倍
・ポールの上にタッチするほど高得点
・残りタイムで加点
この条件で何点でクリアできるようになるのかが見てみたいです！

[@user-fn5lq3go2n]

人工知能って自分で判断して学習するのもすごいけど、そうなるように作った人も相当すごい！
これから色んな場面でAIが活躍するんだろうな

[@たっきぃ-b4s]

超魔界村で学習させるのも面白そう！

[@いくら-c4x]

やってほしいw

[@XD-lj5ze]

700万回くらいいるんやない？（）
お前を消す方法思い出した

[@nakawa2088]

ロックマンでボス倒せるか見てみたい

[@Tsubac-]

これは見たい！笑

[@あせまねメグ]

超魔界村を再現させるのがすごく大変そう。

[@ひさぁ]

3:41
そのうちすり抜けそう(小並感)

[@やせいのぷりん]

てー♪

[@masshi20]

敵を踏んだ反動でジャンプできるってところもしっかり学習してるのやべぇ

[@yakki-691]

土管を飛び越える所辺りスピード感があって3段ジャンプみたいだった

[@chokominto83]

お久しぶりです！AIの強化学習好きです

[@soarsmama7636]

5:21 嬉しそう

[@imacosmo713]

この学習方法で1-1またやってみてほしい

[@性名-m5f]

ブロック破壊をするたびに、負の報酬（極微小）を与えると「破壊活動が収まり敵を待ってから動く」のか「気にせず破壊してスピードクリアする」のか気になります。
個人的には、両方試してから「こっちが多く報酬がもらえる」とaiが考察してほしい

[@JR-ev4ui]

そのブロック破壊した時の負の報酬の量によって決まりそう

[@えうろぱ-p3n]

シューティングゲーム系はすごいのが出来そう

[@湯呑みくん]

2Dも3Dも見てみたい

[@志知大希]

某弾幕ゲームとか

[@強者傲慢]

強化学習型のテトリスAIも見てみたいです

[@iam2480]

常人にはクリア不可能みたいなゲームを強化学習でクリアしてるのを見たいなｗ

[@バーガー-n8x]

たけしの挑戦状

[@sonic-bn4bt]

改造マリオ

[@名前未設定190人目標]

@@sonic-bn4bt あれはまだ行ける

[@夜桜さん]

土管の間の敵をわざわざ踏んで進むところ好き

[@fridericusgauss]

今回は画像情報(恐らくCNNベースを使ってる？)にしたんですね。
恐らくレーザーで認知する方法だと、エージェントが認識する範囲が局所的過ぎるのに、移動に伴って激しく情報が変化するので、その場その場で反応してピクピク動くのだと想像します。
一方、画像全体だと、行動の後の穴や敵の位置など、広い範囲で認識できるので、より賢い動作に見えるようになったのだと思います。
また、画像認識は強化学習同様にかなり進歩してるので、大変良い組合せだと思います。

[@ko-ji]

1-1面の動画はこちら
ua-cam.com/video/M3-vIh4h-7I/v-deo.html

[@ひさぁ]

見ます

[@kohsmm2]

お～

[@飛行機-m6j]

懐かしい

[@mandarinorangemikan]

ついに、配管工も AI に取って代わる職業になってしまったんですね
これも時代ですかね...

[@ハウルの動かない城]

途中からTASのRTAみたいな動きになるの好き。

[@奥野春樹]

ジャンプ回数やブロック破壊回数が少ないほど報酬が多くなれば
スムーズな攻略するようになるのかな？

[@hayami_maguro]

3:11 無駄なジャンプを減らすようにジャンプしたら微小の罰が設定されていますが確かにもう少し値が大きくてもいいかもしれませんね

[@ぴっぴどん]

3:12 敵を倒した時の報酬を無くせば最速クリアしようとするんですかね…？

[@MK-nw7jy]

1フレーム毎の罰を増やしても良いかと思いますね。

[@故郷-r5c]

早くクリアすればするほど報酬...とか？

[@ぴっぴどん]

@@故郷-r5c 上から4行目見てみ

[@りんと-e7v]

無駄なジャンプ減らせるように、ジャンプしたら罰／ブロック壊せたら報酬／敵を踏んだら報酬とかも面白そうだな

[@Akita_ken2236]

@@りんと-e7v そしたら初期段階で困惑し始めるのでは？ジャンプは必須動作なので

[@あい-s7j7q]

7:12位からの別視点カメラのこーじ、頭ポヨポヨしててジワる

[@NS-tb6dy]

この学習をしたものを別のステージで適用したらどのくらいのもんなのか気になります。

[@one2832]

画面の画像から学習できるとかすごく人間に近づいてる

[@ZeraroraSan]

次はクッパ戦ですね!(鬼畜)

[@ray00000]

それは草

[@ちゅーぴっぴか]

まずクッパ作るのがむずそうw

[@NT-zf8dx]

@@ちゅーぴっぴか 棒読みちゃんでいいのでは

[@いくら-c4x]

@@NT-zf8dx システム面の話では？

[@とりはっ-v8f]

格闘ゲームをAIで強化学習したら
各キャラに対応して挙動が変わるのかなぁ

[@のん-v1p8c]

東方みたいな避ける系のシューティングゲームでできたら見応えありそう

[@atomic-senn]

たしかに

[@ぴっぴーs]

ツムツムとかテトリスとかのパズルゲーム学習させるの面白そう！

[@mk.mercury]

凄いですね！
カメラ画像での学習でも、戻ったり少しまったり、ジャンプの微調整したりもするようになるんですね。
こういう報酬にしたら上手くいかなかった、とか、センサーでやると上手くいかなかった、みたいな話はいろんなアプローチが知れるので失敗も話して貰えるのは楽しいな、って思います！

[@susiexgood]

この時を待っていたぞこーずぃ

[@foreverboys1453]

待ってました!!

[@finkfiction]

色んなステージで学習させたAIが全く新しいステージをクリアできるのかとか面白そうですね

[@水玉銀之丞]

初代ロックマンのイエローデビルの攻撃(分離→合体)を、AIがどのように成長してかわすのか見てみたいです🤗

[@ザウルス-i7c]

かなりするのは難しいでしょうけどダクソの強化学習を見れたら最高ですね

[@いちびり-t9t]

す、すごい！アクションゲームを学習しているっ！！
まったくのノーヒントから一つ一つ積み上げての学習だから
人間のプレイヤーがやるような推測と飛躍がないかわりに途方もない回数の試行を繰り返してクリアしている！
移動、移動量の調整、ルート選定、タイミングを計り、回避、踏みつけ……
これだけの要素があるというのに、それぞれを理解しているわけでもなく最適化されているっ！
こんな面白い事があるんだ！強化学習ってすんごい！

[@SH-UK030]

素晴らしい研究

[@homu7369]

最初クリアできるかも怪しいのに最後RTAみたいな動きしてるの草
TAの理想ルート取りをこうやって探す時代も遠くなさそう

[@ku5187]

クッパステージの正解とおらないと進めないステージとかって学習で何とかできるんですかね？

[@accel.6384]

3:25で「何人かで一緒に学習して知見を共有したり」ってあるんですけどどうやって共有してるんですかー
いまこーじさんの影響で機械学習を勉強しているので教えていただけるとうれしいです

[@tmkz-x1e]

1ジャンプ2キルしてる辺り
そこそこゲームが上手い人がプレイしてる様に錯覚した
しかも多分あんまり操作性良くない中でこれは凄い

[@ゆうspl]

学習した個体で何面まで進めるかやってみて欲しいです。残機付けちゃうと無理そうなのでとりあえず今回と同じルールで何回もくりかえせる形にした方が良さそうですかね

[@かいなんのかぜ]

ストリートファイターみたいな2D格ゲーでAI同士で戦わせてみて欲しい

[@ihsubad69]

AIを学習させる方法を学習していく主の成長が一番の伸び代。

[@GkakuYouTube]

量子コンピュータとかが普及したらAIの学習速度も上がるんだろうなぁ

[@setunakuonn]

しょぼんのアクションみたいに最適解の動きをすると確定でトラップが仕掛けてある場合はどんな反応するか

[@鴨-y5d]

【リクエスト】8-4もクリアさせてみてほしいです｡(ファイアーバーの攻略方法が気になるため)

[@今週の一位はルビーの指環です]

スーパーキノコやフラワー、テンコインブロック等ケチをつければキリがないけどこれは素晴らしいです

[@arm7221]

ばりばり壁破壊しながら進むの面白かった。もっと難しいアクションのも見てみたい。
アクションじゃないけどアモングアスとかもAIにできるのかな

[@meisekiyu8]

今回学習したAIは1－2専用って訳じゃなくてそのまま使ってほかの面をやらせても穴や壁を認識してある程度進んでくれるものなのかな

[@ああ-m7e7x]

強化学習なので、他の面でもしっかり動くはずです！

[@宇都宮餃子-f8g]

こういうのがこーじって感じして好き

[@TheNerukohasodatsu]

マリオメーカーにもこのAI機能搭載してほしい

[@kiyu-kiyu]

学習するって凄いな

[@野乃ののの福]

ロードランナーとかドアドアとか面白そう

[@GO-yb3fi]

天才ですね

[@user-fi1mp6bo5p]

これ天井のブロックも破壊できるようにしたら天井駆け抜けるように学習したりするんだろうか？

[@yusei527]

それも試してみたいですね！
強化学習では、エージェント(アフロの方)が探索とそれによる経験に基づいて報酬が最大化されるような行動をとるので、まず少なくとも一度上に上がってみる必要がありますね。
そのルートの方が下で敵を倒して進む(ちょっと報酬がもらえる)より報酬が高くなるなら、すぐさま上に上がって一直線に進むようになりますよね笑

[@Zenius-I-vanisher]

2ブロック同時に破壊するAI凄すぎ

[@鉛澤葉獅]

アフロじゃなかったら死んでそう

[@アイオライト-u1x]

フレームごとの罰、ジャンプの罰、敵を倒した報酬辺りの比重は変えたら挙動が大きく違いそうですね

[@影夜-g7g]

レースゲームの学習を見たいな。
実際の自動運転と違う所が有るなら、違う所の解説とかも聞きたい。

[@n-yoshi]

次の機会があれば、ゴールポールの高いところほど報酬がデカい、を入れて欲しいですね。

[@000じゅこう]

今回も楽しませていただきました。次回はエキサイトバイクとか見てみたいす。

[@lonestar930]

階段から敵が降りてくるところすごすぎ。
マリオは人でもrtaできちゃうくらい最適化されてるので、超人になれるやつ見たいなー。ぷよぷよとか？

[@bjnes97]

タワーディフェンス系のゲームで最適解を教えてくれるAIが見てみたい。

[@いくら-c4x]

現実世界に近いルールを作ってAIぶち込んで観察したい

[@Shigure_Mayu]

音ゲーをIA学習でフルコンまで持っていくの面白そう

[@nikomi-888miso]

シューティングゲームとか楽しそう

[@宇野リッシュ]

FCテニスとかゴルフ（マリオゴルフ含む）みたいなのも楽しそうですね。今でも遊びたい一品。

[@tt-lg3ck]

強化学習大好きだなｗ
いつか生成モデルも試してほしい

[@tagudogjpn]

実際のサーキットで何万回AIに走らせたら、正しい（あるいは最速の）レコードラインを走れるようになるのか見てみたい

[@chun37]

強化学習のやり方とか解説して欲しいです！

[@れいれい-z6z]

普通に歩くより飛びながら進む方が移動距離が長いから常に飛んで移動してるね

[@yoshikana1882]

横シュー(STG)みたいな、敵の弾を避けつつ倒す様なゲームを学習させてみて欲しいです
弾幕ゲーとかも面白そうですね

[@墓石N]

昔本物でやってた動画を見た気がしますが、再現ステージでやる理由とかってあったりするのでしょうか

[@gasumoru5037]

土管とかあるからちゃう？

[@凛-b7w]

動画の途中で出てくる効率化のために同時進行させるためかな〜とか思った

[@enikaita_mochi]

是非、8-4を学習するところを見てみたいです。
あの、迷路のような構造をどうやってクリアしていくかが見てみたい。

[@hertway]

最後の旗に触る時、1番上に触る時高得点だからそれにも報酬を設定して再現して欲しかったです。
爽快感が違うと思いますw

[@かのん-i7f]

こーじさんはどうやってAIに学習させてるんでしょうか？
Python等のプログラミングでやってる？それともプログラムの知識がなくとも学習させることができるツールがある？

[@やっさん-s2i]

頭突きでブロック壊すの凄いな

[@Skyla1207]

ロックマンのステージ攻略してみて欲しいなぁ。消えたりするブロックとか動く足場を突破出来るのか気になる

[@akasan0717]

シリーズ化してほしい！
ファミコン版マリオ全ステージ！

[@icebo08]

パックマンの強化学習気になります….！

[@kazutohagura4976]

すごーい！
このやり方で1-1再挑戦
からの比較って、
動画に出来ませんか？

[@yuukanmuri1358]

ひたすらにブロック壊してスペース作りしてたのでブロック破壊を最小限に抑えてクリアする姿もみてみたいです！

[@karimori0041]

fpsシューティングのゲームとか覚えさせても面白そう。

[@bekey-gh1ds]

AIの研究してプログラミングを作っている人凄い！

[@ブルーモンスター-n2m]

ミサカネットワークを何故か思い出した

[@natsukazuify]

I wanna be the guyみたいなﾀﾋにゲークリアできるようになったらものすごい動きしそう

[@Yamaka-yc7kc]

これコイン配置してコイン取ったら報酬みたいな感じにしたらさらに面白くなりそう

[@kom846]

今度ダッシュも入れて欲しいです！笑

[@skyouya.8998]

うぽつ
動画面白かったです

[@西野菊地]

こりゃあ色々職業が奪われそうだわ笑

[@akitainu19]

ゴールの高さで報酬の数を変えるのも面白そう

[@大盛半チャーハン]

魔界村やJump King、壺男みたいに人間にも難しいゲームとか強化学習の凄さがより分かる気がします

[@ボイルソーセージ]

複数プレイヤーがいて踏んだら倒せるとかの環境で学習してレースとかさせたらどうなるんだろうと思った
おもしろい！

[@渡邊裕樹-m9j]

4-1だとかのパイポ(＆ジュゲム)とか、プクプクだとかの飛来物系が気になる……