Díky za zajímavý rozhovor! Je fajn vědět, že lidé, kteří se slepě snaží o co nejrychlejší technologický vývoj bez ohledu na důsledky, mají svůj protiklad.
Skvělé a velmi inspirativní. Jen jedna věc k diskusi. Co když vůbec není žádné priviligované jsoucno a není ontologicky žádná substance. Substance je samozřejmě intuitivní. Ale není substanční pojetí jen nějaký totemismus? Ale podle mě není důvodu nebrat vážně nesubstanční ontologickou možnost. Tím vůbec neřikám že by pan Romportl nebral tuto možnost vážně. A velice doporučuji k tomuto tématu analýzu a dílo filosofa Egona Bondyho. A velice děkuji za skvělí rozhovor. p.s. mimochodem Egon Bondy už v roce 1970 řeší velmi zajímavě a hodně nadčasově artificiální bytosti čili nebiologické bytosti.a důvod důležitosti je vytvořit.
Asi skutečně žádné privilegované jsoucno není, nicméně můj hardware (tedy komputační výbava homo sapiens) mě prostě nutí takhle fungovat. S tím v zásadě nemůžu nic při běžném neurotypickém stavu udělat (bohužel? / bohudík?). Stejně jako náš dopaminový reward mechanismus - odsuzuje nás v podstatě k věčné nespokojenosti. Reward kóduje rozdíl mezi očekáváním a skutečným stavem, ale zároveň nutí náš model světa, aby upravoval ta očekávání. Takže jsme odsouzení k tomu žít v permanentní tenzi. Když už je zmíněný ten Bondy - mně do toho pěkně zapadá Milan Machovec a Filozofie tváří v tvář zániku. AI nám tu jako lidstvu i jako jednotlivci předkládá "bytostný dialog s vlastní smrtelností" (v tom Machovcovském smyslu), kdy na rozdíl od běžných hospodských filozofických povídáníček se teď tomuhle dialogu prostě už vyhnout nemůže. Je to trošku léčba šokem, ale jinak to asi nejde.
Velmi dobrý rozhovor, díky. Oceňuji zejména zmínku Karla Fristona v rámci popisu obecnější teorie inteligence. Jsem jen trochu zmatený z toho že pan Romportl mluví o tom jak na poli AI nikdo neřeší bezpečnost, ale později ukazuje, že ví o existenci nemalé a vytrvalé AI safety komunity kolem Eliezera Yudkowskiho (Less Wrong, Future of Humanity Institute, Alignment Forum), která se tímto tématem primárně zabývá už cca dvacet let. Ten "doom" je opodstatněný z toho důvodu, že v principu se zdá nemožné aby slabší agent dlouhodobě kontroloval silnějšího agenta, zejména pokud má ten silnější být významně užitečný (to znamená jednat autonomně ve světě). Jinak ale část safety komunity sází na mechanickou interpretabilitu (kterou nejspíše pan Romportl prosazuje), část to, že AI akceleruje alignment výzkum, část že budeme používat více propojených systémů, které se budou vzájemně držet v šachu, část (Stuart Russell) že AI nesmí mít vlastní cíle jako takové. RLHF a constitutional AI prozatím fungují, všichni velcí hráči se schází, koordinují v prohlášeních, vítají regulaci, mají neziskové (nebo capped) business modely společností apod. Neřekl bych že se toho na poli bezpečnosti děje vyloženě málo.
Na toto téma doporučuji Joschu Bacha, který mluví o tom že dlouhodobě se naše cíle nebudou s AI křížit. ua-cam.com/video/e8qJsk1j2zE/v-deo.html A obecně kanál Machine Learning Street Talk. Na téma biologických hrozeb pak Roba Reida, který popisuje jak postavit "globální imunitní systém" pro celé lidstvo. ua-cam.com/video/UaRfbJE1qZ4/v-deo.html
Díky za super reakci. Jak zmiňuju, že se "nikdo" tou AI bezpečností nezabývá, je to fakt spíš jen taková zkratka ve smyslu 1) "nikdo = tak strašně málo vzhledem k tomu, jak zásadní existenční riziko to je", a 2) "nikdo = víceméně nikdo z absolutně většinové komunity AI practitioners". Samozřejmě MIRI, FHI, FLI, EA, OpenPhil, CSER a další je super, ale pořád je to strašně málo. Zejména když proti tomu máme většinový názor od AI practitioners (a vlastně i od laické komunity), který třeba prohlášení OpenIAI nebo Anthropicu, že alignment fakt musíme řešit, setřou tím, že to je prostě jen marketingový tah OpenAI a Anthropicu. Nicméně samozřejmě vnímám, že ten zájem o alignment&safety raketově roste, takže ten trend je dobrý, a to je dobře. Když jsem v roce 2011 šel do Oxfordu na FHI jako academic visitor u Anderse Sandberga, šel jsem tam s tím, že chci dělat AI Safety. Ale tehdy i tam to bylo ještě natolik cringe téma, že jsem se vrátil s tím, že místo AI safety dělám human cognitive enhancement. Ale situace je dneska naštěstí úplně jiná. K té druhé části: asi bych se skutečně částečně řadil k té kategorii "mechanistické interpretability", a to s příměsí "provably safe systems" třeba ve smyslu Maxe Tegmarka (ale upřímně: vůbec netuším, jestli jsou provably safe systems skutečně možné, a proto mě občas přepadá "Yudkowského zmar"... nicméně spousta daleko chytřejších lidí než já věří, PSS jsou možné, tak to mě pak zase trochu uklidňuje :-) ). Zároveň se plně podepisuju pod Stuarta Russella a jeho návrh, že při RL vždycky musí být nenulová pravděpodobnost, kterou RL agent přisoudí tomu, že optimalizuje vůči "špatným" cílům. Taky ale nevím, jak to technicky udělat. Constitutional AI je super, že funguje, ale je to takové jako ve smyslu, že já jako člověk racionálně vím, co je správné a že bych třeba teď místo sedění u počítače měl jít sportovat, ale přesto buňky způsobí, že sedím u počítače. Takže pořád je k tomu zapotřebí ten správný reward a optimalizační proces, který bude consitutional AI drajvovat.
@@JanRomportl Díky moc za odpověď, doufal jsem že se sem podíváte. :) Rozumím, díky za vysvětlení. Ten "kognitivní antivirus" vašeho startupu je myšlený jako osobní AI asistent který má člověka bránit proti dezinformačním psy-ops? Slyšel jsem o něčem podobném nedávno mluvit George Hotze, jeho představa je, že pokud bude mít každý takovou AI na vlastní straně, tak budeme v podobném mocenském equilibriu jako dnes. Mě se to moc nezdá, protože jednak je tam ten problém "vnitřního alignmentu" jak popisujete, nebo příjde autonomie a začne to být digitální občanská válka všech názorových kmenů. Decentralizované výpočetní zbrojení. :-/
Nebo ještě lépe, vzniknou sítě ve stylu SETI@Home kdy každý liberál a konzervativec budou přispívat svou špetkou výkonu k "odhalování pravdy", neboli krmení svého AI boha, který generuje realitu jejich informační bubliny a útočí na ty ostatní. Omlouvám se za spam, nemám moc s kým se o těchto věcech bavit, všem kolem mě už to leze na nervy. :D Stále ještě hledám svůj filosofický "kmen".
je to borec,ona to nemusí být a nebude AGI,minimálně ze začátku.Za pár měsíců pude smykem dabing, pak herci, scénáristi, copywrighteři, cokoli co tvoří obsah, grafici, muzikanti ...btw dnes hráli poprvé na mém naladěném rádiu "nové" Beatles. Budete koukat
Výborný rozhovor 🔥 hosť je fakt kapacita, zorientovaný vo veľa veciach a Markéta má dobré otázky, neskáče do reči, príjemná 😊 nech sa startupu darí 🙌
Díky za zajímavý rozhovor! Je fajn vědět, že lidé, kteří se slepě snaží o co nejrychlejší technologický vývoj bez ohledu na důsledky, mají svůj protiklad.
je to fakt zajímavý
Děkuji za tento rozhovor. Pomohl mi se zorientovat tématu AI.
Skvělé a velmi inspirativní. Jen jedna věc k diskusi. Co když vůbec není žádné priviligované jsoucno a není ontologicky žádná substance. Substance je samozřejmě intuitivní. Ale není substanční pojetí jen nějaký totemismus? Ale podle mě není důvodu nebrat vážně nesubstanční ontologickou možnost. Tím vůbec neřikám že by pan Romportl nebral tuto možnost vážně. A velice doporučuji k tomuto tématu analýzu a dílo filosofa Egona Bondyho. A velice děkuji za skvělí rozhovor. p.s. mimochodem Egon Bondy už v roce 1970 řeší velmi zajímavě a hodně nadčasově artificiální bytosti čili nebiologické bytosti.a důvod důležitosti je vytvořit.
Asi skutečně žádné privilegované jsoucno není, nicméně můj hardware (tedy komputační výbava homo sapiens) mě prostě nutí takhle fungovat. S tím v zásadě nemůžu nic při běžném neurotypickém stavu udělat (bohužel? / bohudík?). Stejně jako náš dopaminový reward mechanismus - odsuzuje nás v podstatě k věčné nespokojenosti. Reward kóduje rozdíl mezi očekáváním a skutečným stavem, ale zároveň nutí náš model světa, aby upravoval ta očekávání. Takže jsme odsouzení k tomu žít v permanentní tenzi.
Když už je zmíněný ten Bondy - mně do toho pěkně zapadá Milan Machovec a Filozofie tváří v tvář zániku. AI nám tu jako lidstvu i jako jednotlivci předkládá "bytostný dialog s vlastní smrtelností" (v tom Machovcovském smyslu), kdy na rozdíl od běžných hospodských filozofických povídáníček se teď tomuhle dialogu prostě už vyhnout nemůže. Je to trošku léčba šokem, ale jinak to asi nejde.
Velmi dobrý rozhovor, díky. Oceňuji zejména zmínku Karla Fristona v rámci popisu obecnější teorie inteligence.
Jsem jen trochu zmatený z toho že pan Romportl mluví o tom jak na poli AI nikdo neřeší bezpečnost, ale později ukazuje, že ví o existenci nemalé a vytrvalé AI safety komunity kolem Eliezera Yudkowskiho (Less Wrong, Future of Humanity Institute, Alignment Forum), která se tímto tématem primárně zabývá už cca dvacet let.
Ten "doom" je opodstatněný z toho důvodu, že v principu se zdá nemožné aby slabší agent dlouhodobě kontroloval silnějšího agenta, zejména pokud má ten silnější být významně užitečný (to znamená jednat autonomně ve světě).
Jinak ale část safety komunity sází na mechanickou interpretabilitu (kterou nejspíše pan Romportl prosazuje), část to, že AI akceleruje alignment výzkum, část že budeme používat více propojených systémů, které se budou vzájemně držet v šachu, část (Stuart Russell) že AI nesmí mít vlastní cíle jako takové. RLHF a constitutional AI prozatím fungují, všichni velcí hráči se schází, koordinují v prohlášeních, vítají regulaci, mají neziskové (nebo capped) business modely společností apod. Neřekl bych že se toho na poli bezpečnosti děje vyloženě málo.
Na toto téma doporučuji Joschu Bacha, který mluví o tom že dlouhodobě se naše cíle nebudou s AI křížit.
ua-cam.com/video/e8qJsk1j2zE/v-deo.html
A obecně kanál Machine Learning Street Talk.
Na téma biologických hrozeb pak Roba Reida, který popisuje jak postavit "globální imunitní systém" pro celé lidstvo.
ua-cam.com/video/UaRfbJE1qZ4/v-deo.html
Díky za super reakci. Jak zmiňuju, že se "nikdo" tou AI bezpečností nezabývá, je to fakt spíš jen taková zkratka ve smyslu 1) "nikdo = tak strašně málo vzhledem k tomu, jak zásadní existenční riziko to je", a 2) "nikdo = víceméně nikdo z absolutně většinové komunity AI practitioners". Samozřejmě MIRI, FHI, FLI, EA, OpenPhil, CSER a další je super, ale pořád je to strašně málo. Zejména když proti tomu máme většinový názor od AI practitioners (a vlastně i od laické komunity), který třeba prohlášení OpenIAI nebo Anthropicu, že alignment fakt musíme řešit, setřou tím, že to je prostě jen marketingový tah OpenAI a Anthropicu.
Nicméně samozřejmě vnímám, že ten zájem o alignment&safety raketově roste, takže ten trend je dobrý, a to je dobře. Když jsem v roce 2011 šel do Oxfordu na FHI jako academic visitor u Anderse Sandberga, šel jsem tam s tím, že chci dělat AI Safety. Ale tehdy i tam to bylo ještě natolik cringe téma, že jsem se vrátil s tím, že místo AI safety dělám human cognitive enhancement. Ale situace je dneska naštěstí úplně jiná.
K té druhé části: asi bych se skutečně částečně řadil k té kategorii "mechanistické interpretability", a to s příměsí "provably safe systems" třeba ve smyslu Maxe Tegmarka (ale upřímně: vůbec netuším, jestli jsou provably safe systems skutečně možné, a proto mě občas přepadá "Yudkowského zmar"... nicméně spousta daleko chytřejších lidí než já věří, PSS jsou možné, tak to mě pak zase trochu uklidňuje :-) ). Zároveň se plně podepisuju pod Stuarta Russella a jeho návrh, že při RL vždycky musí být nenulová pravděpodobnost, kterou RL agent přisoudí tomu, že optimalizuje vůči "špatným" cílům. Taky ale nevím, jak to technicky udělat.
Constitutional AI je super, že funguje, ale je to takové jako ve smyslu, že já jako člověk racionálně vím, co je správné a že bych třeba teď místo sedění u počítače měl jít sportovat, ale přesto buňky způsobí, že sedím u počítače. Takže pořád je k tomu zapotřebí ten správný reward a optimalizační proces, který bude consitutional AI drajvovat.
@@JanRomportl Díky moc za odpověď, doufal jsem že se sem podíváte. :) Rozumím, díky za vysvětlení.
Ten "kognitivní antivirus" vašeho startupu je myšlený jako osobní AI asistent který má člověka bránit proti dezinformačním psy-ops?
Slyšel jsem o něčem podobném nedávno mluvit George Hotze, jeho představa je, že pokud bude mít každý takovou AI na vlastní straně, tak budeme v podobném mocenském equilibriu jako dnes. Mě se to moc nezdá, protože jednak je tam ten problém "vnitřního alignmentu" jak popisujete, nebo příjde autonomie a začne to být digitální občanská válka všech názorových kmenů. Decentralizované výpočetní zbrojení. :-/
Nebo ještě lépe, vzniknou sítě ve stylu SETI@Home kdy každý liberál a konzervativec budou přispívat svou špetkou výkonu k "odhalování pravdy", neboli krmení svého AI boha, který generuje realitu jejich informační bubliny a útočí na ty ostatní.
Omlouvám se za spam, nemám moc s kým se o těchto věcech bavit, všem kolem mě už to leze na nervy. :D Stále ještě hledám svůj filosofický "kmen".
je to borec,ona to nemusí být a nebude AGI,minimálně ze začátku.Za pár měsíců pude smykem dabing, pak herci, scénáristi, copywrighteři, cokoli co tvoří obsah, grafici, muzikanti ...btw dnes hráli poprvé na mém naladěném rádiu "nové" Beatles. Budete koukat
Na druhou stranu, psychopat se narodí podle statistik vždycky nový. Ale AI, tím že nikdy nezemře, se může vždy ladit k lepším i morálním vlastnostem.
trošku zase materialistický pojetí člověka a mysli