RE-Bench: measuring AI agents at AI R&D vs human experts

Поділитися
Вставка
  • Опубліковано 21 гру 2024

КОМЕНТАРІ • 3

  • @Think666_
    @Think666_ День тому +12

    O3 might impact this paper

    • @SamuelAlbanie1
      @SamuelAlbanie1  15 годин тому +4

      Agreed. I'm curious to see the results of the updated eval.

  • @poiitidis
    @poiitidis 18 годин тому +2

    nice

Наступне
Автоматичне відтворення
Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 Keynote26:52Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 Keynote
Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | BUILD 2024 KeynoteSnowflake Inc.
Переглядів 231 тис.
Challenges with unsupervised LLM knowledge discovery16:02Challenges with unsupervised LLM knowledge discovery
Challenges with unsupervised LLM knowledge discoverySamuel Albanie
Переглядів 1,4 тис.
Can AIs do AI R&D? Reviewing REBench Results with Neev Parikh of METR1:46:41Can AIs do AI R&D? Reviewing REBench Results with Neev Parikh of METR
Can AIs do AI R&D? Reviewing REBench Results with Neev Parikh of METRCognitive Revolution "How AI Changes Everything"
Переглядів 572
Гениальное изобретение из обычного стаканчика!00:31Гениальное изобретение из обычного стаканчика!
Гениальное изобретение из обычного стаканчика!Лютая физика | Олимпиадная физика
Переглядів 4,6 млн
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть00:58Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смертьСуспільне Чернігів
Переглядів 214 тис.
😳Трамп ПОТІШИВ Скабєєву, але одразу РОЗЧАРУВАВ #shorts00:44😳Трамп ПОТІШИВ Скабєєву, але одразу РОЗЧАРУВАВ #shorts
😳Трамп ПОТІШИВ Скабєєву, але одразу РОЗЧАРУВАВ #shorts24 Канал онлайн
Переглядів 341 тис.
СОЛДАТ КНДР: ВТЕЧА/ВІЙНА В УКРАЇНІ/10 РОКІВ ШПИГУВАВ У ПІВНІЧНІЙ КОРЕЇ/ТОРГУЮТЬ НАРКОТИКАМИ І ЗБРОЄЮ39:11СОЛДАТ КНДР: ВТЕЧА/ВІЙНА В УКРАЇНІ/10 РОКІВ ШПИГУВАВ У ПІВНІЧНІЙ КОРЕЇ/ТОРГУЮТЬ НАРКОТИКАМИ І ЗБРОЄЮ
СОЛДАТ КНДР: ВТЕЧА/ВІЙНА В УКРАЇНІ/10 РОКІВ ШПИГУВАВ У ПІВНІЧНІЙ КОРЕЇ/ТОРГУЮТЬ НАРКОТИКАМИ І ЗБРОЄЮPRESSING
Переглядів 431 тис.
Nvidia Just Revealed The Future Of AI Agents In 2025..12:48Nvidia Just Revealed The Future Of AI Agents In 2025..
Nvidia Just Revealed The Future Of AI Agents In 2025..TheAIGRID
Переглядів 109 тис.
Are AI Advancements Already Slowing Down?13:29Are AI Advancements Already Slowing Down?
Are AI Advancements Already Slowing Down?CNBC
Переглядів 375 тис.
Speculations on Test-Time Scaling (o1)47:56Speculations on Test-Time Scaling (o1)
Speculations on Test-Time Scaling (o1)Sasha Rush 🤗
Переглядів 17 тис.
Visualizing transformers and attention | Talk for TNG Big Tech Day '2457:45Visualizing transformers and attention | Talk for TNG Big Tech Day '24
Visualizing transformers and attention | Talk for TNG Big Tech Day '24Grant Sanderson
Переглядів 243 тис.
Why AI needs God - Prof Rosalind Picard1:02:33Why AI needs God - Prof Rosalind Picard
Why AI needs God - Prof Rosalind PicardSeen & Unseen
Переглядів 9 тис.
A Third Russian Tanker Sinks | 8,000 Tons of Oil Spilled | Issues for Russian Gas and Oil Exports16:35A Third Russian Tanker Sinks | 8,000 Tons of Oil Spilled | Issues for Russian Gas and Oil Exports
A Third Russian Tanker Sinks | 8,000 Tons of Oil Spilled | Issues for Russian Gas and Oil ExportsWhat is Going on With Shipping?
Переглядів 403 тис.
Stanford Webinar - Large Language Models Get the Hype, but Compound Systems Are the Future of AI58:06Stanford Webinar - Large Language Models Get the Hype, but Compound Systems Are the Future of AI
Stanford Webinar - Large Language Models Get the Hype, but Compound Systems Are the Future of AIStanford Online
Переглядів 67 тис.
Anthropic - AI sleeper agents?19:35Anthropic - AI sleeper agents?
Anthropic - AI sleeper agents?Samuel Albanie
Переглядів 2,1 тис.
Why Agent Frameworks Will Fail (and what to use instead)19:21Why Agent Frameworks Will Fail (and what to use instead)
Why Agent Frameworks Will Fail (and what to use instead)Dave Ebbelaar
Переглядів 101 тис.
Cool Items!🥰 New Gadgets, Smart Appliances, Kitchen Tools Utensils, Home Cleaning, Beauty #shorts00:40Cool Items!🥰 New Gadgets, Smart Appliances, Kitchen Tools Utensils, Home Cleaning, Beauty #shorts
Cool Items!🥰 New Gadgets, Smart Appliances, Kitchen Tools Utensils, Home Cleaning, Beauty #shortsCool Items Official
Переглядів 75 млн
Морпіх із Каліфорнії доєднався до лав ЗСУ #shorts00:21Морпіх із Каліфорнії доєднався до лав ЗСУ #shorts
Морпіх із Каліфорнії доєднався до лав ЗСУ #shortsСуспільне Львів
Переглядів 241 тис.
⚡КОРЕЙЦІ ПРОТИ росіянок00:57⚡КОРЕЙЦІ ПРОТИ росіянок
⚡КОРЕЙЦІ ПРОТИ росіянок5 канал
Переглядів 1,1 млн
Cute Baby Ties Up Dad And Wants To Play With His Phone #funny #fatherhoodlove#cute#fatherhoodmoments00:19Cute Baby Ties Up Dad And Wants To Play With His Phone #funny #fatherhoodlove#cute#fatherhoodmoments
Cute Baby Ties Up Dad And Wants To Play With His Phone #funny #fatherhoodlove#cute#fatherhoodmomentsCute Baby Funny Video
Переглядів 4,3 млн
СКОЛЬКО ИХ...?! #Shorts #Глент00:18СКОЛЬКО ИХ...?! #Shorts #Глент
СКОЛЬКО ИХ...?! #Shorts #ГлентГЛЕНТ
Переглядів 1,1 млн
ГРАВИТАЦИЯ! ВЫЖИВАНИЕ на ЛЕТАЮЩЕМ ОСТРОВЕ(DDprod.) в РАСТ/RUST1:58:12ГРАВИТАЦИЯ! ВЫЖИВАНИЕ на ЛЕТАЮЩЕМ ОСТРОВЕ(DDprod.) в РАСТ/RUST
ГРАВИТАЦИЯ! ВЫЖИВАНИЕ на ЛЕТАЮЩЕМ ОСТРОВЕ(DDprod.) в РАСТ/RUSTДЕРЖИ ДВЕРЬ
Переглядів 1,3 млн
Сестра обхитрила!00:17Сестра обхитрила!
Сестра обхитрила!Victoria Portfolio
Переглядів 913 тис.
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть00:58Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смерть
Мама загинула у блокадному Чернігові, а тато у полоні РФ #війна #люди #україна #shorts #смертьСуспільне Чернігів
Переглядів 214 тис.