Python и коронавирус #2: анализ новых данных и смертей
Вставка
- Опубліковано 2 тра 2020
- #коронавирус #python В прошлом выпуске мы анализировали данные по коронавирусу на конец марта. С тех пор многое изменилось! В этом видео я сделала анализ обновленных данных на 1 мая 2020.
Код из видео тут: github.com/almaleksia/covid19...
Предыдущее видео по анализу данных COVID-19: • Python и коронавирус /...
И вам здоровья. И спасибо за видео. У меня вопрос возник как у бэкенд жава программера (с питоном знаком поверхностно): вы же это на лептопе гоняли как я понял, с небольшими файлами данных это воркабл, а что если файлы большие? Я не уверен, но кажется все эти вычисления которые вы делали они одним тредом исполняются питоновскими либами, то есть даже процессор лептопа утилизирован не полностью. И умеют ли эти библиотеки работать с данными которые не помещаются в оперативку? Вобщем интересно насколько питон применим к анализу биг дата.
отличный вопрос. есть либа dask, которая как раз разработана для работы с данными, не помещающимися в память. у нее интерфейс очень похож на pandas.
@@OverEngineer Слышал про даск. говорят что интерфейс - жалкое подобие пандас. Единственное, что приходит на ум это загружать биг дата во что то типа bigquery и частично анализировать там (дорого и неудобно) и экспортировать маленькие сэмплы и дальше в пандас обрабатывать. вопрос как вычислить такой маленький сэмпл чтоб статистики/графики были достаточно точны. видимо надо мат. статистику повторять. Интересно, что принято у датасаентистов делать для анализа биг дата..
@@yuriybell Создавать модели и не парится с мусором .
@@tohoto2183 а можно поподробнее?
а где датасет взять?