- 12
- 11 363
NOdata Миша
Приєднався 15 січ 2021
Работаю дата инженером и говорю об этом
xmanfswu
280b5960-8581-4975-8e17-cf9fa8292738
xmanfswu
280b5960-8581-4975-8e17-cf9fa8292738
Минусы работы дата инженером
В видео я рассказываю о главных минусах работы дата инженером. Стоит ли становиться data engineer
Видео уроки по data (Airflow, Clickhouse и многое другое) telegra.ph/Videouroki-08-26
Тг канал t.me/datamisha
00:00 - Привет
00:09 - Минус 1
01:18 - Минус 2
02:58 - Минус 3
03:58 - Где учиться на дата инженера
Видео уроки по data (Airflow, Clickhouse и многое другое) telegra.ph/Videouroki-08-26
Тг канал t.me/datamisha
00:00 - Привет
00:09 - Минус 1
01:18 - Минус 2
02:58 - Минус 3
03:58 - Где учиться на дата инженера
Переглядів: 1 243
Відео
Это сэкономит 90% времени программиста!
Переглядів 3484 місяці тому
Видео уроки по data (Airflow, Clickhouse и многое другое) telegra.ph/Videouroki-08-26 Тг канал t.me/datamisha
Установка ClickHouse
Переглядів 3534 місяці тому
Видео уроки по data (Airflow, Clickhouse и многое другое) telegra.ph/Videouroki-08-26 Тг канал t.me/datamisha Сайт ClickHouse онлайн play.clickhouse.com/play?user=play Установка ClickHouse локально brew install clickhouse clickhouse server Установка ClickHouse через Docker docker run -d name some-clickhouse-server ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 clickhouse/clickhouse-serve...
Airflow Operators. Операторы в Airflow
Переглядів 2765 місяців тому
Рассказываю про примеры использования PythonOperator, BashOperator и PostgresOperator Другие видео уроки по Airflow и не только telegra.ph/Videouroki-08-26 Тг канал t.me/datamisha * Параметр dag в операторы передавать не нужно
Airflow на простом примере
Переглядів 6 тис.7 місяців тому
В этом видео я покажу и расскажу как работать с airflow на примере получения данных по api и загрузки их в базу данных Мои видеоуроки по data telegra.ph/Videouroki-08-26 Мой тг канал - t.me/datamisha
Кто такой Data Engineer?
Переглядів 4917 місяців тому
Ссылка на полезные материалы t.me/datamisha/217 Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 Таймкоды: 00:00 - Начинаю 00:21 - Кто он? 00:50 - ETL 02:05 - Про витрины данных 03:17 - Задачи DE 04:24 - Что должен знать DE 06:20 - Плюсы и минусы быть DE 08:05 - Блиц и выводы
NiFi на простом примере
Переглядів 2868 місяців тому
Тегеграм канал - t.me/datamisha Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 О том как NiFi в docker развренуть ua-cam.com/video/5n1tszZYsbw/v-deo.html
Софт для Data engineer
Переглядів 2719 місяців тому
В видео рассказывается о необходимом наборе программ для data engineer'a Тегеграм канал - t.me/datamisha Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 Таймкоды: 00:00 - Всем привет 00:23 - DBeaver 4:20 - PyCharm 7:36 - Google Chrome
Сменил первую работу в it
Переглядів 205Рік тому
Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 Телеграм канал NOdata Миша - t.me/datamisha Таймкоды: 0:00 - Я сменил работу 0:47 - Как понять что пора искать новую работу 2:02 - Где искать работу 3:28 - Как подготовить резюме 5:43 - Как подготовиться и пройти собеседование 9:39 - Как выбрать лучшее условие
Я теперь data engineer
Переглядів 679Рік тому
В ролике рассказываю о своей карьерном пути Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 Телеграм канал NOdata Миша t.me/datamisha
Запуск NiFi в Docker | Dockerfile | Установка NiFi
Переглядів 218Рік тому
Установка NiFi Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 Телеграм канал data Миша - t.me/ 4lL6y1a6eUcxNzky Курс по Docker - karpov.courses/docker 00:00 | Начало 00:20 | Загрузка образа 01:10 | Развертывание 05:50 | Вход в docker 08:20 | Dockerfile
NiFi+python. Запуск python скрипта в nifi. ExecuteScript. ExecuteStreamCommand.
Переглядів 5162 роки тому
Запуск python скрипта в nifi с помощью: 1) ExecuteScript 2) ExecuteStreamCommand Видеоуроки для data специалистов - telegra.ph/Videouroki-08-26 Телеграм канал data Миша - t.me/ 4lL6y1a6eUcxNzky В текстовом формате - datamisha.ru/2022/11/08/nifipython-запуск-python-скрипта-в-nifi-executescript-executestreamcommand/ 00:00 | 2 способа 00:30 | ExecuteScript 03:25 | ExecuteStreamCommand
Спасибо))
Можем ли мы записать свой параметр в контекст дага и вывести его в details?
Спасибо, годно.
Это все от того что кто-то работает дата инженером не любя данные. Я вот с удовольствием просто смотрю на свою выстраданную, согласованную, с ключами, с констрейнтами модель данных как на картину, это же эстетическое удовольствие видить идельную витрину или дименшен. Если у вас не так - вы просто занимаетесь не своим делом
спасибо, очень полезно 🙏
Скажите пжл, а у вас есть уроки по airflow для новичков? А то записалась на курс и очень трудно он мне даётся…
Есть не много на канале, но в основном выкладываю тут telegra.ph/Videouroki-08-26
Постоянно им пользуюсь, классная штука!
Братан мне интересно профессия дата инженера прошу продолжай в том же духе 🙌
Спасибо!
скажите а если совсем не нравится cv - comp vision llm - модели лингв, но нравится работа с большими даными и програмирование типа бекенда - то стоит ли идти в дата сайнс?
Конечно, в дата сайнс много других вещей
красавчик. четко и по делу
Спасибо!
Привет, у DE бывает лишнее свободное время на работе (чтобы отвлечься на ютуб или какие-то курсы или свои проекты)? Если да, то сколько (в среднем)?
Свободного времени у ДЕ примерно столько как и у остальных айтишников
Красавчик
кратко и понятно!
Спасибо!
07:38 не линкедин, а литкод
Ага, ошибся( Спасибо!
Молодец 💪
Спасибо)
codeium
Понравился ролик 👍
Привет! Ты так в сбере и работаешь ? Посмотрел видео твое годичной давности. Подскажи что за ноут у тебя ? Подскажешь Мак бук подойдет дата инженеру ?
Поставил Лайк и подписался
Привет! Сейчас уже работаю в Сбер Образовании Ноут у меня мак бук. И домашний и рабочий
За 10 минут описал то, что я месяц пытался понять из разных отрывков дагов и доки на работе)) еще смотрел модуль по airflow из Карпов курсов - фигня полная, по сравнению с этим объяснением, тут понятно что зачем и для какой цели
Спасибо за комментарий!)
тут надо учесть что месяц тоже не прошел даром, просто в очередной ролик сыграл свою роль, расставил все на свои места :) вот я смотрю и пока что все равно ничего не понимаю, правда не досмотрел еще :)
@@rasiyanin согласен, чем чаще непонятную инфу видишь, тем больше в подкорке она откладывается, видать это был мой случай))
Привет, Михаил! Спасибо за видео! Чуть не понял одного: есть операторы для Airflow, которые умеют в SQL. Но я думал, что все операции мы выполняем уже внутри таска, например, Load, где мы пишем логику: 1) Получаем данные из предыдущего таска (например, таска Transform) 2) Предположим, мы хотим, чтобы при повторном запуске записи за предыдущий день затирались, вместо которых загружались новые (типичная инкрементная загрузка). Получается, что в таске Load прописывается "DELETE FROM schm.table where dt = :date_to_delete" и там же прописывается with engine.connect() as conn: и так далее, которое по пути удаляет записи и загружает командой df.to_sql(.. .. .. ..). Я к тому, что для чего в этом случае нужны именно что отдельные sql-таски, если база является, по сути, просто конечной точкой? И хотелось бы видео про способы передачи данных между тасками. Хуки, файлы и так далее. Спасибо! :)
Привет! По поводу передачи файлов: по xcom есть видео на бусти boosty.to/nodata_misha/posts/a56f75f2-02e4-4eac-a6d5-a8c67f59aaee но возможно что-то и на ютуб выпущу Не много не понял по вашему комментарию, но если я правильно понял, то можно например сделать так: В первой таске Получаем данные и передаем их во вторую таску, которая может как раз является Postgres оператором, в который мы просто передаем 2 sql кода (удаляем вчерашние, загружаем сегодняшние), можно наверное даже в одном передать
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Классное видео! Подскажи, что за тул для БД исплользуешь?
Спасибо! К БД подключаюсь через DBeaver
Молодец
Теперь я тоже мамкин дата инженер 🙂 Спасибо 🚀
Многие мечтают быть дата инженерами, просто не осознают этого 😎
Добавил в избранное и курс по докеру тоже 👍
Спасибо, хорошее введение в профессию, понятно и без пафоса
Спасибо Возвращаетесь еще за кучей полезных видео)
продолжайте. Жду продолжения. Интересно посмотреть на реальные задачи. Спасибо 💪🏼
Спасибо за комментарии! Продолжение обязательно будет)
Спасибо большое за видео, очень помогло! Можно ли для ExecuteStreamCommand как-то задавать параметры и считывать их в скрипте?
Самому не приходилось, но вроде можно. Можете почитать в документации nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.17.0/org.apache.nifi.processors.standard.ExecuteStreamCommand/index.html
@@NOdatamisha Хорошо, спасибо! Как я понял, это делать через аргументы для команды запуска программы. Только вот вопрос, можно ли задавать глобальные переменные для пайплайна и подставлять в аргументы команды запуска?
@@dealenx можно создать атрибут и его подставлять. Завтра попытаюсь поподробнее рассказать)
@@NOdatamisha Хорошо, спасибо!