Владимир Амелин
Владимир Амелин
  • 114
  • 178 481
Собираем pipeline. Схема инженерии данных. Часть 4. Связываем AirFlow и AirByte.
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ
Инструкция: airbyte.com/tutorials/how-to-use-airflow-and-airbyte-together
Итоговый набор файлов: disk.yandex.ru/d/580Z5F6oPMYbgQ
Презентация с краткой инструкцией:
docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing
Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/+A6_pJhDS2Tc5ZjIy
Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Переглядів: 446

Відео

Собираем pipeline. Схема инженерии данных. Часть 3. Объединяем компоненты в один docker-compose файл
Переглядів 44510 місяців тому
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Собираем pipeline. Схема инженерии данных. Часть 2. Разворачиваем AirByte в Docker на Windows.
Переглядів 55510 місяців тому
В данном видео представлена инструкция установки ПО для работы с Docker в ОС Windows. Мы устанавливаем: Hyper-V: learn.microsoft.com/ru-ru/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v WSL 2: wsl install wsl list wsl install -d Ubuntu-22.04 Windows Terminal: www.microsoft.com/store/productId/9N0DX20HK701?ocid=pdpshare Docker Desktop: www.docker.com/products/docker-desktop/ Запуск...
Собираем pipeline. Схема инженерии данных. Часть 1. Разворачиваем AirByte + ClickHouse + PostgreSQL
Переглядів 1,6 тис.11 місяців тому
Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Real-time аналитика. Часть 1. Разворачиваем и запускаем первый поток в Apache Storm.
Переглядів 58311 місяців тому
В теории знакомимся с тем, что отличает инструменты для real-time аналитики от инструментов для обычной аналитики. Проходим процесс установки необходимого ПО и запуска Apache Storm, а также сборки и разворачивания учебного проекта. Добавляйтесь в чатs в телеграме t.me/ A6_pJhDS2Tc5ZjIy и t.me/datalearnclub Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Kubernetes. Знакомство с возможностями. Разворачивание приложения в minikube.
Переглядів 60611 місяців тому
Ссылка на презентацию docs.google.com/presentation/d/1y5rfokk5a_ypaNpD-Gz3ah-Bk8m-bJVj3lhsQQmlGHM/edit?usp=sharing Все занятия и домашние задания курса по Docker тут itempuniversity.com/course/view.php?id=669 Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Docker с 0. Занятие 7. Запуск postgres master + replication. Запуск локального реестра.
Переглядів 164Рік тому
1. Запуск в 2 контейнерах основного сервера и репликации PostgreSQL. 2. Простой запуск локального реестра образов Docker. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-...
Введение в Docker с 0. Занятие 8. Старт контейнера с postgreSQL с предустановленными данными
Переглядів 113Рік тому
1. Создание образа и разворачивание из него контейнера с PostgreSQL с предустановленными данными. 2. Сравнение ENTRYPOINT и CMD часть 2. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/g...
Введение в Docker с 0. Занятие 6. Прием оптимизации времени сборки образа. ENTRYPOINT vs CMD.
Переглядів 129Рік тому
1. Как посмотреть команды, с помощью которых был построен каждый слой? 2. Оптимизация времени сборки образа 3. Использование в одной Dockerfile нескольких образов. Как это можно использовать? 4. ENTRYPOINT vs CMD. В чем их отличие? 5. Дискуссия: "Какую выбрать оболочку для работы с Docker в ОС Windows?" Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка н...
Введение в Docker с 0. Занятие 5. Мультиконтейнерные приложения. Docker Compose, Docker Network.
Переглядів 153Рік тому
Настройка взаимодействия между контейнерами, с помощью добавления их в одну сеть (Network). Разворачивание и остановка всех контейнеров, используемых приложением, одной командой с помощью Docker Compose. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sh...
Какую выбрать стратегию при переход в Дата Инженеры (Data Engineer) из WEB разработки. Дискуссия.
Переглядів 312Рік тому
Открытая дискуссия по вопросу, как осуществить переход в Data Engineering (Инженеры данных) из Web разработки. Сначала изучить курсы, а затем проходить собеседования или сразу постараться устроиться и уже в процессе работы добирать знания.
Введение в Docker с 0. Занятие 4. VOLUME 2 типов. Разворачиваем Postgres с сохранением базы.
Переглядів 200Рік тому
Подключаем VOLUME двух типов. Стартуем контейнер с Postgres с сохранением файлов базы данных. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-app.git Добавляйтесь в чат в...
Введение в Docker с 0. Занятие 3. Меняем и публикуем приложение. Устанавливаем PostgreSQL и MySQL.
Переглядів 213Рік тому
Знакомимся со стандартным процессом разработки приложения с помощью Docker. Публикуем приложение в Docker Hub, а затем разворачиваем во внешнем сервисе. Разворачиваем у себя на компьютере контейнеры с PostgreSQL и MySQL. Ссылка на Play With Docker: labs.play-with-docker.com/?_gl=1*10473iy*_ga*MTE1MDM3MjMzOS4xNjkwODY5Nzky*_ga_XJWPQMJYHQ*MTY5MjMzNTI5MS4yOC4xLjE2OTIzMzU3NTQuNjAuMC4w Все занятия и ...
Введение в Docker с 0. Занятие 2. Упаковываем первое приложение. Разбираем 6 команд в Dockerfile
Переглядів 288Рік тому
Разбираем команды: FROM, WORKDIR, COPY, RUN, CMD, EXPOSE Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адрему github.com/docker/getting-started-app.git Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Под...
Введение в Docker с 0. Занятие 1, ч 2/2. Знакомимся с понятиями Container, Images и с архитектурой.
Переглядів 322Рік тому
Если вы используете Windows, то перед установкой необходимо установить WSL. Инструкция в видео ua-cam.com/video/cNy50Int4Rk/v-deo.html Документация Docker docs.docker.com/get-started/ Скачать Docker docs.docker.com/get-docker/ Клиент Git git-scm.com/downloads IDE Visual Studio Code code.visualstudio.com/ Lightshot app.prntscr.com/ru/ Бесплатный курс по SQL itempuniversity.com/course/view.php?id...
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Переглядів 133Рік тому
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Переглядів 889Рік тому
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Переглядів 800Рік тому
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Переглядів 861Рік тому
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Переглядів 871Рік тому
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Переглядів 3,7 тис.Рік тому
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Переглядів 1 тис.Рік тому
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Переглядів 675Рік тому
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Переглядів 652Рік тому
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Переглядів 448Рік тому
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Переглядів 2,5 тис.Рік тому
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Переглядів 487Рік тому
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Переглядів 535Рік тому
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Переглядів 669Рік тому
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.
Переглядів 297Рік тому
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.

КОМЕНТАРІ

  • @ВиниОбойкин
    @ВиниОбойкин 3 дні тому

    Емое, как жу круто Вы все объясняете!!! Но у меня есть вопрос (не знаю, почему его никто не задал), как мне в датаВоулт избавиться от дублирования атрибутов? Вот например есть товар, у него категория, миллион товаров, а может относится к трем категориям, в обычной БД я бы просто вынес отдельную сущность "категория" и все )))

  • @traiestiffler1571
    @traiestiffler1571 25 днів тому

    Ты просто красавчик, эту тему OTUS 2 часа 11 минут невнятно жевал, а ты за 30 минут доступно объяснил и еще по индексам прошелся, мое уважение!

  • @АлександрКлименко-п3з

    Кое-как воспринял материал видео-урока, не мог оторваться от увлекательных событий экшн камеры Михаила)))

  • @ЮлдузСайдалиева-ч2ц
    @ЮлдузСайдалиева-ч2ц 2 місяці тому

    Очень очень интересно и понятно, думаю многие из нас сэкономили кучу денег на курсы по дата-аналитике🙈 Спасибо Вам большое, Вы делаете большое дело!

  • @digitalberd
    @digitalberd 2 місяці тому

    Ого, data driven подход в ведении бизнеса!

  • @digitalberd
    @digitalberd 2 місяці тому

    Огромное спасиб за видео! Сам я с данными работаю уже 14 лет, но последние пару лет немного отстал от жизни: решил что Airflow знаю и больше ничего не надо. А сейчас ещё появился и AirByte - и использование его совместно с Airflow - отличныая практика - очень ускоряет разработку data pipelines!

  • @АлександрБердышев-с5ы

    Отличное видео!

  • @LYOVA61RUS
    @LYOVA61RUS 2 місяці тому

    Не могу понять, зачем делать пустые сателлиты на линки, содержащие только атрибуты самого линка

  • @CultureofSpeech
    @CultureofSpeech 3 місяці тому

    Чудесно звучит ❤ А когда будет продолжение этой темы разговора 😮 ?

  • @ВОПРОСЫИСТОРИИ-л4л
    @ВОПРОСЫИСТОРИИ-л4л 4 місяці тому

    все эти манипуляции были проделаны ради того, чтобы новые данные, приходя в Источник, автоматически загружались бы и в Хранилище?

  • @evgeniynorfolk5909
    @evgeniynorfolk5909 5 місяців тому

    Все по делу и без воды, супер!

  • @АкботаХанбинова-й8м
    @АкботаХанбинова-й8м 5 місяців тому

    Спасибо за урок

  • @NiceDeadPet
    @NiceDeadPet 5 місяців тому

    "...обрабатывать большие данных с минимальной скоростью..." - может, с "максимальной скоростью"?))

  • @IvVi-n6t
    @IvVi-n6t 5 місяців тому

    17:39 Clickhouse тоже можно упомянуть

  • @IvVi-n6t
    @IvVi-n6t 5 місяців тому

    курс очень крутой, и бесплатно. Где подвох?

  • @georgebezov
    @georgebezov 6 місяців тому

    Да что ж такое. Ни одного нормального видео на русском языке про якорную модель. Здесь вроде информация доступная, но смотреть это мельтешение экрана просто невозможно

    • @DmitriyProdovets
      @DmitriyProdovets 4 місяці тому

      Тоже столкнулся с этой проблемой. Если найдешь адекватную информацию - маякни)

  • @ЛюдмилаДеньгубова-ю3к

    А процедур не будет? Хотя бы одну....

  • @МихаилЖуков-и8е
    @МихаилЖуков-и8е 7 місяців тому

    Лучший ❤

  • @faibichandrei3189
    @faibichandrei3189 7 місяців тому

    Это видео сделано для вызова приступа эпилепсии?)

  • @yabidubidu666
    @yabidubidu666 7 місяців тому

    Большое спасибо за видео!

  • @iMan-ql4gx
    @iMan-ql4gx 7 місяців тому

    Отличное объяснение

    • @DataCourse
      @DataCourse 7 місяців тому

      Благодарю!

  • @TMk-r5e
    @TMk-r5e 7 місяців тому

    Zdrastvuyte. Xotel znat est li vozmojnost uchastvovat v prekte po video? Spasibo

  • @alexzir
    @alexzir 9 місяців тому

    Подскажите пожалуйста, где страница курса, чтобы подробности посмотреть, в т.ч. как проходить курс?

    • @DataCourse
      @DataCourse 8 місяців тому

      здравствуйте! страница курса по ссылке itempuniversity.com/course/view.php?id=622 регистрация на сайте бесплатная, после регистрации курс доступен

  • @dmitryandreew8582
    @dmitryandreew8582 10 місяців тому

    Спасибо за видео! А зачем настолько усложнять в исходной дб с типами данных? Почему бы сразу не хранить рейтинги в string, а годы в int2?

  • @JIJI-zv1qp
    @JIJI-zv1qp 10 місяців тому

    Когда будет продолжение

  • @TMk-r5e
    @TMk-r5e 10 місяців тому

    A prodaljenie budet ? do transformaci i BI ?

    • @DataCourse
      @DataCourse 10 місяців тому

      в этом плейлисте будут будущие видео. пока выложено еще одно. Еще 2 занятия проведены и сняты, но пока не подготовлены к публикации

    • @DataCourse
      @DataCourse 10 місяців тому

      да, будут трансформации и BI

    • @TMk-r5e
      @TMk-r5e 10 місяців тому

      @@DataCourse благодарю за ответы. Канал и контент очень понравились. Жду продолжения 👍

  • @TMk-r5e
    @TMk-r5e 10 місяців тому

    Da spasibo.

  • @andreysemenov1978
    @andreysemenov1978 11 місяців тому

    хороший видос

  • @АлексейТаганрогов
    @АлексейТаганрогов 11 місяців тому

    На 18:00 "Если мы запрашиваем очень маленькую долю строк из таблицы..." А откуда он до выполнения запроса знает, какую долю мы запросили? Разве суть запроса не в том, чтобы пересмотреть всё и вернуть запрашиваемое?

    • @СергейМалышев-т9у
      @СергейМалышев-т9у 9 місяців тому

      В данном случае необходимо обратить внимание на то как работает структура данных индекса b-tree, ну или например как работает бинарный поиск

    • @vaskodagam0
      @vaskodagam0 4 місяці тому

      Для этого в субд есть статистика. Планировщик примерно знает какие данные и в каком объеме находятся в таблице

  • @filippov70
    @filippov70 11 місяців тому

    Точка Ди в пути это unix-стиль наименования папок(каталогов). В unix всё файл же. Это чтобы было понятно, что это directory просто по имени :). Это всё со старых времён осталось и не относится к PostgreSQL

  • @filippov70
    @filippov70 11 місяців тому

    Я делал так: ARG filename="popddb_prepare.sql" ADD $filename /docker-entrypoint-initdb.d/ ARG filename="popddb.sql" ADD $filename /docker-entrypoint-initdb.d/ Запускается в контейнере в порядке загрузки файлов в ADD

  • @vskovzgird
    @vskovzgird Рік тому

    На превью представлена stacked control plane архитектура. Что очень распространено, но сложно назвать это продакшн решением.

  • @victormog
    @victormog Рік тому

    Terminal в VS Code - это по умолчанию виндовский терминал, а bash появляется на выбор после установки git или node.js

  • @paleface_brother
    @paleface_brother Рік тому

    А чем под отличается от ноды?

    • @DataCourse
      @DataCourse Рік тому

      Нода - это компьютер/машина. Под - это то, в чем контейнер запускается. На одной ноде (на одном компьютере) может быть запущено несколько подов

    • @paleface_brother
      @paleface_brother Рік тому

      @@DataCourse Спасибо.

    • @victormog
      @victormog Рік тому

      *Pod* - стручок, кокон (англ.) Логическое объединение контейнеров.

  • @paleface_brother
    @paleface_brother Рік тому

    Позволю себе поправить Владимира (если я ошибаюсь, то поправьте меня 🙂): docker run запускает создание контейнера из образа. docker start запускает уже созданный контейнер.

  • @ManticoreRoko
    @ManticoreRoko Рік тому

    Суперский материал. Хотелось бы больше подобного контента и желательно в GreenPlum

  • @KobaltMetal
    @KobaltMetal Рік тому

    Плюсую, все подробно и внятно без воды

  • @romixweb
    @romixweb Рік тому

    Скажите пожалуйста, создание курса еще не закончено и будут добавляться новые видео?

    • @DataCourse
      @DataCourse Рік тому

      Здравствуйте! Сейчас выложено 8 занятий - пока на этом мы курс завершили.

  • @filippov70
    @filippov70 Рік тому

    я очень часто сталкиваюсь с тем, что входные параметры именуются с префикса "p_" и без указания имени функции, например, p_inventory_id. А в PL/pgSQL'ных функциях локальные перемененные с префиксом "l_", типа local'ные