- 114
- 178 481
Владимир Амелин
Приєднався 6 тра 2007
Собираем pipeline. Схема инженерии данных. Часть 4. Связываем AirFlow и AirByte.
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ
Инструкция: airbyte.com/tutorials/how-to-use-airflow-and-airbyte-together
Итоговый набор файлов: disk.yandex.ru/d/580Z5F6oPMYbgQ
Презентация с краткой инструкцией:
docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing
Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/+A6_pJhDS2Tc5ZjIy
Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Инструкция: airbyte.com/tutorials/how-to-use-airflow-and-airbyte-together
Итоговый набор файлов: disk.yandex.ru/d/580Z5F6oPMYbgQ
Презентация с краткой инструкцией:
docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing
Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/+A6_pJhDS2Tc5ZjIy
Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Переглядів: 446
Відео
Собираем pipeline. Схема инженерии данных. Часть 3. Объединяем компоненты в один docker-compose файл
Переглядів 44510 місяців тому
Материалы с занятия: disk.yandex.ru/d/f4lbcXiyprVaAQ Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Собираем pipeline. Схема инженерии данных. Часть 2. Разворачиваем AirByte в Docker на Windows.
Переглядів 55510 місяців тому
В данном видео представлена инструкция установки ПО для работы с Docker в ОС Windows. Мы устанавливаем: Hyper-V: learn.microsoft.com/ru-ru/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v WSL 2: wsl install wsl list wsl install -d Ubuntu-22.04 Windows Terminal: www.microsoft.com/store/productId/9N0DX20HK701?ocid=pdpshare Docker Desktop: www.docker.com/products/docker-desktop/ Запуск...
Собираем pipeline. Схема инженерии данных. Часть 1. Разворачиваем AirByte + ClickHouse + PostgreSQL
Переглядів 1,6 тис.11 місяців тому
Презентация с краткой инструкцией: docs.google.com/presentation/d/1efSzbHETzGDKQvmTqujf7ptqLRn4Tb5IZvoaDm5zdOI/edit?usp=sharing Добавляйтесь в чатs в телеграме t.me/datalearnclub и t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Real-time аналитика. Часть 1. Разворачиваем и запускаем первый поток в Apache Storm.
Переглядів 58311 місяців тому
В теории знакомимся с тем, что отличает инструменты для real-time аналитики от инструментов для обычной аналитики. Проходим процесс установки необходимого ПО и запуска Apache Storm, а также сборки и разворачивания учебного проекта. Добавляйтесь в чатs в телеграме t.me/ A6_pJhDS2Tc5ZjIy и t.me/datalearnclub Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Kubernetes. Знакомство с возможностями. Разворачивание приложения в minikube.
Переглядів 60611 місяців тому
Ссылка на презентацию docs.google.com/presentation/d/1y5rfokk5a_ypaNpD-Gz3ah-Bk8m-bJVj3lhsQQmlGHM/edit?usp=sharing Все занятия и домашние задания курса по Docker тут itempuniversity.com/course/view.php?id=669 Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Подписывайтесь на канал с новостями в телеграме t.me/dwhlearn
Введение в Docker с 0. Занятие 7. Запуск postgres master + replication. Запуск локального реестра.
Переглядів 164Рік тому
1. Запуск в 2 контейнерах основного сервера и репликации PostgreSQL. 2. Простой запуск локального реестра образов Docker. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-...
Введение в Docker с 0. Занятие 8. Старт контейнера с postgreSQL с предустановленными данными
Переглядів 113Рік тому
1. Создание образа и разворачивание из него контейнера с PostgreSQL с предустановленными данными. 2. Сравнение ENTRYPOINT и CMD часть 2. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/g...
Введение в Docker с 0. Занятие 6. Прием оптимизации времени сборки образа. ENTRYPOINT vs CMD.
Переглядів 129Рік тому
1. Как посмотреть команды, с помощью которых был построен каждый слой? 2. Оптимизация времени сборки образа 3. Использование в одной Dockerfile нескольких образов. Как это можно использовать? 4. ENTRYPOINT vs CMD. В чем их отличие? 5. Дискуссия: "Какую выбрать оболочку для работы с Docker в ОС Windows?" Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка н...
Введение в Docker с 0. Занятие 5. Мультиконтейнерные приложения. Docker Compose, Docker Network.
Переглядів 153Рік тому
Настройка взаимодействия между контейнерами, с помощью добавления их в одну сеть (Network). Разворачивание и остановка всех контейнеров, используемых приложением, одной командой с помощью Docker Compose. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sh...
Какую выбрать стратегию при переход в Дата Инженеры (Data Engineer) из WEB разработки. Дискуссия.
Переглядів 312Рік тому
Открытая дискуссия по вопросу, как осуществить переход в Data Engineering (Инженеры данных) из Web разработки. Сначала изучить курсы, а затем проходить собеседования или сразу постараться устроиться и уже в процессе работы добирать знания.
Введение в Docker с 0. Занятие 4. VOLUME 2 типов. Разворачиваем Postgres с сохранением базы.
Переглядів 200Рік тому
Подключаем VOLUME двух типов. Стартуем контейнер с Postgres с сохранением файлов базы данных. Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адресу github.com/docker/getting-started-app.git Добавляйтесь в чат в...
Введение в Docker с 0. Занятие 3. Меняем и публикуем приложение. Устанавливаем PostgreSQL и MySQL.
Переглядів 213Рік тому
Знакомимся со стандартным процессом разработки приложения с помощью Docker. Публикуем приложение в Docker Hub, а затем разворачиваем во внешнем сервисе. Разворачиваем у себя на компьютере контейнеры с PostgreSQL и MySQL. Ссылка на Play With Docker: labs.play-with-docker.com/?_gl=1*10473iy*_ga*MTE1MDM3MjMzOS4xNjkwODY5Nzky*_ga_XJWPQMJYHQ*MTY5MjMzNTI5MS4yOC4xLjE2OTIzMzU3NTQuNjAuMC4w Все занятия и ...
Введение в Docker с 0. Занятие 2. Упаковываем первое приложение. Разбираем 6 команд в Dockerfile
Переглядів 288Рік тому
Разбираем команды: FROM, WORKDIR, COPY, RUN, CMD, EXPOSE Все занятия и домашние задания курса тут itempuniversity.com/course/view.php?id=669 Ссылка на презентацию docs.google.com/presentation/d/1BBEqgB3Tx_uLKGoaDY5woHBGwgBJfTSJRXQNGxNPF-o/edit?usp=sharing Исходные файлы приложения в git по адрему github.com/docker/getting-started-app.git Добавляйтесь в чат в телеграме t.me/ A6_pJhDS2Tc5ZjIy Под...
Введение в Docker с 0. Занятие 1, ч 2/2. Знакомимся с понятиями Container, Images и с архитектурой.
Переглядів 322Рік тому
Если вы используете Windows, то перед установкой необходимо установить WSL. Инструкция в видео ua-cam.com/video/cNy50Int4Rk/v-deo.html Документация Docker docs.docker.com/get-started/ Скачать Docker docs.docker.com/get-docker/ Клиент Git git-scm.com/downloads IDE Visual Studio Code code.visualstudio.com/ Lightshot app.prntscr.com/ru/ Бесплатный курс по SQL itempuniversity.com/course/view.php?id...
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Переглядів 133Рік тому
Пусть с нуля до устройства тестировщиком. Как подготовился? Как прошел собеседование? Нравится ли?
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Переглядів 889Рік тому
Введение в Docker с 0. Занятие 1, ч 1/2. Знакомимся с понятиями Container, Images и с архитектурой.
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Переглядів 800Рік тому
Курс "Создание хранилища данных". 19 Основы Data Vault, создаем и наполняем основной слой
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Переглядів 861Рік тому
Курс "Создание хранилища данных". 18 Знакомство с Anchor Modeling (якорной моделью)
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Переглядів 871Рік тому
Курс "Создание хранилища данных". 17 Основы Data Vault, создаем таблицы, наполняем staging слой
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Переглядів 3,7 тис.Рік тому
Курс "Создание хранилища данных". 16 Основы Data Vault, создаем первую модель
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Переглядів 1 тис.Рік тому
Курс "Создание хранилища данных". 15 Пример визуализации в PowerBI и модель данных из Yandex Metrika
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Переглядів 675Рік тому
Курс "Процедурный SQL в PostgreSQL" 03. PL/pgSQL часть 1.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Переглядів 652Рік тому
Курс "Процедурный SQL в PostreSQL" 02. Процедуры.
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Переглядів 448Рік тому
Курс "Процедурный SQL в PostreSQL" 01. Функции. Разбор домашнего задания.
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Переглядів 2,5 тис.Рік тому
Курс "Процедурный SQL в PostgreSQL" 01. Функции.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Переглядів 487Рік тому
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Переглядів 535Рік тому
Курс "Процедурный SQL в PostreSQL" 03. Функции в PL/pgSQL. Разбор домашнего задания.
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Переглядів 669Рік тому
Курс "Процедурный SQL в PostreSQL" 04. Временные таблицы в PL/pgSQL.
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.
Переглядів 297Рік тому
Курс "Процедурный SQL в PostreSQL" 02. Процедуры. Разбор домашнего задания.
Емое, как жу круто Вы все объясняете!!! Но у меня есть вопрос (не знаю, почему его никто не задал), как мне в датаВоулт избавиться от дублирования атрибутов? Вот например есть товар, у него категория, миллион товаров, а может относится к трем категориям, в обычной БД я бы просто вынес отдельную сущность "категория" и все )))
Ты просто красавчик, эту тему OTUS 2 часа 11 минут невнятно жевал, а ты за 30 минут доступно объяснил и еще по индексам прошелся, мое уважение!
Кое-как воспринял материал видео-урока, не мог оторваться от увлекательных событий экшн камеры Михаила)))
Очень очень интересно и понятно, думаю многие из нас сэкономили кучу денег на курсы по дата-аналитике🙈 Спасибо Вам большое, Вы делаете большое дело!
Ого, data driven подход в ведении бизнеса!
Огромное спасиб за видео! Сам я с данными работаю уже 14 лет, но последние пару лет немного отстал от жизни: решил что Airflow знаю и больше ничего не надо. А сейчас ещё появился и AirByte - и использование его совместно с Airflow - отличныая практика - очень ускоряет разработку data pipelines!
Отличное видео!
Не могу понять, зачем делать пустые сателлиты на линки, содержащие только атрибуты самого линка
Чудесно звучит ❤ А когда будет продолжение этой темы разговора 😮 ?
все эти манипуляции были проделаны ради того, чтобы новые данные, приходя в Источник, автоматически загружались бы и в Хранилище?
Все по делу и без воды, супер!
Спасибо за урок
"...обрабатывать большие данных с минимальной скоростью..." - может, с "максимальной скоростью"?))
17:39 Clickhouse тоже можно упомянуть
курс очень крутой, и бесплатно. Где подвох?
Да что ж такое. Ни одного нормального видео на русском языке про якорную модель. Здесь вроде информация доступная, но смотреть это мельтешение экрана просто невозможно
Тоже столкнулся с этой проблемой. Если найдешь адекватную информацию - маякни)
А процедур не будет? Хотя бы одну....
Лучший ❤
Это видео сделано для вызова приступа эпилепсии?)
Большое спасибо за видео!
Отличное объяснение
Благодарю!
Zdrastvuyte. Xotel znat est li vozmojnost uchastvovat v prekte po video? Spasibo
Подскажите пожалуйста, где страница курса, чтобы подробности посмотреть, в т.ч. как проходить курс?
здравствуйте! страница курса по ссылке itempuniversity.com/course/view.php?id=622 регистрация на сайте бесплатная, после регистрации курс доступен
Спасибо за видео! А зачем настолько усложнять в исходной дб с типами данных? Почему бы сразу не хранить рейтинги в string, а годы в int2?
Когда будет продолжение
A prodaljenie budet ? do transformaci i BI ?
в этом плейлисте будут будущие видео. пока выложено еще одно. Еще 2 занятия проведены и сняты, но пока не подготовлены к публикации
да, будут трансформации и BI
@@DataCourse благодарю за ответы. Канал и контент очень понравились. Жду продолжения 👍
Da spasibo.
хороший видос
На 18:00 "Если мы запрашиваем очень маленькую долю строк из таблицы..." А откуда он до выполнения запроса знает, какую долю мы запросили? Разве суть запроса не в том, чтобы пересмотреть всё и вернуть запрашиваемое?
В данном случае необходимо обратить внимание на то как работает структура данных индекса b-tree, ну или например как работает бинарный поиск
Для этого в субд есть статистика. Планировщик примерно знает какие данные и в каком объеме находятся в таблице
Точка Ди в пути это unix-стиль наименования папок(каталогов). В unix всё файл же. Это чтобы было понятно, что это directory просто по имени :). Это всё со старых времён осталось и не относится к PostgreSQL
Я делал так: ARG filename="popddb_prepare.sql" ADD $filename /docker-entrypoint-initdb.d/ ARG filename="popddb.sql" ADD $filename /docker-entrypoint-initdb.d/ Запускается в контейнере в порядке загрузки файлов в ADD
На превью представлена stacked control plane архитектура. Что очень распространено, но сложно назвать это продакшн решением.
Terminal в VS Code - это по умолчанию виндовский терминал, а bash появляется на выбор после установки git или node.js
А чем под отличается от ноды?
Нода - это компьютер/машина. Под - это то, в чем контейнер запускается. На одной ноде (на одном компьютере) может быть запущено несколько подов
@@DataCourse Спасибо.
*Pod* - стручок, кокон (англ.) Логическое объединение контейнеров.
Позволю себе поправить Владимира (если я ошибаюсь, то поправьте меня 🙂): docker run запускает создание контейнера из образа. docker start запускает уже созданный контейнер.
Да, все верно
Суперский материал. Хотелось бы больше подобного контента и желательно в GreenPlum
Плюсую, все подробно и внятно без воды
Скажите пожалуйста, создание курса еще не закончено и будут добавляться новые видео?
Здравствуйте! Сейчас выложено 8 занятий - пока на этом мы курс завершили.
я очень часто сталкиваюсь с тем, что входные параметры именуются с префикса "p_" и без указания имени функции, например, p_inventory_id. А в PL/pgSQL'ных функциях локальные перемененные с префиксом "l_", типа local'ные