Методология моделирования данных для хранилища Data Vault
Вставка
- Опубліковано 28 вер 2024
- 🗃 Заглянем в бездонный судук Data Vault и изучим, что там внутри
В новом прямом эфире проекта «Где дата, Зин?» знакомимся с методологией и эволюцией современных аналитических баз данных.
В программе:
- Разберёмся, что такое Data Vault и как он связан с ER (entity-relationship) моделированием.
- Изучим составные части Data Vault: Hub, Link, Satelite.
- Ответим на практические вопросы по Data Vault: размер сателита, сателит на лике, выбор ключей.
- Обсудим нюансы реализации Data Vault в разных СУБД: что где использовать, а что лучше избегать.
Ведущий: Ильяс Сабуров
Докладчик: Николай Голов, Head of Data Platform в ManyChat
🎞 Подключайтесь к нам в прямом эфире на youtube, обязательно задавайте вопросы в чате и участвуйте в обсуждении. Будет жарко!
📅 Четверг, 21.09 в 19:00 (по МСК)
Ссылка на трансляцию придет в нашем боте (t.me/gde_data_..., не забудьте его активировать!
До встречи в прямом эфире!
Жаркий стрим, надеюсь будет продолжение )
Улыбнуло.
"Кто сходу из вас может рассказать про 3ю нормальную форму?" - никто 😂
24:30
Link to Link. Не делайте так никогда! Это очень плохая идея. В этом кейсе создается новый линк между 3мя хабами или рефакторинг старого (если еще не поздно).
Сергею спасибо, в споре рождается истина.
+
Не база, а СУБД ё-моё. Что интересно, только в СНГ путают БД и СУБД. Это совсем разные вещи. Прямо вообще не синонимичны.
Это что, агитация за нормальные формы?.. как в нулевые вернулся. где там моя зачитанная "Ведение в базы данных" Дейта?.. )) .Мущина "переигрывает лицом" лучше просто слушать без портрета.... Дослушал половину. Сколько пафоса. Пойду лучше старые книжки перечитаю.
Спасибо за ваш комментарий! Мы проводим небольшой опрос среди наших подписчиков и очень ценим ваше мнение. Могли бы вы уделить 10 минут на короткий созвон? Это поможет улучшить качество нашего контента. Если у вас будет на это время, мы будем очень признательны. Пожалуйста, напишите нам на d.strekalov@slurm.io или свяжитесь с нами через t.me/DimStrk, чтобы мы могли договориться о возможном созвоне. Заранее спасибо!
Я не понял почему столько времени было уделено сравнению DV и Dimensional modeling. Николай сам подчеркнул что DV это альтернатива проектированию ODS слоя Инмона, а не подходу Кимбала. Из того что я понял преимущество DV в том, что проектирование становится Agile, именно проектирование. Хотелось бы услышать есть ли какие-то преимущества, если они есть, в операционной работе хранилища, уже построенного на DV и Inmon ODS, опуская за скобки вопросы создания и развития модели, здесь все понятно. По ходу дискуссии сложилось впечатление, что сравнивалось красное с квадратным)
Если член измерения не приехал, то факт по нему, попадет в "Нераспределено" , а член измерения останется "Неизвестен" , а когда приедет, то все станет на свои места... Эта проблема давно известна, и каким-то образом решаема.
Николай жгёт) Почаще зовите его)
Интересный выпуск. Плюсую Сергею (нужно было еще спросить как обновлять витрину на примере 46:01). В споре рождается истина и авторитет тут может быть ни при чем. Не нужно рассказывать чем лучше Кимбал/Инмон/DV/AM/AS между собой без контекста, без входящих условий. Так же нужно учитывать, что методология техника моделирования. Рекомендую подготовить вопросы, т.к. вопросов возникло больше чем ответов в этом выпуске и с нетерпением ждем продолжения.
Спасибо за ваш комментарий! Мы проводим небольшой опрос среди наших подписчиков и очень ценим ваше мнение. Могли бы вы уделить 10 минут на короткий созвон? Это поможет улучшить качество нашего контента. Если у вас будет на это время, мы будем очень признательны. Пожалуйста, напишите нам на d.strekalov@slurm.io или свяжитесь с нами через t.me/DimStrk, чтобы мы могли договориться о возможном созвоне. Заранее спасибо!
❤
😂 после DV нужен слой представления данных, а это в 99% звезда-снежинка. DV был придуман и работает только как слой ХРАНЕНИЯ данных. Да и не все там так просто, называется три сущности, а их гораздо больше, и на сложных св,язяхх ты в DV огребешь проблем по самое нехочу. Ну а коллизии на хеш ключах я ловил и не один раз. Теоретики... сразу видно, толком в жизни ни одно ХД не построил.
Колизии на хеш ключах?
Более одного раза?
Иди купи лотерейный билет выиграй миллиард и не пиши хуйню
DV 1.0 хоть и не модно уже, но без хэшей. И да, с хешами не все просто в разных СУБД. В чистом виде DV скорее не используется в DWH, только как детальный слой и с допущениями.
@@talgat1764 я тоже ловил когда то коллизию (кстати, данных было не так уж много). было неприятно