Михаил Благов - Эволюция схемы данных. Носим данные из реляционной СУБД в Hadoop
Вставка
- Опубліковано 14 жов 2024
- Подробнее о конференции SmartData: jrg.su/aTWU2K
- -
Скачать презентацию с сайта SmartData - jrg.su/FD7Epx
Знакома ли вам такая ситуация: построили замечательный ETL, витрины и красивые дашборды. На очередной отчетной встрече о работе вашей компании докладчик открывает дашборд, а там вместо графиков красные буквы (в лучше случае) или драматическое снижение ключевых показателей. Все охают, хватаются за сердце, а вы понимаете, что кто-то просто обновил продуктивную систему, не предупредив отдел отчетности... В докладе - про эволюцию схемы реляционных данных. Как не сломать downstream своими обновлениями, как защититься от ломающих обновлений в upstream системе. Стек: Hadoop, Spark. Форматы: Avro, Parquet, ORC. И немного про схемы и технологии их обновления.
elt on spark ? did you hear about informatica or similar products?
It's stupid to write etl with select * from table and then with a wise face prove different life hacks of consequences resolution 😂