For now that's all about Azure Databricks. I might revisit it during streaming but other than that I don't plan to record additional episodes for this course. However, once the core part for the exam is ready, I might record something.
Hej Piotr, mam kilka pytan:) 1. Zalozmy nastepujace scenario: Mamy dwa endpointy w API: - api/v2/games - zwraca wszystkie mozliwe mecze - api/v2/games/{game_id} - zwraca wiecej informacji na temat meczu o danym {game_id} Aby pobrac wszystkie mecze z drugiego endpointu musze najpierw pobrac wszystkie mecze z pierwszego endpointu i pozniej zapetlic. Pytanie, czy najpierw dumpuje dane z pierwszego endpointu do ADLSg2 i dopiero potem robie lookup i loopuje wszystkie id z pierwszego endpointu uzywajac drugiego endpointa? Czy moze da sie to zrobic w jednym flow gdzie dane pobrane z pierwszego endpointa automatycznie sa przekazane do aktywnosci, ktora pobiera endpoint drugi, w petli? 2. Powiedzmy, ze uporalem sie z pierwszym problemem i pobralem wszystkie mozliwe mecze do tej pory. Ale chcialbym je aktualizowac. Chcialbym, zeby pobieraly sie tylko mecze z ostatniego miesiaca. I te ktora sa nowe byly dodawane, a te ktory juz byly w bazie aktualizowane. Wiem, ze istnieje cos takiego jak hard-restore i incremental-restore. I pytanie czy to wystepuja dopiero na etapie transformacji czy da rade to zrobic na etapie pobierana danych?
1. Zaciągania danych bym w ogóle nie robił w data flow, tylko poprzez pipeline'y. Do Ciebie należy decyzja, czy najpierw chcesz zrzucić wszystkie games na ADLSa i potem po nich iterować, czy to robić od razu. Oba warianty da się zaimplementować. 2. To zależy od API, czy umożliwia Ci pobranie danych tylko z ostatniego miesiąca. Jeżeli nie, to za każdym razem musisz ciągnąć wszystko i potem w przetwarzaniu decydować, czy trzeba je update'ować czy dodawać.
@@TybulOnAzure Hi Peter, what subjects are yet to be done for the exam? Unfortunately I need to learn from other courses, but I will for sure be back here every Tuesday:)
Geeat to see new videos coming! I hope you'll continue even beyond this course. I really like learning data enginneeing from you
Thanks! Probably I will continue recording videos but for sure I will need a short break
Great content to learn about data flows..!! Thanks Piotr for this great series.. waiting for your next!!
Thanks! The next episode is already recorded and will be released on Tuesday.
This was a fun activity. Thanks
Thank you for this series Sir! I have a question though...what percentage of the course was covered so far by the videos?
About 80% is covered
@@TybulOnAzure thank you for answering!
More on databricks please ❤😊
For now that's all about Azure Databricks. I might revisit it during streaming but other than that I don't plan to record additional episodes for this course.
However, once the core part for the exam is ready, I might record something.
Hej Piotr, mam kilka pytan:)
1. Zalozmy nastepujace scenario:
Mamy dwa endpointy w API:
- api/v2/games - zwraca wszystkie mozliwe mecze
- api/v2/games/{game_id} - zwraca wiecej informacji na temat meczu o danym {game_id}
Aby pobrac wszystkie mecze z drugiego endpointu musze najpierw pobrac wszystkie mecze z pierwszego endpointu i pozniej zapetlic.
Pytanie, czy najpierw dumpuje dane z pierwszego endpointu do ADLSg2 i dopiero potem robie lookup i loopuje wszystkie id z pierwszego endpointu uzywajac drugiego endpointa?
Czy moze da sie to zrobic w jednym flow gdzie dane pobrane z pierwszego endpointa automatycznie sa przekazane do aktywnosci, ktora pobiera endpoint drugi, w petli?
2. Powiedzmy, ze uporalem sie z pierwszym problemem i pobralem wszystkie mozliwe mecze do tej pory. Ale chcialbym je aktualizowac.
Chcialbym, zeby pobieraly sie tylko mecze z ostatniego miesiaca. I te ktora sa nowe byly dodawane, a te ktory juz byly w bazie aktualizowane.
Wiem, ze istnieje cos takiego jak hard-restore i incremental-restore. I pytanie czy to wystepuja dopiero na etapie transformacji czy da rade to zrobic na etapie pobierana danych?
1. Zaciągania danych bym w ogóle nie robił w data flow, tylko poprzez pipeline'y. Do Ciebie należy decyzja, czy najpierw chcesz zrzucić wszystkie games na ADLSa i potem po nich iterować, czy to robić od razu. Oba warianty da się zaimplementować.
2. To zależy od API, czy umożliwia Ci pobranie danych tylko z ostatniego miesiąca. Jeżeli nie, to za każdym razem musisz ciągnąć wszystko i potem w przetwarzaniu decydować, czy trzeba je update'ować czy dodawać.
How many more videos are you going to post for data engineering azure certification😢
Around 10
@@TybulOnAzure
Hi Peter, what subjects are yet to be done for the exam? Unfortunately I need to learn from other courses, but I will for sure be back here every Tuesday:)
Not much is left: Synapse SQL, streaming and Purview.