MICROSOFT FABRIC: Entendendo o DATA LAKEHOUSE na prática (Engenharia de dados)
Вставка
- Опубліковано 1 сер 2024
- Neste vídeo, você aprenderá passo a passo como utilizar o Lakehouse no Microsoft Fabric para armazenar todos os seus dados em um único lugar.
Você aprenderá como importar informações estruturadas de um banco de dados, criar arquivos semiestruturados e não estruturados dentro do seu Lakehouse, e criar um pipeline para ler esses arquivos e armazenar determinadas informações.
Além disso, aprenda como utilizar esses arquivos dentro do Power BI, tornando a análise de dados ainda mais poderosa.
Túlio Amaral, Consultor Power Platform e Business Intelligence na Niteo, compartilha as melhores práticas para um Lakehouse no Microsoft Fabric. Não perca essa oportunidade de aprimorar sua análise de dados e obter insights valiosos para sua organização.
Baseado em SaaS, o Fabric integra vários serviços da Microsoft, como Power BI, Azure Synapse e Azure Data Explorer, para centralizar a gestão dos dados e treinar modelos de IA exclusivos da organização. Integração, segurança e simplicidade resumem esta nova tecnologia, com funcionalidades que atendem aos principais propósitos de negócios.
00:00 Introdução
00:24 O que é um Lakehouse
02:30 Importar e gerenciar dados
11:40 Como utilizar os dados
17:30 Como utilizar dados no Power BI
❤️🔔 Deixe seu like, inscreva-se no canal e ative o sininho para receber mais conteúdos como este.
📌 ACOMPANHE
🔹 Playlist: • Niteo Learning
🔹 Instagram: / niteolearning
🔹 LinkedIn: / niteolearning
🔹 Blog: bit.ly/3XDmVU5
📌 APRENDA
➡️ Cursos para turmas empresariais: niteolearning.com/cursos/powe...
Sobre a Niteo Learning 👇
Somos uma escola de tecnologia desenvolvida pela Niteo, que nasceu para suprir a crescente necessidade de treinamentos para empresas que buscam trabalhar melhor os seus dados, principalmente para a geração de insights que resultam em tomadas de decisões mais assertivas.
Atualmente, são mais de 1.700 profissionais treinados e mais de 150 empresas atendidas. Nossos cursos corporativos são totalmente voltados para negócios, como Power BI, Python, Dax, Microsoft 365, Azure e Power Platform (Low-code), e ministrados por instrutores com experiência prática em projetos.
#microsoftfabric #lakehouse #microsoft - Наука та технологія
Bom dia. Ótimo vídeo. Você tem algum curso voltado a criação de Data Lakehouse no Fabric?
Oi, tudo bem? Que bom que você gostou do nosso conteúdo. Obrigado pelo comentário
Nossos cursos são para turmas corporativas. O Microsoft Fabric ainda está na versão prévia e estamos formando o time de instrutores para o curso. Caso você e sua empresa tenham interesse em fazer esse treinamento, temos uma proposta para você.
Entre em contato conosco no WhatsApp: bit.ly/44yvHWk
Qual a diferença entre um Dataflow e Pipeline, porque pelo que vi, ambos fazem ingestão de dados do Lekehouse. Existe diferença entre usar um ou outro ?
Olá, tudo bem? A diferença entre eles:
Dataflow é uma ferramenta usada para a preparação e transformação de dados, onde você pode criar e reutilizar fluxos de dados para limpeza, transformações e agregações, centralizando a lógica de preparação em uma fonte única. Isso facilita a manutenção e consistência dos processos de preparação de dados em vários conjuntos de dados e relatórios.
Pipeline, por sua vez, é uma ferramenta para automatizar o movimento e a transformação de dados entre diferentes fontes e destinos. É usado principalmente para criar fluxos de trabalho de ETL (Extração, Transformação e Carga), permitindo que os dados sejam extraídos, transformados conforme necessário e carregados em destinos específicos de maneira programada e sequencial. Isso ajuda na automatização de processos de atualização e manutenção de conjuntos de dados, garantindo a consistência e a integridade dos dados utilizados nos relatórios.
Olá, achei interessante o data lakehouse. Mas eu uso os dados do Power Bi de uma forma diferente, quando eu crio um relatorio ou dashboard, eu primeiro crio um Fluxo de Dados, no qual utilizo um script em SQL para pegar apenas as colunas que me interessa no banco, ou eu faço uma limpeza previa nos dados através de um WHERE. Logo após ter o fluxo pronto, eu conecto uma Base de Dados a esse Fluxo, igual você fez ao clicar em Obter Dados e entrar no LakeHouse, já na Base de Dados eu faço o ETL, e é nela que eu crio as medidas e calculos para o relatório, e por fim a dashboard.
Dessa forma, minha pergunta é, qual seria exatamente a diferença entre o LakeHouse e o Fluxo de Dados??? Pois eu posso estar enganado, mas não seria mais ou menos a mesma coisa???
Olá Felipe, tudo bem?
Tanto um Lakehouse quanto um Fluxo de dados desempenham papéis parecidos dentro do ecossistema da Microsoft, mas a principal diferença está na escalabilidade e uso de cada um. A principal diferença é que um Data Lakehouse, no contexto do Power BI, é uma arquitetura que combina os vastos recursos de armazenamento de um Data Lake com as funcionalidades de gerenciamento de um Warehouse, permitindo análise avançada em grandes volumes de dados.
Já um Fluxo de Dados (Dataflow) no Power BI é uma ferramenta de ETL na nuvem que facilita a ingestão, limpeza, transformação e carregamento de dados para preparação antes da análise. Enquanto o Data Lakehouse é sobre a infraestrutura de dados em larga escala, o Fluxo de Dados é sobre a preparação específica de dados para uso no Power BI.