Big Data Masters
Big Data Masters
  • 13
  • 111 891
INTRODUÇÃO à CLOUD COMPUTING para Engenheiro de Dados + Hands On no Microsoft Azure
Fala pessoal! No vídeo hoje eu vou te dar uma INTRODUÇÃO à CLOUD COMPUTING para Engenheiro de Dados + Hands On no Microsoft Azure!! Atualmente com a explosão da engenharia de dados, dominar ou pelo menos conhecer o básico de computação em nuvem (cloud computing) é essencial para garantir seu lugar no mercado à longo prazo.
Não basta apenas te introduzir os conceitos sobre cloud computing, nesse vídeo também irei te mostrar como criar sua conta de GRAÇA e subir uma instância de banco de dados Postgres no Microsoft Azure, uma das maiores provedoras de cloud do MUNDO!
Ta preparado para o melhor? Durante a explicação eu solto diversos insights e exemplos da vida REAL, com foco TOTALMENTE em ENGENHARIA DE DADOS.
# LINKS PARA AULA
Criar Conta no Azure: azure.microsoft.com/pt-br/free/
Download Slides: shorturl.at/nFU23
# REDES SOCIAIS
Instagram: @bigdatamasters
Comunidade Discord: Link na BIO no Instagram
LinkedIn: linkedin.com/in/vitor-henrique97/
Переглядів: 2 887

Відео

O que você PRECISA SABER para ser ENGENHEIRO DE DADOS JR *Na visão dos Especialistas*
Переглядів 20 тис.3 роки тому
O que você PRECISA SABER para ser ENGENHEIRO DE DADOS JR *Na visão dos Especialistas*. Sabemos hoje que existem muito mais vagas de Engenheiro de Dados no mercado do que pessoas realmente qualificadas para tal. Pensando nesse tema, eu perguntei à 7 colegas da minha rede de Networking, os quais estão 100% na linha de frente atuando como Gestores ou Líderes Técnicos nessa área de Engenharia de Da...
Disk Partition | Como Otimizar seu LakeHouse | PySpark + Databricks
Переглядів 3,5 тис.3 роки тому
Disk Partition | Como Otimizar seu LakeHouse | PySpark Databricks Não basta apenas utilizar ferramentas as melhores ferramentas do mercado. É preciso domina-las. Nesse vídeo irei mostrar como otimizar as tabelas em seu LakeHouse na prática usando a estratégia de Particionamento, mais conhecida como Disk Partitioning. E a melhor parte vem agora: Irei te ensinar a fazer isso usando uma das melhor...
Como Ler Arquivos CSV usando Databricks + PySpark - Iniciante
Переглядів 9 тис.3 роки тому
Como ler arquivos CSV usando Databricks Pyspark. Arquivos CSV são largamente utilizados pelas empresas assim como a plataforma Databricks. Nesse vídeo eu vou te contar o que são essas tecnologias, onde são utilizadas nos projetos, porquê você deve domina-las e como fazer tudo isso na PRÁTICA! Gostou do vídeo? Deixa seu like e se inscreva no canal!! Siga-nos nas redes sociais: Instagram: @bigdat...
OS 5 PASSOS PARA ORGANIZAR SEU DATALAKE | Data Engineering
Переглядів 8 тис.3 роки тому
Já imaginou buscar um livro em um biblioteca totalmente desorganizada? Provavelmente você ia gastar mais tempo procurando pelo livro do que realmente lendo. No mundo corporativo, empresas estão cada vez mais criando suas próprias "bibliotecas" de dados e informações, para gerar vantagem competitiva. Os Datalakes, como são chamados, têm se tornado cada vez mais importantes, uma vez que vivemos n...
DO BANCO RELACIONAL AOS DATALAKES | ENTENDA COMO TUDO ISSO ACONTECEU | PARTE 1 | Big Data Masters
Переглядів 1,6 тис.3 роки тому
Que o conceito de Datalake revolucionou a àrea de dados e Big Data isso você já sabe. Mas será que você conhece e entende a história e trajetória por trás dos Lakes? Nesse vídeo nós vamos voltar no tempo e explicar TUDO, desde os bancos de dados relacionais até a criação do Datalake House. Esse vídeo é a parte 1 da história. Deixa seu like e se inscreva pois em breve soltaremos a parte 2. Redes...
EP 001: De Atendente de Telemarketing à Engenheiro de Dados | Big Data Masters Cast
Переглядів 8073 роки тому
Nesse episódio eu converso com o Willian Cavalcanti de 24 anos, mais conhecido como Will, ex atendente de telemarketing e hoje mesmo sendo um Júnior, já é um dos principais pilares de Engenharia de Dados e Big Data da consultoria onde trabalha. Link do Podcast: anchor.fm/bigdatamasterscast Link no Spotify: open.spotify.com/episode/5zwRWSnPAxPtOmQsajSZqa Segue a gente nas redes sociais! Instagra...
A MELHOR FERRAMENTA DE ETL PARA ENGENHEIRO DE DADOS | Azure Data Factory
Переглядів 22 тис.3 роки тому
Nesse vídeo irei apresentar uma das melhores ferramentas de ETL do mercado de Big Data | Engenharia de Dados. O Data Factory é um serviço codeless gerenciado pela Microsoft Azure, completo e intuitivo, o qual permite a conexão em de 80 fontes de dados diferentes! Não é preciso programar! Contexto: Uma das principais tarefas de um Engenheiro de Dados é a realização de ETL (Extract Transform and ...
CARREIRA EM ENGENHARIA DE DADOS | TUDO QUE VOCÊ PRECISA SABER
Переглядів 12 тис.3 роки тому
A Engenharia de dados hoje é uma das profissões mais quentes e promissoras do mercado de Tecnologia/Dados. Nesse vídeo eu falo EXATAMENTE o que um INICIANTE precisa saber sobre essa área e o que eu faria se tivesse que começar DO ZERO HOJE. Dentre os temas abordados estão: - Surgimento da Profissão "Engenheiro de Dados" - Funções de um Engenheiro de Dados - A Importância de um Engenheiro de Dad...
ETL com os Dados da ZAP Imóveis utilizando Databricks e Azure DataLake Gen 1 | #ETLHandsOn01
Переглядів 23 тис.4 роки тому
Fala Engenheiro(a)s de Dados! No vídeo de hoje iremos demonstrar as atividades de um Engenheiro de Dados na prática, através de um mini projeto de ETL, realizando as principais etapas como: provisionamento de recursos em nuvem, ingestão de dados, limpeza e disponibilização para consumo. Iremos construir esse projeto utilizando recursos de computação em nuvem, tais como Azure DataLake Gen 1 (Sto...
Azure Cosmos DB - Melhores Práticas | Big Data Masters
Переглядів 2,5 тис.4 роки тому
Fala Engenheiro(a)s de Dados! No vídeo de hoje falaremos mais a respeito do Azure Cosmos DB, uma solução de NoSQL gerenciado pela Microsoft Azure, o qual tem como principal proposta ser Globalmente Distribuído e Multi Modelo, como Chave-Valor (Key-Value), Documentos, Grafos e Família de Colunas (Wide Column). Quer saber como otimizar seu Cosmos DB, atingindo alta performance ao mesmo tempo que ...
TOP 5 LINGUAGENS PARA ENGENHEIROS DE DADOS | Big Data Masters
Переглядів 2 тис.4 роки тому
Quer saber quais são as top 5 linguagens para te ajudar nas tarefas de engenheiro de dados? Não sabe em qual linguagem investir? Nesse vídeo falaremos um pouco mais a respeito de Java, Python, Scala dentre outras linguagens que com certeza farão toda diferença na sua carreira. Aproveita e acompanha a gente nas redes sociais! Instagram: bigdatamasters
Introdução ao Delta Lake + Apache Spark
Переглядів 4,9 тис.4 роки тому
Fala galera! Tudo bom? Hoje nos viemos mostrar para vocês um dos projetos mais promissores atualmente, o Delta Lake. O objetivo desse vídeo é te ensinar e deixar você 100% confortável com todas as features desse projeto. Link do Dataset utilizado : www.kaggle.com/karangadiya/fifa19 Apache Spark: 2.4.4 Delta Lake: 0.4.0 Infelizmente não consegui exportar meu notebook criado no Apache Zeppelin, d...

КОМЕНТАРІ

  • @eltoncarvalho435
    @eltoncarvalho435 16 днів тому

    Conteúdo do Resumo ### Pontos Principais - O que você PRECISA SABER para ser um ENGENHEIRO DE DADOS JR. [0][1][2][3] - Soft Skills importantes para engenheiros de dados juniores, como autonomia, trabalho em equipe e comunicação. [1][2] - Habilidades técnicas obrigatórias e desejáveis para engenheiros de dados juniores, como conhecimento em Datalakes, ETL, SQL e computação em nuvem. [2][3]

  • @fernandocfti
    @fernandocfti Місяць тому

    Ótimo conteúdo.

  • @RafaelSFTech
    @RafaelSFTech 2 місяці тому

    Tira essa musica de fundo, por favor

  • @aliamirdib7864
    @aliamirdib7864 5 місяців тому

    Muito bom! Cara, existe um método dentro do databricks para extrair uma base de dados SQL para um arquivo xlsx? seria um vídeo bom de fazer

  • @MarcosAntonio-vz5vv
    @MarcosAntonio-vz5vv 5 місяців тому

    Importante irmão, é que o engenheiro faz toda a parte da infraestrutura.

  • @frankribeiroandrade4940
    @frankribeiroandrade4940 6 місяців тому

    Show! Parabéns!

  • @bruhlickd
    @bruhlickd 7 місяців тому

    Ok, mas não se pode fazer tudo isso em Sql server + python normalmente?

  •  9 місяців тому

    Muito bom conteúdo, parabéns!

  • @iaradejesus7265
    @iaradejesus7265 9 місяців тому

    estou ainda aprendendo bi pelo senac .Mais gostei do seu conteúdo, muito obrigada

  • @WillianRafacho
    @WillianRafacho 10 місяців тому

    Boa aula!

  •  10 місяців тому

    Quero mais vídeos desse irmão, muito bom, parabéns

  • @MrGhustavo22
    @MrGhustavo22 10 місяців тому

    Resumo do Vídeo: O vídeo é uma introdução ao Delta Lake e ao Apache Spark, abordando suas funcionalidades e como utilizá-los em conjunto para resolver problemas de processamento distribuído de big data. - 00:01 Neste vídeo, o palestrante faz uma introdução ao Delta Lake e ao Apache Spark, explicando como essas tecnologias se complementam. - 05:00 Este vídeo mostra como instalar o Delta Lake com o Apache Spark em seu ambiente e como importar o pacote "delta" para sua aplicação. - 10:02 Delta Lake é um tipo de dado muito utilizado para leitura e escrita, sendo mais rápido e permitindo armazenar dados com esquemas complexos. - 15:01 O Delta Lake possui recursos como verificação de esquema e evolução de esquema para garantir a qualidade e consistência dos dados. - 20:04 O Delta Lake resolve o problema de atributos nulos, permite fazer updates e deletes em nível de linha e é necessário usar o pacote Delta para isso. - 25:04 A atualização de registros na tabela Delta Lake pode ser feita usando o método "merge", e é possível especificar as colunas que serão atualizadas. - 30:05 Delta Lake tem um período de retenção padrão de 30 dias, mas pode ser configurado para períodos maiores ou menores. - 35:06 Este trecho explica como usar o Delta Lake com o Apache Spark e como especificar sua própria lógica para cada micro batch. Gerado por Monica AI. Adquira o seu agora! 👉 monica.im?r=480529

  • @josecarlossantos7673
    @josecarlossantos7673 Рік тому

    Excelente conteúdo, mas fiquei com uma duvida. É possível carregar uma arquivo csv num Databrics corporativo que eu tenho acesso, mas que o arquivo esteja visível apenas para mim? como seria isso?

  • @brunobob01
    @brunobob01 Рік тому

    Teve a parte 2?

  • @ricardosoares9343
    @ricardosoares9343 Рік тому

    Excelente!!!

  • @Gabriel-iq2vf
    @Gabriel-iq2vf Рік тому

    O dataset não existe mais... Podia atualizar o link

  • @renatodeassismacedo6000
    @renatodeassismacedo6000 Рік тому

    Sou analista de suporte computacional em desktop e cloud, com essa experiência eu consigo chegar mais rápido nesse patamar?

  • @edsonteixeira6057
    @edsonteixeira6057 Рік тому

    show..show...show..obrigado.

  • @supernovaloja9005
    @supernovaloja9005 Рік тому

    Música muito alta

  • @Rodrigo-zn7vc
    @Rodrigo-zn7vc Рік тому

    Precisa ser um genio em matemática ? Ou so precisa saber o mínimo ?

  • @gabrielfigueiredo6037
    @gabrielfigueiredo6037 Рік тому

    na primeira vez que vi o vídeo eu desisti pq não estava entendendo NADAA, se passou 1 ano e finalmente tenho bagagem o suficiente pra entender

  • @wesleyrodrigues4835
    @wesleyrodrigues4835 Рік тому

    @BigDataMaster teria como apos exportar os dados, deletar os dados da origem?!

  • @marcosmoreira6320
    @marcosmoreira6320 Рік тому

    Boas dicas. Tô começando na carreira de dados. Obrigado, Maycon do Corinthians!

  • @aleoliveira2975
    @aleoliveira2975 Рік тому

    FIquei com duvida em relação ao pagamento, posso rodar 1000 pipelines gratuitamente ? Tipo posso usar todos os componentes do ADF e um banco de 5gb pelo menos e não serei cobrado por isso? Se puder explicar melhor eu agradeço. Aguardo retorno e obrigado pelo video, conteudo excelente...parabéns.

  • @jeanscheffel
    @jeanscheffel Рік тому

    Da Hora!

  • @washingtonholandadeoliveir4784

    Gostaria de dar os parabéns pelo vídeo! Vi que já faz 1 ano desde o último vídeo no canal e queria dizer que seu conteúdo é ótimo e espero que volte a gravar mais vídeos sobre a área. Estou desenvolvendo meu TCC da faculdade na área e esse vídeo foi uma porta de entrada pra eu começar a entender melhor o assunto e me aprofundar mais no meu tema! Muito obrigado pelo vídeo, de coração, tenho ctz que muitos assim como eu compreenderam um pouco melhor o assunto graças aos seus vídeos!

  • @BandaParadaNoturna
    @BandaParadaNoturna Рік тому

    muito bom, parabens.

  • @rvian4
    @rvian4 Рік тому

    Ótimo vídeo! Seria ótimo um desse para plenos

  • @rvian4
    @rvian4 Рік тому

    Seus vídeos são excelentes! Pensa em voltar a fazer eles?

  • @marcossamuel8764
    @marcossamuel8764 Рік тому

    Ótimo material! Simples, direto ao ponto e bem completo! Obrigado1

  • @annylima1050
    @annylima1050 Рік тому

    Qual link pra baixar?

  • @mayarareg0
    @mayarareg0 Рік тому

    Oie, e a parte 2???

  • @mayarareg0
    @mayarareg0 Рік тому

    Maravilha seus vídeos, sou iniciante no assunto e gosto muito de entender o histórico.

  • @wesleyvalvassori1635
    @wesleyvalvassori1635 Рік тому

    Pq vc nao usou Kettle pra fazer tudo isso?

  • @joaosalero9797
    @joaosalero9797 Рік тому

    Tem o Data Science Academy, que é brasileira e mais "ok" $$$

  • @guilhermearaujo3358
    @guilhermearaujo3358 Рік тому

    Que vídeo TOP . Parabéns !

  • @nilbezerra1303
    @nilbezerra1303 Рік тому

    Muito obrigado pelas dicas! Foram muito importantes para mim. Senti falta do Coursera. Estou estudando por esta plataforma e estou gostando muito.

  • @dtsleite
    @dtsleite Рік тому

    Mais um inscrito, ajudou muito!

  • @joaovitor12full
    @joaovitor12full Рік тому

    vídeo necessário. Obrigado!!

  • @philipeharaguti
    @philipeharaguti Рік тому

    Excelente aula!! Obrigado e sucesso!!

  • @patriciadelima_
    @patriciadelima_ Рік тому

    Ótima didática!

  • @mauriciomodestotoscanbrand7008

    Obrigado

  • @mauriciomodestotoscanbrand7008

    Muito obrigado !

  • @stephanieferreira7037
    @stephanieferreira7037 Рік тому

    Obrigada pelo excelente conteúdo! Não costumo comentar, mas queria deixar meus super obrigada pelo conteudo! Estou na governança de dados e ja estou migrando para engenharia de dados. Tou estudando para as qualificações que vc citou no Must to have. Alguma dica para conseguir fazer a transição internamento na propria empresa sem precisar candidatar p outra empresa na vaga que quero de engenherira?

  • @stephanieferreira7037
    @stephanieferreira7037 Рік тому

    Nossa, excelente canal! Nem acredito que aprendi mais do que aprendi em semanas na pratica. Pena não poder curtir varias vezes! Obrigada pelo conteúdo!

  • @viniciustrampo2439
    @viniciustrampo2439 2 роки тому

    Alguém sabe se eu consigo mudar o ID de uma pipeline?

  • @anasaravia9397
    @anasaravia9397 2 роки тому

    Parabéns pelo vídeo, mto esclarecedor e didático!

  • @joao.megale
    @joao.megale 2 роки тому

    Boa muito rico o vídeo !

  • @levialberto4379
    @levialberto4379 2 роки тому

    Parabéns pelo vídeo. Spark é tão foda cara..amo essa parada.