- 47
- 92 153
Rafael Arruda
Portugal
Приєднався 9 вер 2019
O que é Delta, Data Lake e Lakehouse??
Neste vídeo o nosso Instrutor dos Sparkanos, Wallace Camargo, nos explica a diferença de alguns termos técnicos que tem sido cada vez mais comuns nos projetos de Engenharia de Dados como Data Lake, Delta e Lakehouse.
Quer dar os seus primeiros passos com Apache Spark?
Baixe o nosso Ebook:
ebook.sparkanos.com.br/
Assista o Episódio Completo:
ua-cam.com/video/vT_zXXje5ww/v-deo.html
Muito Obrigado.
Time Arruda Consulting.
Quer dar os seus primeiros passos com Apache Spark?
Baixe o nosso Ebook:
ebook.sparkanos.com.br/
Assista o Episódio Completo:
ua-cam.com/video/vT_zXXje5ww/v-deo.html
Muito Obrigado.
Time Arruda Consulting.
Переглядів: 244
Відео
Arruda Cast - EP º01 - Wallace Camago
Переглядів 315День тому
Neste primeiro episódio do nosso Podcast, recebemos o Wallace Camargo, Engenheiro de Dados em Portugal, aonde vive nesse momento. Wallace, também é o Instrutor do nosso projeto dos Sparkanos e autor do nosso Ebook: Instalação Prática do Apache Spark. Nessa conversa descontraida falamos sobre a área de dados e também pudemos conhecer um pouco do Wallace e também da sua História. Espero que goste...
O que é estabilidade pra você na área de TI?
Переглядів 3921 день тому
O que é estabilidade pra você na área de TI?
Estrutura - Projeto Sparkanos
Переглядів 7 тис.Місяць тому
Neste vídeo demonstramos a estrutura que preparamos para os nossos alunos no projeto dos Sparkanos. Tudo que o mercado exige de um Engenheiro de dados em um único lugar. Invista seu tempo em resultados e aprenda a desenvolver um Lakehouse 100% Open Source. Link abaixo: sparkanos.arrudaconsulting.com.br Time Arruda Consulting.
Depoimento - Rafael
Переглядів 35Місяць тому
Nesse vídeo compartilhamos um Feedback incrível do Rafa, nosso aluno dos cursos de Hopbase e também Google Cloud. Quer aprender mais sobre Engenharia de dados então participe do nosso próximo evento que iremos falar sobre Data Lake & Lakehouse com Apache Spark. Link: sparkanoslp.arrudaconsulting.com.br/ Muito Obrigado. Time Arruda Consulting.
Pentaho vs Apache Hop - Mais parecidos que você imagina
Переглядів 1,7 тис.9 місяців тому
Olá, tudo bem contigo? Muito se fala que o Pentaho Data Integration e o Apache Hop são muito parecidos, será verdade? Melhor do que escrever é poder demonstrar, replicamos um mesmo pipeline feito no Pentaho no Apache Hop. Espero que gostem e comentem aqui a opinião de vocês. Muito Obrigado.
Metodologia Canvas - Curso de SQL para Dados - Inscrições até 18/05/2023 - 2ª Turma
Переглядів 2,7 тис.11 місяців тому
Link de Inscrição do Curso: sql.arrudaconsulting.com.br/
Apresentação Curso SQL - Novo Curso da Arruda Consulting - Inscrições até 10/11
Переглядів 1,1 тис.11 місяців тому
Link de Inscrição: sql.arrudaconsulting.com.br/
Metabase Analisando dados agregados e detalhados em segundos
Переглядів 494Рік тому
Aprenda como analisar dados agregados e detalhados em segundos. Gostou? Quer aprender mais sobre Metabase então assista a nossa sobre como criar um BI de forma 100% Gratuita. ua-cam.com/users/liveMMotbMK39jQ Muito Obrigado.
Procv no Pentaho
Переглядів 322Рік тому
Olá, tudo bem contigo? Como replicar o PROCV no Pentaho? Também conhecido como Lookup. É uma estratégia quando precisamos buscar alguma informação entre outra tabela, podemos utilizar o lookup para acessar somente essa informação que precisamos, sem a necessidade de precisar utilizar um Join para isso. Gostou? Então não perca o nosso evento da semana que vem, no dia 08/08 as 19:00. Link: pdiexc...
Automatizando planilhas com Pentaho!!!
Переглядів 1,1 тис.Рік тому
Olá, tudo bem? Neste vídeo demonstramos mais uma abordagem com o Loop, como extrair dados de algumas regiões, por exemplo e gerar um excel por região de forma automática!! Gostou? Gostaria de aprender o passo a passo!!! Então não perca o nosso evento da semana que vem no dia 08/08 as 19:00. Espero vocês lá!! Link: pdiexcel.arrudaconsulting.com.br/?Source_UA-cam&Medium_Organico &Name_Excel_T2&Vi...
Excel + Pentaho + ChatGPT
Переглядів 5 тис.Рік тому
Acredito que muitos aqui já utilizaram o Chat GPT para fazer perguntas, tirarem dúvidas, agora a pergunta e se perguntarmos para o Excel? Como assim? No vídeo abaixo demonstro mais uma automação com Pentaho Data Integration aonde lemos uma pergunta que está dentro de uma planilha e perguntamos para o chat gpt e armazenamos a repostas na mesma planilha. Imagina quantas possibilidades se abrem se...
Integração near real time com Python e GCP
Переглядів 221Рік тому
Integração near real time com Python e GCP
Depoimento - Treinamento Google Cloud - Fernando Souza
Переглядів 1312 роки тому
Depoimento - Treinamento Google Cloud - Fernando Souza
Como Instalar o Pentaho Data Integration & Como Conectar o Pentaho no banco de dados Mysql
Переглядів 8 тис.2 роки тому
Como Instalar o Pentaho Data Integration & Como Conectar o Pentaho no banco de dados Mysql
Melhor explicação que já ouvi sobre Delta Lake. A aula foi sensacional 🎉
Gostei muito do Conteúdo. Sugiro uma live ou vídeo sobre o insight do final, falando sobre os custos com os serviços e as máquinas, como isso se daria. Assim facilitaria para nós termos uma ideia de como seria para poder apresentar como proposta de implementação etc. Valeu demais pelo conteúdo!!
Excelente Sugestão meu amigo!!! já está anotado aqui para temas de futuras Lives!!!
@@arrudaconsulting show!!
Muito bom ! 👏👏👏👏👏
@@ramonnunes3493 obrigado Ramon!!!
Imaginar que estou transitando de carreira, sou DBA, mas aos poucos estou se tornando um engenheiro de dados.
@@wandersonp.medeiros8362 tem uma excelente base Wanderson!!!! Quem atua como DBA, com BI, com Infra tem uma boa base pra migrar pra engenharia!
ótimo programa!!!
Muito Obrigado pelo Feedback!!
Grande conteúdo! Abraço
Obrigado Marcelo!!
Rafael, com certeza, seus conteúdos ajudam e ajudarão muita gente, passei para uma vaga que pedia conhecimentos de pentaho/hop, com seus videos e em breve serei aluno dos Sparkanos! Parabéns e muito obrigado! Dois feras, estou aprendendo muito com os conhecimentos do Wallace também e espero aprender muito mais com vocês!
Que feedback incrível!! Muito feliz que os conteúdos te ajudaram, e será muito bem-vindo nos Sparkanos!! tmj
Foi uma honra poder trocar uma ideia com uma das maiores referências da nossa área!!! Gratidão máxima!!!! Tmj meu brother!!! +1 pra conta!!!
Foi Sensacional meu amigo!!!
Vlw, obrigado pelo ebook e top o podcast!!!🤜🤛
Muito Obrigado pelo Feedback!!!!
@@arrudaconsulting A live do Spark que você mencionou, poderia compartlhar?
@@danilocampana segue o link: Live: Transformando o seu Data Lake em um Lakehouse ua-cam.com/users/liveX8ycsV6_Pdg?feature=share
Top guerreiro
tmj meu amigo!!!
Eu adorei: Estabelicidade é seu conhecimento!
Muito Obrigado meu amigo!! Ainda mais na área da T.I!!!
Pode explicar melhor como funciona isso , de fazer o ao vivo e ganhar o ead . O ao vivo é todas as lives ?
@@rafaelalexandre5411 estamos ao vivo : e vou explicar isso no final da live ua-cam.com/users/liveX8ycsV6_Pdg?si=c3Ax0dKSQDz9u-8S
Sensacional!
Muito Obrigado pelo feedback!!
Excelente conteúdo, Rafael! Valeu por sempre disponibilizar seus conhecimentos.
Obrigado pelo Feedback!!
Rafa, isso é surreal! É muito conteúdo muita coisa boa. E ainda ensina a parte de deploy como mudar o domínio. Esse curso é fantástico. Vale a pena d+
Muito Obrigado por este incrível Feedback meu amigo!!!
Com usar um script python no pentaho?
Usa o step shell, este step tua utiliza no Job.
Dica muito boa... porém a minha consulta é bem complexa e eu precisava do mesmo parâmetro em várias partes da consulta...pelo que vi , não funciona? acho que vou ter que passar ela como coluna e depois usar essa coluna como filtro.
veja o nosso vídeo de Loop aqui no canal para ver se ajuda. Obrigado.
@@arrudaconsulting verei amigo, como estava um pouco sem tempo. Declarei um CTE para receber o valor de ? E depois usei. Uma outra dúvida, eu consigo receber mais de uma coluna da primeira consulta? Tipo ?1 , ?2, ?3...
Dá-lhe Sparkanos!!! Raulllll!!! Raulll!!!
@@wallacecamargo1043 que conteúdo incrível meu amigo!! Sorte dos nossos alunos que irão ter acesso ao que existe de mais moderno no mundo Open Source para engenharia de dados!!!
Está top demais!
@@davila1903 muito obrigado!!!!
Seria ideal utilizar um sc2 na dimcliente e um sc2 na fato com databaselookup comparando as datas date from e date to da dimcliente com a data da fato, e neste mesmo processo utilizar o exemplo da carga incremental com o merge rows(diff) para a fato? A dúvida seria no cenário de gerar um histórico de mudanças do cliente e levar o registro novo do cliente para os novos registros da fato, mas também realizar nesse mesmo processo somente um incremental da fato.
Olha teria que testar, pois em tese a carga incremental irá inserir novos registros ou irá atualizar caso tenham alterações, para adicionar o conceito de dim scd-2 teria que adicionar essa lógica no merge rows diff, para entender que neste cenário é para inserir um novo registro ao invés de atualizar. No nosso curso, temos mais de 20 aulas somente do módulo do DW, aonde ensinamos todos esses conceitos. Espero ter ajudado!!
@@arrudaconsultingObrigado, vou montar um laboratório com todas as possibilidades e testar a melhor opção.
Show de bola Rafael! Agora me surgiu uma dúvida: O que aprender primeiro, Pentaho ou HOP?
Eu vejo ambos como uma coisa só, pois 90% do que se faz em uma ferramenta se faz com outra. Todo o conhecimento que compartilhei nessa live eu aprendi com o Pentaho, para se ter uma ideia, mas se pra quem ta começando eu sugiro começar pelo Hop.
Muito obrigado Mestre!
Estou tendo problema na instalação do Hop, saberia me dizer se funciona com a versão 8 do Java jre? Tenho o Windows 10 instalado na minha máquina e não comporta atualização para o 11.
@@marcelocotinda9486 somente no java 11, uma opção pra ti é fazer ele funcionar via docker: que foi exatamente o tema da nossa última live: ua-cam.com/users/liveAyr7iQ40tLQ
Obrigado Rafa!
Parabéns pelas explicações!!!
Obrigado
Obrigado Rafael por essa super aula!
Obrigado Marcelo!!
muito bom, parabéns
Muito Obrigado!!
Explicação pefeita!! Muito obrigado pela aula.
Muito Obrigado!!
Rafael com esta aula percebi que ainda tenho muito o que aprender, e consegui ter uma ideia de onde tenho falhado. obrigado excelente conteudo.
Obrigado pelo feedback!!! E sucesso nos estudos!! Caso queira acelerar o teu aprendizado temos o nosso Treinamento do Hopbase que ensinamos a criar um Projeto de BI do zero!!!
Bom dia Existe alguma forma de não ter que pagar a licença do power BI para cada usuário ?
Olha o Metabase é gratuito, no Power BI pesquisa pelo Embbed, talvez possa te atender!!
Metabase entra API
Olá, tudo bem? Tenho uma tabela que quero criar uma média mensal agrupada por ano, porém quando vou na sumarização média ele não traz uma média mensal, poderia me ajudar? Trabalho na Secretaria de Estado da Saúde/GO e precisava gerar essa informação em um relatório. Consegue me ajudar?
O ideal é você gerar uma tabela com os dados, e você agrupa no Dataviz: seja Power BI, Metabase ouo outra ferramenta que utilize!!
Parabéns, Rafael! Ótimo conteúdo, ficou muito fácil de compreender os conceitos. Obrigado pela disponibilidade de sempre dar novas ideias sobre o mundo de dados.
Muito obrigado pelo feedback!!!