- 2
- 18 471
Douglas Poso
Приєднався 21 лип 2010
Pentaho - Conectando PDI com banco de dados
Neste vídeo vamos discutir sobre como conectar o PDI a bancos de dados relacionais usando drivers JDBC.
Переглядів: 3 406
Відео
Pentaho - Transformações Simples
Переглядів 15 тис.4 роки тому
Neste primeiro vídeo vamos mostrar algumas transformações de dados simples como preencher com zeros a esquerda, fazer substring, pegar os valores numéricos de um campo alpha e um pouco mais rs. O objetivo é ajudar quem esta começando no Pentaho e mostrar pra quem esta vindo de ETLs via PBI como fazer estas operações que eles jã estão tão acostumados. O intuito é ajudar! Caso tenha alguma dúvida...
Meu oracle é o 21c express edition, baixei o jdbc11 que é o compatível com jdk17 qu está intalado na minha máquina, consigo acessar o banco pelo sqldeveloper porém não consigo acessar com o petaho, não da nem erro na hora que testo a conexão
Thiago, talvez seja melhor baixar o drive especifico para a versão do seu Oracle
@@douglasposo cara, baixei o jdbc8 e funcionou kkk. valew
Muito bom conteúdo ! Estou iniciando no hop
O HOP é uma excelente ferramenta! Continue estudando!
Parabéns muito bom ❤
Obrigado!
Parabens Douglas Poso pela ajuda, tenho uma duvida e gostaria de saber se teria como importar dados em formato *.dbc
Ola, tudo bom? Nunca fiz isso. Mas se der pra fazer isso em python você pode usar o componente de python pra fazer
Muito bom o tutorial. Você tem algum explicando como ler uma tabela de um SQL Server e gravar em um banco de dados Oracle ?
Infelizmente este eu nao tenho
Este eu não tenho
Ola Prof. Indica algum curso de ETL para quem está começando?
Ola Marco, eu sempre indico o curso do meu grande amigo Rafael Arruda. Mas além dele você também vai ter alguns cursros na udemy ou se preferir pode tomar aulas particulares comigo.
@@douglasposo obrigado Douglas!
Olá Douglas, tem como compartilhar o ficheiro que foi utilizado na aula?
Ola Adelio, tudo bom? Me manda um email que eu te passo por la. douglas.poso@gmail.com
Boa noite Douglas, sabe como buscamos os dados do GA4 para o Pentaho?
Ola, tudo bom? o que seria este GA4? Um banco de dados?Uma API?
@@douglasposo isso. Tipo, buscar os dados de GA4, conhece algum step e se sim, sabe como faz a configuração? não achei em lugar nenhum isso
@@osleyluciodesouza4863 Não exite um step nativo no PDI para este GA4. Eu não conheço este sistema. Me diz o que ele é. è um banco de dados, uma API ou alguma outra coisa? Assim consigo te direcionar.
@@douglasposo O GA4 é um novo tipo de propriedade ideal para o futuro das medições: Coleta dados de sites e apps para mostrar mais informações sobre a jornada do cliente. Uma vez tudo for configurado, você poderá acessar o GA4 por meio do painel principal do Google Analytics. Lá, você encontrará uma série de recursos e relatórios que fornecem insights valiosos sobre o desempenho do seu site e o comportamento dos usuários.
@@osleyluciodesouza4863 . O que você precisa descobrir agora é como se conectar com este GA4. Provavelmnete ele deve ter alguma documentação que mostra como fazer a integração de dados. Depois que você descobrir isso traz aqui que ai eu consigo te ajudar. Como eu disse não conheço esta ferramenta nem como conectar com ela. Aguardo seu retorno!
Douglas, realizei uma carga de informações em um banco de dados (MySQL) e essas informações foram armazenadas corretamente, porém você concorda que a medida que a operação vai executando suas rotinas em um software novos dados vão sendo gerados. Correto? Como faço para criar uma rotina para fazer a carga destes novos dados a cada uma hora?
Fala Ricardo!! Para isso é preciso criar uma rotina incremental que busca apenas os dados atualizados e novos na sua origem de dados e faz um 'upsert' no seu banco dados. Me chama no linkedin que podemos conversar melhor sobre www.linkedin.com/in/douglas-camargo-poso/
@@douglasposo Obrigado, adicionado. Aguardo o seu retorno e assim conseguirmos trocar algumas informações importantes. Novamente obrigado
@@ricardoseabra7701 não recebi nenhum invite la no linkedin
Boa tarde Douglas. Tudo bem? Ao criar conexão com meu banco de dados o mesmo esta dando o seguinte erro Error connecting to database [Dataguard] :org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database O que devo fazer?
Neste caso o meu banco de dados é Oracle. Ja tentei colar na pasta lib todos os drivers que você imaginar e nada
@@ricardoseabra7701 . O primeiro teste que vc precisa fazer é de conexão com o banco na mesma maquina do PDI usando algum client de banco. Este teste serve para verificar se é possivel acessar o banco de dados a partir desta maquina
@@douglasposo Já consegui resolver Douglas, agradeço a disponibilidade e atenção. O problema estava na disponibilidade do JAR na pasta lib
tem algum vídeo sobre Kitchen: Automatiza Execução?
Ola Leonardo. Não tenho nenhum vídeo sobre o assunto. Mas existe bastante conteudo sobre assunto. Se estiver com dúvidas de como fazer me avisa que te ajudo
Olá Douglas, Sou iniciante no Pentaho e queria saber qual seria o nome desse primeiro step que carrega os clientes? Eu tentei com o CSV file input mas ele retorna os itens assim: Codigo;Nome ;Sobrenome;Cargo;Vendedor;Estado .. Não fica configurado igual mostra no vídeo. Obrigada!!!
Ola Bianca, tudo bom? O Nome do step é "Text file Input" . Peço desculpas pois no vídeo a configuração esta em português. se tiver mais dúvidas pode me chamar
@@douglasposo Oi Douglar, tudo e com você? Agora sim, deu super certoo!!! Muito obrigada pelo vídeo!! Ótima explicação, não pareeeeeee!! rs
Muito Bom! Obrigada!
Ótima aula Douglas. Sou novato no Pentaho e gostaria de saber se pode me ajudar com uma duvida. Tenho uma transformação que executa a cópia de 32 tabelas de Excel para uma base de dados (cada uma delas contém um componente de input de excel e outro de output table), no entanto devido ao tamanho que dos arquivos passei a ter problemas com estouro de memória. Já efetuei o aumento de memória do Spoon.bat (XMS e XMX), alocando 16 GB mas mesmo assim não esta rolando. Se eu executar separadamente cada uma das 32 importações que estão na mesma transformação esta tudo OK, mas quando executo a transformação inteira tenho o erro. Pergunta, existe algum componente na transformação que ordenadamente cada uma das 32 importações ? (só começa a próxima quando a anterior for finalizada).
fala Leandro, tudo bom? Posso ajudar sim. Seguinte, no seu caso você pode usar um componente chamado "Block this step until steps finish". Este step faz com que os steps depois dele só sejam iniciados após o step que você configurou nele finalize. Desta forma você configura nele o ultimo step do processo anterior. Caso ainda tenha dúvidas pode me avisar
@@douglasposo Boa tarde! agradeço muito o seu retorno, mas adicionei o step indicado, configurando ele com o último step do processamento anterior e ligando através de um hop no próximo step que gostaria que rodasse, mas não esta adiantando. Devo estar fazendo alguma coisa errada.
Leandro me chama no linkedin. assim fica mais fácil de eu te ajudar www.linkedin.com/in/douglas-camargo-poso/
Muito boa a aula. Muito obrigado. Tem como eu alterar uma coluna inteira para colocar apenas o número 1 em todas as linhas?
Que bom que gostou. Para o que você precisa use o step chamado Add constants. Com ele vc cria uma coluna e pode colocar um valor constante nele
Douglas, parabéns pelo vídeo simples e objetivo! Faço tudo certinho, mas ao testar a conexão dá o seguinte erro: O driver não pôde estabelecer uma conexão segura com o SQL Server usando a criptografia SSL. Erro: "sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target" Me ajuda, amigo. Estou há mais de uma semana com esse erro e sem conseguir avançar no meu projeto. PDI 9.3 SQL Server 2019 Java 8.0.333 Windows 11 x64
Fala Gustavo, tudo bem? Faz um teste com uma versão mais antiga do PDI. Pega a versão 9 por exemplo e veja se te om mesmo problema
@@douglasposo Obrigado pelo retorno Douglas. Instalei a versão 9, e o mesmo erro acontece. Cara, tudo do meu SQL Server já está liberado. Não sei mais o que fazer....
@@GustavoPinheirodaCunha Isso pode ser problema de liberação de porta. Verifique se a porta 1433 esta liberada. Eu ja tive muito problema por causa disso
@@GustavoPinheirodaCunha meu caro, tudo bem? Você conseguiu resolver esse problema? Estou com a mesma situação. E já liberei acessos ao TCP/IP 1433, mas o problema é o mesmo na hora de se conectar... seria alguma coisa ref. certificado SSL?
Opa @@murilovideo! Consegui sim. Na tentativa de fazer funcionar, coloquei os dois drivers dentro da pasta, quando na verdade deveria ser apenas um, de acordo com a versão do Java. Não lembro muitos detalhes, mas em resumo foi isso.
Conteúdo toop em Douglas! Cara e se eu tenho uma coluna com nome completo e eu quero extrair somente o primeiro nome e o último nome, é possível?
Obrigado Bruno. Neste caso você pode usar o step chamado "split fields"
@@douglasposo Testei esse step, mas ainda não cheguei no resultado desejado, consegue ajudar?
@@brunopahorcavalcantidemora2560 vou te chamar la no linkedin
Cara, que aula sensacional. Valeu! Espero que continue com a sequencia de vídeos, to cansado de fazer ETL no PBI e perder performance. kkk Abraço!
Show
Achei vc por um podcast, vc tem Instagram??
Ola Jhonatan, tenho sim. É o @posodouglas me segue lá!!
Top
olá amigo, gostaria de saber se é possível usar o pentaho para extrair dados de um arquivo Txt com informações nao tabuladas (organizadas em colunas) e carregar num banco de dados de forma que as informações no banco esteja em colunas pre estabelecidas. exemplo, importar um diario oficial e no banco de dados ele estar separado por varas, é possível?
Ola, é possível sim, porém. O arquivo TXT precisa ter algum tipo de estrutura. Normalmente arquivos texto são estruturados em colunas com um separador (.csv) ou então são arquivos posicionais. Ambos os casos podem ser trabalhados no pentaho e depois de fazer a leitura do arquivo você pode gravar em tabelas sem problemas.
@@douglasposo Obrigado pelo esclarecimento, irei pesquisar mais sobre como fazer isso
Podia ter explicado sobre o driver do MySQL, que é o mais chatinho. Mas valeu pelo vídeo. Like
Excelente material, muito obrigado. Parabéns.
Amigo! Muito obrigado!
Muito boa essa aula
Obrigado Brunatha
Douglas, bacana o conteúdo, parabéns! Você não irá continuar com novos vídeos?
Obrigado Jackson! Estou me organizando para voltar a postar. Logo logo eu volto
Parabéns! muito didática sua explicação continue postando
Você deveria voltar a publicar mais vídeos!
Excelente conteúdo!! Muito obrigada!
Maravilha!! Justamente o que eu estava procurando!! Valeu!
Ola Douglas, parabens pela iniciativa. Continue contribuindo. Estou vindo do power bi pra aprender pentaho e conheci seu canal. Uma sugestao se me permite, é disponibilizar o arquivo para irmos aprendendo e executando juntos. Obriagdo e parabens
Boa tarde professor, uma duvida. Como que faço um join com algumas condição de um step? Exemplo: usar case When x = y etc ?
Olá Osley, tudo bom? Você pode usar um step chamado Database Join nele vc consegue usar os campos ou parâmetros da transformação, basta usar o caractere ? Ex: Where campo = ? Na parte de baixo do step vc indica no combo box qual o campo irá substituir o ?
@@douglasposo acordo todos os dias para estudar, amanhã cedo vou tentar, estou perguntando porque preciso buscar do pwer bi, o sql da empresa não deixa eu criar uma view, isso faz com que eu utilize o Pentaho (Sou novato nisso) faço as queries utilizando select dentro de seletc, mas não faço ideia como vou trabalhar isso no pentaho. Mas obrigado pela orientação, se um dia puder fazer um vídeo onde você coloca várias condições como se fosse um subselect, vai ajudar muito🙂
Boa noite, não estou conseguindo de jeito nenhum conecatar o PDI com sqlserver, se alguem puder me ajudar leydenisedireito@gmail.com
Olá Osley, tudo bom? No gerenciador do SQL Server libere a conexão por IP e também libere o acesso a porta 1433. Normalmente depois disso a conexão com o PDI funciona.
@@douglasposo obrigado pela ajuda, funcionou =)
@@osleylucio9804 show!! 👏👏👏
Parabéns! Bom vídeo!
Uma dúvida. Que transformação uso para fazer uma união? Tenho as colunas cs_01, status_01, cs_02, status_02 etc... gostaria que estes campos ficassem em uma única coluna cs e status respectivamente. Adorei a aula! Parabéns.
Olá Weliton, vc pode usar um componente chamado concat Fields
@@douglasposo Acho que não expliquei direito. Não seria concatenar. Seria para cada campo cs_01, cs_02 fiquem em uma nova linha.
Desculpe, entendi errado, rs. Use o step chamado row desnormalizer
Vídeo mto legal! Você tem uma ótima didática, faça mais amigo =)
Obrigado Karlos! Estou me programando para voltar a fazer
Excelente explicaçao. Parabens!
Muito legal, não sabia que precisava esse driver. Didática show! Abraço
Obrigado Marcelo. Fico feliz por ter ajudado!
Show de bola meu amigo..PARABÉNS!!!
Top meu caro
Vim pelo grupo de ETL, me impressionei com a facilidade do Pentaho, parabéns pela iniciativa e boa didática.
Parabéns pela iniciativa. Seria interessante disponibilizar um link com os arquivos utilizados nos exemplos, para que pudessemos realizar o laboratório também.
Obrigado Marcelino, vou tentar disponibilizar os arquivos
Muito legal ver um exemplo assim. Instalei o PDI a pouco, não sei nada. Quero aprender uma ferramenta para ETL. Sei usar o Power BI, até faz ETL, mas talvez tivesse que associar alguma outra ferramenta. Usar Hadoop e Spark talvez sejam mais adequados para Big Data. Abraço
Obrigado Marcelo. A curva de aprendizado do Pentaho é pequena. Ele também trabalha com Big Data. Mas cada caso é um caso. Continue seguindo o canal que toda semana tem vídeos novos.
top Douglas!!!
Oh, fui o primeiro a dar o like ein
Boa!!!! Obrigado Jeferson!!!