A TÉCNICA PARA REDUZIR A DEMORA NO CARREGAMENTO DE DADOS NO POWER BI
Вставка
- Опубліковано 6 вер 2024
- Se o seu relatório demora muito ao importar dados de arquivos no Power BI, o motivo pode ter uma solução simples e prática. Descubra neste vídeo como melhorar o desempenho na hora de carregar os dados para sua consulta.
👇🏼 ME SIGA NAS REDES SOCIAIS
▸ Instagram: / laennder
▸ Linkedin: / laennder
👨🏼🎓 Seja um profissional valioso, faça parte da Escola de Dados: cubotr.es/part...
📚 INDICAÇÕES DE LIVROS: cubotr.es/livr...
📺 SE INSCREVA NO MEU CANAL: cubotr.es/insc...
#CUBOTRES #ESCOLADEDADOS #POWERBI #GURUDOEXCEL #MICROSOFT #EXCEL #DAX #PLANILHA #REPORT#POWERBI
Excelente dica! Vou conseguir melhorar o desempenho muitos relatórios no escritório. Não conhecia essa função (buffer), e eu achava que esse já era o comportamento padrão do Power Query: quando os dados eram atualizados, cada fonte de dado (arquivos por exemplo) era lido apenas uma vez, ainda não tinha reparado que são lidos várias vezes.
Porque não é assim por padrão? Não consigo imaginar uma aplicação ideal (ou otimizada) para o comportamento padrão (sem bufferizar).
Parabéns Laennder, dica valiosa! Uma dúvida que tenho é quanto a atualização de dados de um banco para o arquivo PBIX, quando há muitos registros pelo "select * " demora muito, teria como buferizar esta tabela do arquivo e só adicionar o que não estiver já importado? Desde já agradeço!
Show Guru !! Salvou meu job aqui ! abraço
\o/
Laender,
vocês deveriam escrever dois livros: Dominando o Power Query e Dominando DAX.
Verdade
Apoio
Fenomenal essa dica meu amigo!! Mto obrigado mesmo! Preciso criar um arquivo pra calcular o orçamento de Folha, e pra fazer as combinações com 250 funcionários x 30 eventos x 30 meses, estava demorando 5 minutos. Com o buffer, caiu pra apenas 6 segundos!!! Inacreditável! Mto obrigado!!
Que dica sensacional Laennder, o M é realmente poderosíssimo...Parabéns...
Valeu Gerson
Grande dica. Muito obrigado. Nos meus testes a Join (mesclar) também mostrou um tempo muito melhor, como na dica da lista buferizada.
Genio Leannder! esse problema foi apresentado a mim de forma recorrente no meu trabalho. Amanhã vou buferizar algumas tablas. Saludos
Excelente, dica de muito utilidade pratica no mundo empresarial onde as tabelas vindas do SAP são imensas, valeu parabéns e obrigado
Obrigado Adelson
Excelente Laennder!
Eu acabei ficando com um dúvida. A lista bufferizada é atualizada conforme for acrescentando as tabelas?
Alguém poderia me ajudar com essa informação?
Acredito que atualize apenas quando ocorre alteração na tabela principal. Estou testando. No meu caso, eu estou utilizando uma dinâmica para retirar os Em Brancos das visões conforme outro vídeo do Laennder.
@@viniciusdomingos5992 Ele atualiza apenas na primeira vez, pois a lista que foi criada com o disctintcount, sem o buffer ela é criada a cada linha que ela for chamada pela tabela principal, ou seja, para cada registro da tabela principal o Power BI irá buscar todas as 4 tabelas para montar a lista individuiais, com o Buffer, ele cria a primeira vez e armazena, e para cada registro ele usa esse Buffer, ao invés de carregar novamente a tabela principal para criar a lista individual.
Sensacional Laennder.
Estava conversando com o Giovani Franco, o qual me indicou esse vídeo.
Estou sofrendo com algumas cargas que estão demorando bastante , mas essa técnica resolve todos os meus problemas.
Muito show. Obrigado e parabéns pelos vídeos.
Dica incrível, mestre parabéns!
Quanta honra. Obrigado meu amigo.
Professor, sem palavra.. ajudou muito uma consulta aqui..
Excelente dica mestre, irei testar-lá no meu ambiente. Abraços e parabéns pelo trabalho!
Valeu Rafael
Laennder fantástico, Eu estava com o mesmo problema.
Obrigado Salvatore
Que show!!! Muito obrigado.
Abraços
Muito obrigado Mario
Muito Boa essa Dica , Show de Bola!
Obrigado Cláudio.
Ótima dica. É muito comum fazermos essas verificações em vários arquivos fonte. Uma mão na roda. Valeu
Valeu Marcos
É possível gerar uma verificação da lista através de uma coluna condicional ou só pelo List.Contains e if ?
Salvou o meu dia. Obrigado!
Maravilhoso!!!! Obrigada Laennder por compartilhar o conhecimento.
Fantástico....Laennder, obrigado!!
Espetacular Laennder. Obrigado pela dica.
Valeu Alcionir
Excelente dica! Obrigado Laennder.
Ótimas dicas !!!!
Já comprei o livro!!!!
Opa. Muito obrigado pela confiança Jeferson.
Amei a dica!!!!! Muito boa.
Ótima explicação! Obrigado!!
Bom dia, muito interessante essa solução. No meu caso, a consulta vem de SQL e não trata questões como planejado e realizado. É uma tabela única. Tentei implementar as orientações mas não consegui pois não há regra de comparação de colunas. Como proceder? Vejo que quase não existe documentação para tratar essa questão.
Laennder, ótimo video, me ajudou muito em performance de uma consulta. Em diversos momentos tenho dúvidsa em relação a utilização das funções buffer (Table e List). Existe algum conteúdo que explique quando é recomendado utilizar essas funções?
Parabéns por mais um vídeo excelente, obrigado Mestre
Obrigado pelo carinho, Danilo
Laennder, boa noite, grato pela dica. Gostaria de saber se é possível fazer essa "bufferização" com uma tabela inteira e não apenas uma lista
Olá Laennder, parabens ótima dica, vc tem algum exemplo de table.buffer?
Gostei muito dessa dica, me ajudou muito, só queria saber, como eu faço para buscar dois campos no list?
Ótima dica Laennder.
A List.Buffer pode ser utilizada na dCalendario?
Showwww!
Obrigado Alexandre
Parabéns pela a dica!
É possível eu atualizar um relatório de venda vindo do Access sem fazer toda aquela varredura que leva horas?
Excelente dica! É possível fazer o mesmo com tabelas? Ou dar um exemplo com o Table.Buffer?
Micael, conseguiu descobrir algo sobre isso ?
Leander, sempre em excelencia.. parabens..
uma pergunta: uso uma lista do sharepoint em um relatório do Power BI, porém surgiu a necessidade de ter os dados em tempo real.. sabe me dizer se há como eu fazer esta conexão list em direct query?
Cara eu tinha abandonado vários jobs por causa disso!! Retomando já!
Dica Excelente!
Ótima vídeo aula Laender. Parabéns!!!
Tenho uma dúvida e não sei pode me ajudar.
Se quisesse trazer estes mesmos números das ordens de serviços da lista para uma outra consulta, seria possível? Ou teria que converter para tabela?
Existe a possibilidade desse recurso funcionar também para tabelas inteiras? Pois a lista não atenderia já que mais de uma coluna é atualizada por por linha.
Existe a função equivalente Table.Buffer
Boa tarde amigo... Quando uso o comando Ctrl + L no excel, ao digitar o que procuro e clicar em pesquisar ou apenas teclar Enter, a busca demora cerca de 1min ou mais para localizar (exemplo, uma placa de veículo numa tabela de relatorios de consumo mensal que criei para o trabalho). Acontece que, anteriormente em planilhas menores, a busca era instantanea, já agora com essa planilha (bem grande) tá sendo demoradíssima... existe algum método em que a busca volte a ser instantânea, pois não posso reduzir o conteúdo da mesma. Desde já, agradeço pela sua preciosa atenção.
E como eu faria para buscar a informação de outra tabela sem mesclar!?
Laender, muito legal mesmo. Mas tem com criar um buffer em uma tabela...andei vendo a função Table.Buffer ela funciona do mesmo modo?
Laennder, bom dia. Tenho um excel grande que preciso como base de uma query no power bi, todavia, quando entro para criar a nova query o power bi trava na etapa de Navigator e não roda. Em outro power bi ele até passou para a próxima etapa, mas depois que eu escolhi a aba da planilha excel, ele ficou parado na etapa de carregamento de dados. Alguma dica sobre este problema de excels com extensões *.xlsb com grande volume de dados?
Não poderia tambem fazer a nova tabela e a coluna calculada no DAX, não teria o mesmo ganho de performance?
Muito bom, Laennder. Excelente conteúdo.
Gostaria de tirar uma dúvida. Eu tenho uma pasta no SharePoint sincronizada com uma pasta local do meu computador. A ideia de sincronizar era pra que eu pudesse manter atualizados os arquivos na nuvem sem precisar manualmente fazer upload para o SharePoint. Porém, percebi que as minhas consultas ficaram bem mais lentas. Pode ser por conta disso mesmo?
Excelente, existe algo semelhante para tabelas algo do tipo Table.Buffer ?
Existe sim. Exatamente esse nome Table.Buffer
to usando power query no excel, não sei se estou cometendo o mesmo erro....
No caso se a base for atualizada como fica
Humm...como ficaria esse mesmo conceito porém em tabelas? Eu tenho um consulta que reúne vários arquivos e preciso mesclar ela com outra consulta. Porém cada vez que insiro uma etapa, ela carregar todos os arquivos do primeiro arquivo...
Obrigado pela Dica, se eu tenho 3 arquivos onde eu faço a Mescla, eu tenho que criar 3 Lista de Buffer na edição avançada?
Olá dupliquei a minha consulta ai quando vai carregar do SQL ele fica carregando as duas, como faço esse tratamento para a tabela
Desmarcar a opção habilitar carregamento
Laender, no seu livro ensina a linguagem M? Quero me aprofundar no assunto. Outra coisa, quando realizado o buffer no arquivo, quando entrar novos dados, eles serão acrescentados a lista?
No meu caso ao inves de apenas uma coluna, preciso carregar duas colunas... quando utilizo table.buffer não tenho o resultado esperado, alguma sugestão para que carregue apenas uma vez?
Topzera
Laennder, eu consigo fazer essa mesma funcionalidade usando 2 campos da minha tabela referencia ? por exemplo pedido/valor unitario.
Sei que faz tempo. Mas voce sabe como se faz isto que vc perguntou?
O Daniel trabalha na Eletrobras?
Na hora de adicionar a coluna me retorna esse erro:
DataSource.Error: Microsoft SQL: Internal error: An expression services limit has been reached. Please look for potentially complex expressions in your query, and try to simplify them.
Detalhes:
DataSourceKind=SQL
DataSourcePath=DW
Message=Internal error: An expression services limit has been reached. Please look for potentially complex expressions in your query, and try to simplify them.
ErrorCode=-2146232060
Number=8632
Class=17
Laender, um abraço.
Qual é essa lista de Whats para poder ingressar??
Para duas colunas como faz ?
Boa noite muito boa essa dica, isso se aplica a uma consulta SQL também? Seria possível efetuar uma consulta SQL trazer os dados, posteriormente trazer apenas as atualização com dados que não existem armazenados no Power BI?
Taner, é possível usar o Table.Buffer para tabelas. Mas isso não é válido para cargas incrementais. O que ocorre é que na mesma sessão de atualização a tabela ou lista não é recarregada. Mas ela é recarregada ao atualizar novamente o projeto.
Laennder Alves boa noite obrigado pelo esclarecimento, sucesso para ti.
Mito!!!!
HAHA,obrigado David
Grande dica. Só não percebo como é que existem dois “No Like”..????
Sãos os haters, meu amigo.
Top
Showww
¡Buenísimo!
Laender, estou tentando baixar informações de um site e mesmo tem muito dados, quando importo do link da API ou JSON ele só traz 1000 linhas, tem como alterar este limite ou "bypassar" este limite??
Professor bom dia, como vai?
Estou tentando fazer o procedimento, porém para uma Tabela, mas dá erro. Diz que uma tabela não pode ser convertida em Lista para a função List.Buffer(). É possível fazer a buferização para tabelas?
Obrigado.
Thyago Rezende use o Table.Buffer
Laennder Alves achei aqui!!! Estava lendo um artigo antigo . Obrigado
Laender, eu vivo muito essa situação.
Se entendi, essa lista não atualiza quando Panejamento é atualizada. Caso a atualização seja necessária ao mesmo tempo, tem alguma forma de não atualizar tantas vezes? Percebi que utilizando o Table.Combine nas etapas (como vc ensinou) o desempenho fica melhor.
Olá Tel. Na realidade a lista continua sendo atualizada quando planejamento é atualizada. O que não ocorre é um múltiplo carregamento da mesma na mesma sessão.
É que vc tinha desabilitado o carregamento da lista... Isso me confundiu 🙄
Ah sim. Mas posteriormente eu até exclui a lista. Ela foi inserida dentro da própria consulta.
Perfeito!! Muito obrigado pelo retorno!
No aguardo do curso de modelagem avançado :p
@@laennder perfeito! Mas ainda fiquei com uma dúvida.
Na etapa que você inseriu na tabela, o comando começa com List.Buffer...
Esse list.buffer não é o que diz que não será atualizado?
Então no final do exercício, quando incluiu essa etapa, ele foi atualizado com base na carga da tabela... seria isso?
Só uma dúvida... Tem como curtir esse vídeo 1000 vezes?
Boa noite Laennder! Cara, não sei se você pode me ajudar. Estou tentando há uma semana conectar o meu PBI usando M, em uma API web que usa Oauth 1.0. Não consigo montar o parâmento Headers da função "web.contents". Usei o seu vídeo de conectar uma API de calendário como base, e vários artigos em inglês de como conectar à API do Twittwer, mas nada dá certo. Você já fez esse tipo de conexão? Poderia me ajudar?
Olá Daniel, você poderia postar um exemplo no fórum?
Laennder Alves sim. Eu posto sim. Amanhã de manha. Obrigado.
Bom dia, segue o link do post: gurudoexcel.com/forum/viewtopic.php?f=30&t=7240
👍👍👏
Cara vc precisa melhorar o áudio dos vídeos, não consigo ouvir no ônibus mesmo de fone....
Que dica incrível mestre !
Parabéns e muito obrigado...
Obrigado Giovani