Como criar ETL com Integration Services
Вставка
- Опубліковано 19 жов 2024
- Hoje vou ensinar vocês passo a passo como criar ETL com Integration Services, sendo que iremos fazer essa ETL utilizando dois banco de dados.
Vamos extrair os dados de uma banco de dados e inserir os dados em um outro banco de dados, utilizando dois jobs (processos) no SQL Server Integration Services. Além de fazermos esse processo de ETL no SQL Server Integration Services (SSIS) iremos utilizar um tratamento de dados e agrupamento de dados, para deixar as informações de forma sintética, simulando um cenário real de uso.
Playlist com vídeos para instalação e configuração do SQL Server Integration Services
• SQL SERVER INTEGRATION...
Playlist com vídeos para instalação e configuração do SQL Server e SQL Server Management Studio e diversos vídeos de SQL
• SQL SERVER E LINGUAGEM...
Os links abaixo são de afiliados, comprando através desses links eu ganho uma pequena comissão do site. É uma forma de você me ajudar a continuar produzindo esses excelentes conteúdos.
📚 Livros que me ajudam a aprimorar meus conhecimentos
📚 Python para Data Science: e Machine Learning descomplicado: amzn.to/40agbys
📚 Microsoft SQL Server 2016 express edition interativo: amzn.to/3MhjfTM
📚 Inteligência Artificial - Uma Abordagem de Aprendizado de Máquina: amzn.to/3MgRiLT
📚 Business Intelligence e Análise de Dados para Gestão do Negócio: amzn.to/3Mf9bdO
📚 Estatística prática para cientistas de dados: 50 conceitos essenciais: amzn.to/3rWup9H
📚 Projetos Ciência de Dados com Python: amzn.to/3SI2ftZ
📚 Estatística e Ciência de Dados: amzn.to/3R1nSnO
📚 Python para Análise de Dados: amzn.to/46fSqqa
👍 Equipamentos que utilizo no meu dia a dia
🖥️ Monitor Dell: amzn.to/3Sj5Dvb
💻 Notebook Dell: amzn.to/3Qw2uGQ
🖱️ Mouse Microsoft: amzn.to/3Q6Xwio
🖱️ Mouse Microsoft: amzn.to/49Em8bd
🖲️ Mouse Pad: amzn.to/3srQzAR
⚙️ Pen Drive 32Gb: amzn.to/3MMvZ58
⚙️ Conector Hub USB-C: amzn.to/3GnwCys
🔌 Filtro de linha: amzn.to/3QuLmQP
🔋 Smart Plug Wi-Fi: amzn.to/3FxlZse
🙂 Maquina de Barbear c/ 12 acessórios Philips: amzn.to/47uixdU
⚙️ Novo Echo Dot 5ª geração: amzn.to/473eSDL
🪑 Cadeira Gamer: amzn.to/3SGJLd6
💻 Capa Protetora Para Laptop Macbook Air M2 15 Polegadas: amzn.to/41d19bS
💻 Capa Case Compatível Para Macbook New Air 13,3: amzn.to/3RoHi6e
💡 Bastão Led Sokani 25x: amzn.to/49Gnxye
💡 Bastão Led Portátil: amzn.to/3sH1aaX
💡 Kit de Iluminação com SoftBox: amzn.to/3G1Hz8E
📺 Smart TV 4k Sansung: amzn.to/3sH052T
📺 SAMSUNG Smart TV Crystal 50" 4K UHD: amzn.to/47FCAGG
#ssis
#SQLServer
#etl
![[UA] NAVI vs MOUZ | BO5 | IEM Rio 2024](http://i.ytimg.com/vi/CMBYk0cbGoA/mqdefault.jpg)
Muito bom, perfeita didática!!
Boa noite. Vídeo top. Por favor, quando vc referenciar tabelas feitas em outros vídeos, deixa o link para saber a origem. Desta forma dá para carregar os dados durante a aula. Grato pela aula.
Excelente, seus conteúdos são perfeitos.
Se puder gravar ou tiver alguma aula de ssis etl que mostre também como fazer conversão dos dados, quando uma tabela não contem todas as colunas etc. Esses tipos de tratamentos e erros que sempre acontecem . Seria muito bom .
Estou preparando um vídeo assim logo logo disponibilizo aqui
Muito bom, melhor professor do UA-cam!!
vc simplesmente é o melhor, não tem nenhum conteúdo como o seu no youtube, qualidade de som, qualidade de fala, chega a ser um crime vc não postar mais videos. Por favor posta mais vc ta me ajudando muito com esses videos
Em breve estarei lançando novos vídeos….
Seus vídeos são excelentes, obrigado ❤
Muito bacana o conteúdo! Parabéns!!
Estou com dois pontos que preciso estudar mais...
Nos flows que defini, o SSIS escreveu as tabelas, porém não usou o schema padrão (dbo)...
Ele criou um schema com meu nome de usuário no DB (domain\user)... estou pesquisando como contornar e conseguir definir um schema.
Outra coisa que preciso pesquisar para resolver meus problemas é o uso de temptables no SSIS...
Top
Asioso para novas aulas, SSIS é muito bom
Parabéns pelo conteúdo!!! é exatamente o que preciso. Porém, estou com um problema no fluxo de dados em que a origem não exibe as colunas da tabela na aba colunas. Estou fazendo da fonte odbc para destino ole db
Verifique se as permissões de consulta na tabela de origem estão liberadas
@@nerddosdados consegui. na verdade só atualizei para uma extensão diferente e consegui conectar. Agora outra dúvida: como vc fez no vídeo, se rodar mais de uma vez ele duplica os dados. Assim, como posso montar o fluxo de uma forma que não duplique e que só atualize os dados necessários? estou com dificuldades para achar conteúdo que explique isso. desde já, obrigado!
Professor, faz um curso de engenharia de dados também por favor, preciso urgente do seu curso
Oi João por isso que meu curso está demorando mas vai sair logo logo…prometo…mais uns 30 dias to lançando
Nele já vai ter coisas de engenharia de dados
@@nerddosdados Aguardando o curso, por favor!
Parabéns, fiquei com uma dúvida no meu caso os dados de origem vem de uma base Excel como eu poderia fazer este processo.
Você pode utilizar o data source para extrair do Excel ou então importar diretamente o Excel no SQL….ja fiz um vídeo no canal explicando também essa possibilidade
Estou copiando uma tabela (MySQL) para dentro de uma tabela SQL Server e consegui fazer a integração através da sua dica. O único problema que encontrei é que na tarefa de origem eu inseri uma consulta mysql que trás os dados dos últimos 5 dias e na hora de replicar no Sql server é gerado um erro devido as chaves primárias duplicadas. Como faço para o processo desconsiderar as duplicidades e seguir com o carregamento?
Você pode colocar uma cláusula where no script pra desconsiderar esses casos de acordo com alguma condição ou então pode tentar fazer um select distinct….
@@nerddosdados obrigado pela resposta mas acho que não fui claro na pergunta. Vou tentar simplificar.
Na tabela de origem eu tenho dados desde 01/01/2024 e vou replica-los na tabela de destino selecionando sempre os últimos 5 dias.
Dessa forma a chave primária da tabela de destino trava o carregamento, uma vez que já existem volumes para essa chave na tabela.
A minha dúvida é, existe uma forma de o processo ignorar os dados já carregados e seguir apenas com a inserção de dados ainda não existentes?
Para mim não aparece a opção ( integration services project )
Tem um vídeo no canal que explico como instalar o integration services, precisa instalar e configurar o data tools…dá uma olhada nesse vídeo aqui no canal que vai resolver seu problema
A ferramenta é paga?
A ferramenta é paga somente quando se tem o SQL versão standard ou enterprise, para uso com SQL community é gratuito