Apache Spark Performance Tuning Tips and Tricks

Por se tratar de uma arquitetura distribuída, muita das vezes engenheiros de dados não se preocupam com performance, porém quando realmente utilizamos em produção o Apache Spark para desenvolvimento de nossos data pipelines, algumas operação e otimizações podem diminuir o consumo drasticamente do seu programa reduzindo seu custo total.
Nessa sessão, iremos navegar e entender alguns dos pontos mais importantes sobre performance tuning do Apache Spark, iremos discutir sobre suas principais operações e como podemos maximizar nosso tempo escrevendo aplicações escaláveis com melhores práticas.
Para todos os engenheiros de dados de plantão, nessa live teremos conceito e demonstração, além de mostrar novos recursos do Apache Spark 3.0 como AQE.
No final dessa live vamos disponibilizar 10 vagas extras para quem deseja participar do treinamento de Data Engineering com Apache Spark 3.0. Entre no grupo privado do treinamento para garantir sua vaga e saber mais informações:
chat.whatsapp....

[@dtsleite]

Com certeza sempre o melhor conteúdo sobre big data, em português na internet.

[@paulogontijo3359]

Foda demais, pessoal!