Salut, merci pour cette video. Dans le monde de DevOps, connaitre un outil pour l'infrastructure as Code (IaC) est important. Je me demandais est-ce qu'il ne l'est pas aussi pour le DataOps ! Imaginer un DataLake avec AWS EMR, S3, Spark. Ou bien avec S3, Athena, Glue, avec plusieurs jobs qui seront créés.
j'ai été amené à déployer à la place des DevOPS car il n'y en avait peu ou plus, donc à priori j'étais DATAOPS, certains ne savaient même pas coder juste déployer, mon inquiétude est est-ce que les Data Engineer vont devoir faire sans les DevOPS et devenir en plus DATAOPS il y a trop de boulot pour ca deja je pense, si c'est juste pour de la recette en majorité je comprends bien le terme DataOps qui consisterait a mettre a disposition des flux executables par les équipes MOA, mais si on fait la même chose pour la prod il reste plus que le runtime a changer => 2s, n'y a plus besoin de DevOps en du coup ! Tu en penses quoi Willis ?
DataOps n'est un pas un poste, mais une culture. Les Data Engineers (ou l'équipe de Data Engineering) n'est pas amené à tout faire, mais je pense que les/certains membres de cette équipe doivent être capables d'initialiser certains sujets (CI/CD, Data Gouv, etc...) et collaborer avec d'autres équipes.
Si tu sais déployer de l'infra et de l'applicatif avec Ansible et Terraform sur du Kubernetes dans le cloud avec pourquoi pas du ArgoCD pour l'applicatif alors oui tu n'as plus besoin de devOps ;)
Je suis en train de mettre en place du dbt core ! C’est assez spécial leur best practices
Salut, merci pour cette video.
Dans le monde de DevOps, connaitre un outil pour l'infrastructure as Code (IaC) est important. Je me demandais est-ce qu'il ne l'est pas aussi pour le DataOps !
Imaginer un DataLake avec AWS EMR, S3, Spark. Ou bien avec S3, Athena, Glue, avec plusieurs jobs qui seront créés.
Très instructif cher Willis !!
Ah justement je me posais la question! Merci🎉
Merci pour cette vidéo :)
Très instructif
Salut. Est-ce qu'un data engineer est appelé à faire le métier du devops engineer ?
Dataops et data management, est ce similaire ?
Un Data Engineer n'est pas un DevOps, cependant, il peut être amené à faire de pipeline CI/CD grâce à l'aide des équipes DevOps
j'ai été amené à déployer à la place des DevOPS car il n'y en avait peu ou plus, donc à priori j'étais DATAOPS, certains ne savaient même pas coder juste déployer, mon inquiétude est est-ce que les Data Engineer vont devoir faire sans les DevOPS et devenir en plus DATAOPS il y a trop de boulot pour ca deja je pense, si c'est juste pour de la recette en majorité je comprends bien le terme DataOps qui consisterait a mettre a disposition des flux executables par les équipes MOA, mais si on fait la même chose pour la prod il reste plus que le runtime a changer => 2s, n'y a plus besoin de DevOps en du coup ! Tu en penses quoi Willis ?
DataOps n'est un pas un poste, mais une culture. Les Data Engineers (ou l'équipe de Data Engineering) n'est pas amené à tout faire, mais je pense que les/certains membres de cette équipe doivent être capables d'initialiser certains sujets (CI/CD, Data Gouv, etc...) et collaborer avec d'autres équipes.
Si tu sais déployer de l'infra et de l'applicatif avec Ansible et Terraform sur du Kubernetes dans le cloud avec pourquoi pas du ArgoCD pour l'applicatif alors oui tu n'as plus besoin de devOps ;)