Hola Joseph, Agradezco haber encontrado este video tutorial donde explicas con claridad los pasos a seguir para generar un proyecto de carga. Esta estrauctura de ejecución de un ETL me sirvió para hacer algo similar para leer archivos Json y lograr la inserción de los datos en tablas de SQL. Es mi la primera vez que conozco Pentaho y logré lo que quería. Como carezco de licencias de Miscroft SSIS, con Pentaho he resuelto lo que necesitaba, Gracias
Me pareció excelente el tutorial. Me fue de gran ayuda ya que estoy empezando a usar la herramienta. Es mi primer proyecto sobre ETL. Bien explicado, claro, detallado. Gracias!
Ante todo quiero darle mis más sinceras felicitaciones por el trabajo entregado en su página donde explica en forma clara y concisa el manejo de Kettle. Estamos evaluando Pentaho para el banco donde trabajo y soy responsable del área de Arquitectura de Infraestructura y Aplicaciones del Banco de Venezuela. Tengo una consulta que hacerle dentro de los escenarios que estoy evaluando y quisiera mantener este contacto para un futuro cercano establecer relaciones comerciales. Debo entregar a la brevedad posible resultados de la evaluación de ETL para un escenario de pruebas con alto volumen en un ventana de tiempo muy riesgosa para la apertura de las oficinas del banco en el ambiente de producción. Le describiré el escenario y mucho sabré agradecerle si esta herramienta me permite mitigar el riesgo del negocio. Actualmente en todos los bancos se ejecutan procesos bajo un esquema tradicional de Lectura, Proceso y Escritura en base de datos con un alto volumen de registros y de tablas. Ejm: 20 millones de registros y hasta 800 tablas relacionadas. En promedio el proceso actual dura 3 horas ejecutándose y se arranca a las 4:00 am donde las oficinas comerciales aperturan al público a las 08:00 am. CASO 1: Ejecución del ETL con Pentaho y ocurre una interrupción en el proceso luego de haber registrado en la BD 12 millones de registros y duró 1 hora y media de ejecución. Preguntas: 1. El proceso se rearranca nuevamente y se debe eliminar todos los registros ya grabados. 2. El proceso se rearranca nuevamente a partir del último registro grabado. En ambos casos el proceso ya ha consumido 1 hora y media y tenemos una ventana de tiempo de 3 horas. CASO 2: Es el mismo caso 1 pero cuando está grabando en la base de datos (500 tablas) algunas no se grabaron y la BD quedó inconsistente. Preguntas: 1. El proceso se rearranca nuevamente y se debe eliminar todos los registros ya grabados. 2. El proceso se rearranca nuevamente a partir del último registro grabado pero donde tiene el control de la lógica para saber que grabó algunas tablas y otras no. Agradecido de haberle contactado y esperando recibir una respuesta pronta. Saludos
Silvana Coman Saludos, muchas gracias por el comentario claro en mi canal de youtube encontras varios tutos ya sea para usar pentaho o SpagoBI ambas open-source. proximamente estaré haciendo el videotutorial de JBPM integrandolo con aplicaciones externas.
Saludos excelente comentario, realmente este "paso" tratará de llegar al máximo valor definido. Este no es un método eficiente para llevarlo a producción pero para fines didácticos estaría bien. La finalidad del bloque es tener un repositorio de registros de tiempo hasta el día actual para construir los cubos.
Hola.. Tengo un execute sql script que ejecuta una funcion n veces dependiendo de la cantidad de registros que recibe en un excel, pero no se como pintar u obtener el response de la ejecucion de dicha funcion... Que paso puedo utilizar para capturar la salida de funcion?
Que tal Joseph, una consulta... tu PDI 6 se tarda mas de 5 minutos en cargar... yo lo he descargado y probado... pero tanto PDI como BI Server... se tarda demasiado en iniciar. Tengo Java 8 instalado de 64bits. He probado soluciones anteriores como aumentar memoria ram a pdi, pero, nada funciona. Si tuvieras un tip te lo agradecería.
Luis G Saludos, para esta versión yo uso JDK 7 x64 bits no he tenido problemas, tengo varios proyectos en producción con extracciones de miles de datos con tiempos de respuesta aceptables para ser la versión comunitaria. Intenta usar usar JDK 7, la PDI de este videotutorial es muy simple y carga muy rápido.
Muchas gracias por tu respuesta... Fíjate que yo tenia mi variable de entorno PETAHO_HOME dirigida al JDK 8, cambie al JRE path y el tiempo de carga mejoro significativamente... estoy instalando el JDK 7 como me recomiendas y probare también los tiempos de respuesta. Gracias por la sugerencia.
Hola Joseph,
Agradezco haber encontrado este video tutorial donde explicas con claridad los pasos a seguir para generar un proyecto de carga. Esta estrauctura de ejecución de un ETL me sirvió para hacer algo similar para leer archivos Json y lograr la inserción de los datos en tablas de SQL.
Es mi la primera vez que conozco Pentaho y logré lo que quería.
Como carezco de licencias de Miscroft SSIS, con Pentaho he resuelto lo que necesitaba,
Gracias
Me pareció excelente el tutorial. Me fue de gran ayuda ya que estoy empezando a usar la herramienta. Es mi primer proyecto sobre ETL. Bien explicado, claro, detallado. Gracias!
increible video, muchas gracias!!
muy buen tutorial
excelente explicacion
gracias me sirvió mucho para mi trabajo de la uni.
De nada amigo Saludos desde Ecuador.
bacan era lo que estaba buscando, muchas gracias
Maquina hermano
Ante todo quiero darle mis más sinceras felicitaciones por el trabajo entregado en su página donde explica en forma clara y concisa el manejo de Kettle.
Estamos evaluando Pentaho para el banco donde trabajo y soy responsable del área de Arquitectura de Infraestructura y Aplicaciones del Banco de Venezuela.
Tengo una consulta que hacerle dentro de los escenarios que estoy evaluando y quisiera mantener este contacto para un futuro cercano establecer relaciones comerciales.
Debo entregar a la brevedad posible resultados de la evaluación de ETL para un escenario de pruebas con alto volumen en un ventana de tiempo muy riesgosa para la apertura de las oficinas del banco en el ambiente de producción.
Le describiré el escenario y mucho sabré agradecerle si esta herramienta me permite mitigar el riesgo del negocio.
Actualmente en todos los bancos se ejecutan procesos bajo un esquema tradicional de Lectura, Proceso y Escritura en base de datos con un alto volumen de registros y de tablas. Ejm: 20 millones de registros y hasta 800 tablas relacionadas. En promedio el proceso actual dura 3 horas ejecutándose y se arranca a las 4:00 am donde las oficinas comerciales aperturan al público a las 08:00 am.
CASO 1: Ejecución del ETL con Pentaho y ocurre una interrupción en el proceso luego de haber registrado en la BD 12 millones de registros y duró 1 hora y media de ejecución.
Preguntas:
1. El proceso se rearranca nuevamente y se debe eliminar todos los registros ya grabados.
2. El proceso se rearranca nuevamente a partir del último registro grabado.
En ambos casos el proceso ya ha consumido 1 hora y media y tenemos una ventana de tiempo de 3 horas.
CASO 2: Es el mismo caso 1 pero cuando está grabando en la base de datos (500 tablas) algunas no se grabaron y la BD quedó inconsistente.
Preguntas:
1. El proceso se rearranca nuevamente y se debe eliminar todos los registros ya grabados.
2. El proceso se rearranca nuevamente a partir del último registro grabado pero donde tiene el control de la lógica para saber que grabó algunas tablas y otras no.
Agradecido de haberle contactado y esperando recibir una respuesta pronta.
Saludos
Solo espere no pasa nada oiga
Hola, muy bueno tu Tutorial. Soy nuevo en esto, y quisiera saber si tienes mas tutoriales de este tipo, es decir con PDI. Gracias
Muchas gracias excelente video, soy nuevo en esto... Como puedo ponerme en contacto ud
Muy buen video !!!, Gracias
Muy bueno e interesante!
muy buen tutorial!! tenes la continuación que nombrás al final del mismo? Saludos!
Silvana Coman Saludos, muchas gracias por el comentario claro en mi canal de youtube encontras varios tutos ya sea para usar pentaho o SpagoBI ambas open-source.
proximamente estaré haciendo el videotutorial de JBPM integrandolo con aplicaciones externas.
el dim_tiempo es un bucle infinito, nunca dejara de actualizar datos, se debe detener el proceso una vez que se carguen los 1000 registros
Saludos excelente comentario, realmente este "paso" tratará de llegar al máximo valor definido. Este no es un método eficiente para llevarlo a producción pero para fines didácticos estaría bien. La finalidad del bloque es tener un repositorio de registros de tiempo hasta el día actual para construir los cubos.
buenas noches sr joseph estoy empezando a utilizar pentaho y me gustaria ver un tutorial de extraccion de datos desde google analytics con pentaho
Percy Ccancce Saludos, no he realizado ese tipo de PDI pero voy a investigar para poder subir un tuto sobre integración con Google Analytics.
Gracias
excelente video
Hola excelente porque no puedo abrir el drive ?
Hola.. Tengo un execute sql script que ejecuta una funcion n veces dependiendo de la cantidad de registros que recibe en un excel, pero no se como pintar u obtener el response de la ejecucion de dicha funcion... Que paso puedo utilizar para capturar la salida de funcion?
excelente para mi tesis
te funciona los .bak o los actualizo???? me sale error al restaurar la bd
hola disculpa para descargar la base de datos? me pide permisos
EXCELENTISIMO
que sadico como generas el calendario 100pts gracias
Que tal Joseph, una consulta... tu PDI 6 se tarda mas de 5 minutos en cargar... yo lo he descargado y probado... pero tanto PDI como BI Server... se tarda demasiado en iniciar. Tengo Java 8 instalado de 64bits. He probado soluciones anteriores como aumentar memoria ram a pdi, pero, nada funciona. Si tuvieras un tip te lo agradecería.
Luis G Saludos, para esta versión yo uso JDK 7 x64 bits no he tenido problemas, tengo varios proyectos en producción con extracciones de miles de datos con tiempos de respuesta aceptables para ser la versión comunitaria.
Intenta usar usar JDK 7, la PDI de este videotutorial es muy simple y carga muy rápido.
Muchas gracias por tu respuesta... Fíjate que yo tenia mi variable de entorno PETAHO_HOME dirigida al JDK 8, cambie al JRE path y el tiempo de carga mejoro significativamente... estoy instalando el JDK 7 como me recomiendas y probare también los tiempos de respuesta. Gracias por la sugerencia.
Excelente video, gracias!