Estoy trabajando en un RAG para extraer información de algunos pdf, pero veo algunas deficiencias al tener que someter la información a segmentación. El proceso que uso es segmentar el pdf en chunks, crear los embeddings, vectorizarlos; y para obtener la información hacer una búsqueda por similaridad. Algunas deficiencias que he detectado: Al consultar los autores del documento me brinda cualquier otra información. Esto se debe, asumo, a que tanto el título, como el nombre de los autores no son apropiadas para presentar un alto porcentaje de similaridad con la pregunta. 2. En párrafos grandes los chunks pierden bastante información. 3. En párrafos pequeños o títulos la información se puede asociar con el párrafo que lo antecede y por lo tanto la respuesta puede quedar mal. 4. Obtener resúmenes de los documentos resulta imposible. Creo que gran parte de estos problemas podrías asociarse con el modelo utilizado. Tal vez cuando podamos entrenar nuestros propios modelos. El RAG resulte más eficiente. Eso apreciación, no se si en su experiencia esto ya ha sido resuelto. Gracias por el video.
Se podría decir que no es muy eficiente o confiable por ahora la información que te da?? Estaba pensando en implementar un RAG pero esto que comentas me parece muy interesante.
@@code1866 La tecnología es muy eficiente y rápida y en muchas consultas me ha parecido genial, pero creo que hay que hacer un tunning a los embeddings que devuelve la consulta. Estoy trabajando en: una vez recibidos los chunks más similares analizarlos para ver si contienen la idea completa. Si no inicia con mayúscula lo uno con el chunk anterior, si no termina con punto lo complemento con el chunk posterior. El problema que tengo es que no encuentro cómo consultar por chunk. Espero resolverlo pronto.
Recuerdo cuando OpenAI dijo que ahora podíamos adjuntar archivos pdf en la conversación con ChatGPT. Pero nunca nos dijo que se llamaba RAG. Lo que me hace pensar que estamos usando RAG sin saberlo (o sin conocerlo por ese nombre) desde hace tiempo. Desafortunadamente muchos creadores de contenido no han mostrado esto del RAG de forma muy clara
Ojalá alguien haga un video titulado "Cómo crear una IA con tus propios datos, para super novatos explicado pasito a pasito". Tengo mucha información en vídeo, texto y audio sobre un proceso judicial muy complejo, y sería fabuloso poder crear una propia IA con estos datos y poder preguntarle cosas, en vez de perder horas y horas buscando la información entre miles de documentos de todo tipo.
Curso RAG paso a paso, con todos los pasos explicados -> www.skool.com/llm-master-3225/
Me estoy enamorando soy varón me gusta mucho la ciencia informática gracias bro.
Estoy trabajando en un RAG para extraer información de algunos pdf, pero veo algunas deficiencias al tener que someter la información a segmentación.
El proceso que uso es segmentar el pdf en chunks, crear los embeddings, vectorizarlos; y para obtener la información hacer una búsqueda por similaridad.
Algunas deficiencias que he detectado:
Al consultar los autores del documento me brinda cualquier otra información.
Esto se debe, asumo, a que tanto el título, como el nombre de los autores no son apropiadas para presentar un alto porcentaje de similaridad con la pregunta.
2. En párrafos grandes los chunks pierden bastante información.
3. En párrafos pequeños o títulos la información se puede asociar con el párrafo que lo antecede y por lo tanto la respuesta puede quedar mal.
4. Obtener resúmenes de los documentos resulta imposible.
Creo que gran parte de estos problemas podrías asociarse con el modelo utilizado. Tal vez cuando podamos entrenar nuestros propios modelos. El RAG resulte más eficiente.
Eso apreciación, no se si en su experiencia esto ya ha sido resuelto.
Gracias por el video.
Se podría decir que no es muy eficiente o confiable por ahora la información que te da?? Estaba pensando en implementar un RAG pero esto que comentas me parece muy interesante.
@@code1866 La tecnología es muy eficiente y rápida y en muchas consultas me ha parecido genial, pero creo que hay que hacer un tunning a los embeddings que devuelve la consulta.
Estoy trabajando en: una vez recibidos los chunks más similares analizarlos para ver si contienen la idea completa. Si no inicia con mayúscula lo uno con el chunk anterior, si no termina con punto lo complemento con el chunk posterior.
El problema que tengo es que no encuentro cómo consultar por chunk. Espero resolverlo pronto.
Recuerdo cuando OpenAI dijo que ahora podíamos adjuntar archivos pdf en la conversación con ChatGPT. Pero nunca nos dijo que se llamaba RAG. Lo que me hace pensar que estamos usando RAG sin saberlo (o sin conocerlo por ese nombre) desde hace tiempo. Desafortunadamente muchos creadores de contenido no han mostrado esto del RAG de forma muy clara
Excelente video. Me gustaría ver la forma de configurar los rag para obtener resultados mas optimizados con llama Index
Ojalá alguien haga un video titulado "Cómo crear una IA con tus propios datos, para super novatos explicado pasito a pasito". Tengo mucha información en vídeo, texto y audio sobre un proceso judicial muy complejo, y sería fabuloso poder crear una propia IA con estos datos y poder preguntarle cosas, en vez de perder horas y horas buscando la información entre miles de documentos de todo tipo.
estoy preparando justo ese video, estará en unas semanas
@@llmmaster_ lo hiciste?