Estoy mirando tus videos y voy entendiendo mas de como va la cosa. No entiendo al 100% porqué hay que hacer pequeños trozos del documento. En caso de pasarle un documento que tenga, digamos 20MB de texto, que pasa? explota ollama? Gracias por los videos.
Tenemos que hacer trozos de documentos porque los LLMs tienen un 'context window'(ventana de contexto) limitada, que quiere decir básicamente que no pueden analizar/trabajar con más de un número máximo de palabras. Para entendernos (Los LLM usan tokens que representan palabras o partes de palabras), si le damos al LLM un texto completo y no lo partimos en trozos que pueda analizar, únicamente usará el texto hasta el punto en que su ventana de contexto le permite y lo demás no lo podrá usar. Para saber más sobre los tokens : ua-cam.com/video/bkiQPRuDx-o/v-deo.html
Estoy mirando tus videos y voy entendiendo mas de como va la cosa. No entiendo al 100% porqué hay que hacer pequeños trozos del documento.
En caso de pasarle un documento que tenga, digamos 20MB de texto, que pasa? explota ollama?
Gracias por los videos.
Tenemos que hacer trozos de documentos porque los LLMs tienen un 'context window'(ventana de contexto) limitada, que quiere decir básicamente que no pueden analizar/trabajar con más de un número máximo de palabras.
Para entendernos (Los LLM usan tokens que representan palabras o partes de palabras), si le damos al LLM un texto completo y no lo partimos en trozos que pueda analizar, únicamente usará el texto hasta el punto en que su ventana de contexto le permite y lo demás no lo podrá usar.
Para saber más sobre los tokens : ua-cam.com/video/bkiQPRuDx-o/v-deo.html