Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Si pasa 5 horas extras cada semana tratando de introducir cientos de archivos PDF, PPT y Excel en su sistema RAG, la causa del problema es la fragmentación de las bibliotecas de análisis. La estructura existente que mezcla PyPDF2 o openpyxl solo aumenta la complejidad del código. La adopción de MarkItDown de Microsoft le permite eliminar la compleja lógica de ramificación.
Al refactorizar la canalización, utilice el patrón de fábrica de procesadores (processor factory pattern):
Esta estructura permite escalar el motor de análisis de forma independiente. Mantener la estructura de las tablas reduce los errores de conservación de tablas en un 34% cuando el LLM lee el documento (según datos publicados por Microsoft en 2024).
Los costos de tokens de incrustación (embedding) son directamente proporcionales a la longitud del archivo Markdown. Los resultados extraídos por MarkItDown contienen metadatos o ruido que no es necesario enviar al LLM. Con solo filtrar esto, puede reducir los costos de API en un 30%.
Construya una lógica de filtrado eficiente:
Optimizar la eficiencia de los tokens puede reducir notablemente los costos mensuales de la API empresarial.
Cuando las versiones de las bibliotecas cambian, los resultados del análisis también pueden desviarse ligeramente. Deje de realizar verificaciones manuales en las que los ingenieros abren los archivos uno por uno. La introducción de pruebas de instantáneas puede detectar la degradación de la calidad al instante.
Cree un entorno de pruebas unitarias para prevenir regresiones:
Este sistema de automatización elimina las tareas de comparación manual que consumían 5 horas cada semana.
Procesar miles de documentos de forma secuencial es un desperdicio de sistema. Al usar concurrent.futures.ProcessPoolExecutor para paralelizar el procesamiento por lotes, puede terminar en unas pocas horas tareas que antes tomaban días.
Implemente la arquitectura de paralelización de la siguiente manera:
Este método ayuda a utilizar los recursos del sistema de manera eficiente mientras mantiene la actualización de los datos.
