现代化遗留文档处理流水线并降低成本

通过整合 Markdown 转换逻辑减少维护成本

如果你还在为了将数百个 PDF、PPT 和 Excel 文件塞入 RAG 系统而每周加班 5 小时，那么问题的根源就在于碎片化的解析库。混用 PyPDF2 或 openpyxl 的旧架构只会增加代码复杂度。引入微软的 MarkItDown 可以帮你彻底清理复杂的条件分支逻辑。

在重构流水线时，请使用处理器工厂模式：

摒弃按格式分散的库，通过 MarkItDown 的 convert() 函数统一调用接口。
根据文档复杂度进行分支处理。简单文本使用轻量级解析器，而对于表格众多的复杂文档，则选择 MarkItDown。
所有依赖项必须通过 Docker 容器（Python 3.11 或更高版本）隔离，并使用 FastAPI 进行部署。

这种结构使得解析引擎可以独立扩展。根据微软 2024 年的发布数据，保持表格结构可以使 LLM 在阅读文档时减少 34% 的表格保留错误。

通过 Markdown 预处理节省 30% 的 API 成本

嵌入 (Embedding) 的 Token 成本与 Markdown 文件长度直接成正比。MarkItDown 的输出结果中往往包含 LLM 无需处理的元数据或噪音。仅通过过滤这些内容，即可降低 30% 的 API 成本。

请构建高效的过滤逻辑：

使用 Python 的 re 模块将连续的换行符 (\n{3,}) 缩减为两个，并利用正则表达式删除重复的底部版权声明或 HTML 标签。
使用 MarkdownHeaderTextSplitter 按标题进行分块。拆分并管理用于检索的子块和用于上下文的父块，可以提高检索准确度。
使用 MD5 哈希值从源头上阻止相同报告的重复嵌入。

优化 Token 效率可以显著降低每月支出的企业级 API 成本。

使用快照测试进行数据质量管理

当库版本更新时，解析结果会产生细微偏差。不要再让工程师手动打开文件进行验证了。引入快照测试可以立即捕捉到质量下降问题。

请创建用于防止回归的单元测试环境：

安装 pytest-regressions 插件，并将转换良好的 Markdown 文件保存为“黄金标准 (Golden Master)”文件。
让测试脚本每次都对比转换结果与黄金标准。一旦出现差异 (diff)，立即发送通知。
使用句子转换器 (Sentence Transformer) 模型衡量原始文件与转换文件之间的余弦相似度。只需将格式保留率低于 0.9 的情况设置为记录日志即可。

这一自动化体系消除了每周耗费 5 小时的手动核对工作。

通过并行处理提高批处理速度

顺序处理数千个文档是对系统的浪费。使用 concurrent.futures.ProcessPoolExecutor 对批处理进行并行化，可以将原本需要数天的工作缩短至数小时。

请按以下方式实现并行架构：

如果服务器内存为 16GB，请将工作线程限制为 20~25 个。强行增加只会导致内存溢出错误。
将文件拆分为 50~100 个的批次，并在每个批次后强制调用垃圾回收 (Garbage Collection) 以修复内存泄漏。
将超过 10MB 的大型 PDF 分离到专用队列中，由高性能工作线程专门处理。

这种方式在保持数据时效性的同时，有助于更高效地利用系统资源。

现代化遗留文档处理流水线并降低成本

通过整合 Markdown 转换逻辑减少维护成本

在重构流水线时，请使用处理器工厂模式：

摒弃按格式分散的库，通过 MarkItDown 的 convert() 函数统一调用接口。
根据文档复杂度进行分支处理。简单文本使用轻量级解析器，而对于表格众多的复杂文档，则选择 MarkItDown。
所有依赖项必须通过 Docker 容器（Python 3.11 或更高版本）隔离，并使用 FastAPI 进行部署。

这种结构使得解析引擎可以独立扩展。根据微软 2024 年的发布数据，保持表格结构可以使 LLM 在阅读文档时减少 34% 的表格保留错误。

通过 Markdown 预处理节省 30% 的 API 成本

请构建高效的过滤逻辑：

使用 Python 的 re 模块将连续的换行符 (\n{3,}) 缩减为两个，并利用正则表达式删除重复的底部版权声明或 HTML 标签。
使用 MarkdownHeaderTextSplitter 按标题进行分块。拆分并管理用于检索的子块和用于上下文的父块，可以提高检索准确度。
使用 MD5 哈希值从源头上阻止相同报告的重复嵌入。

优化 Token 效率可以显著降低每月支出的企业级 API 成本。

使用快照测试进行数据质量管理

当库版本更新时，解析结果会产生细微偏差。不要再让工程师手动打开文件进行验证了。引入快照测试可以立即捕捉到质量下降问题。

请创建用于防止回归的单元测试环境：

安装 pytest-regressions 插件，并将转换良好的 Markdown 文件保存为“黄金标准 (Golden Master)”文件。
让测试脚本每次都对比转换结果与黄金标准。一旦出现差异 (diff)，立即发送通知。
使用句子转换器 (Sentence Transformer) 模型衡量原始文件与转换文件之间的余弦相似度。只需将格式保留率低于 0.9 的情况设置为记录日志即可。

这一自动化体系消除了每周耗费 5 小时的手动核对工作。

通过并行处理提高批处理速度

顺序处理数千个文档是对系统的浪费。使用 concurrent.futures.ProcessPoolExecutor 对批处理进行并行化，可以将原本需要数天的工作缩短至数小时。

请按以下方式实现并行架构：

如果服务器内存为 16GB，请将工作线程限制为 20~25 个。强行增加只会导致内存溢出错误。
将文件拆分为 50~100 个的批次，并在每个批次后强制调用垃圾回收 (Garbage Collection) 以修复内存泄漏。
将超过 10MB 的大型 PDF 分离到专用队列中，由高性能工作线程专门处理。

这种方式在保持数据时效性的同时，有助于更高效地利用系统资源。

现代化遗留文档处理流水线并降低成本

관련 영상

别再这样构建 RAG 流水线了……试试 MarkItDown

现代化遗留文档处理流水线并降低成本

通过整合 Markdown 转换逻辑减少维护成本

通过 Markdown 预处理节省 30% 的 API 成本

使用快照测试进行数据质量管理

通过并行处理提高批处理速度

커뮤니티의 다른 글

사내 시스템에 llm api 붙일 때 마주하는 현실적인 한계와 대응법

레거시 백엔드에 GPT-6 Astra 붙일 때 예산 승인과 보안 통과를 먼저 끝내는 법이 있습니다

에이전트끼리 대화하다 6천만 원 청구서가 나오는 이유

사내 RAG 벡터 검색에 Okta 권한 필터를 직접 거는 방법

브라우저 에이전트에게 내 구글 계정을 통째로 넘기면 안 되는 이유

Apple Won the AI Race

댓글 (0)

现代化遗留文档处理流水线并降低成本

通过整合 Markdown 转换逻辑减少维护成本

通过 Markdown 预处理节省 30% 的 API 成本

使用快照测试进行数据质量管理

通过并行处理提高批处理速度