Written with AI assistance from the source video. The video is the authority.
6:17Better Stack
Log in to leave a comment
No posts yet
何百ものPDF、PPT、ExcelファイルをRAGシステムに詰め込むために毎週5時間も残業しているなら、その原因は断片化された解析ライブラリにあります。PyPDF2やopenpyxlを混在させる既存の構造は、コードの複雑性を高めるだけです。MicrosoftのMarkItDownを導入すれば、複雑な分岐処理ロジックを排除できます。
パイプラインをリファクタリングする際は、プロセッサ・ファクトリ・パターンを使用してください。
この構造により、解析エンジンを独立してスケーリングさせることが可能になります。表の構造が維持されれば、LLMが文書を読み取る際の表の保存エラーを34%削減できます（Microsoft 2024年発表基準）。
埋め込み（Embedding）のトークンコストは、Markdownファイルの長さに直接比例します。MarkItDownが出力した結果には、LLMに送信する必要のないメタデータやノイズが含まれています。これらを取り除くだけで、APIコストを30%削減可能です。
効率的なフィルタリングロジックを構築してください。
トークンの効率性を追求すれば、毎月のエンタープライズAPIコストを劇的に抑えることができます。
ライブラリのバージョンが変わると、解析結果も微妙に変化します。エンジニアが一つひとつファイルを開いて手動で検証するような作業はやめましょう。スナップショットテストを導入すれば、品質低下を即座に検知できます。
回帰を防ぐための単体テスト環境を構築してください。
この自動化体系は、毎週5時間もかかっていた手動対照作業を解消します。
何千もの文書を順次処理するのは、システム資源の無駄遣いです。concurrent.futures.ProcessPoolExecutorを使用してバッチ処理を並列化すれば、数日かかっていた作業を数時間で終わらせることができます。
並列化アーキテクチャは以下のように実装してください。
この手法は、データの鮮度を維持しつつ、システムリソースを効率的に活用するのに役立ちます。