أتمتة تحليل ملفات PDF المعقدة باستخدام Claude Code و RAG-Anything

يعد تحليل مئات ملفات PDF والجداول المعقدة محليًا مهمة شاقة. لا يتم حل الأمر بمجرد تثبيت الأدوات؛ بل تبدأ الأتمتة الفعلية للعمل عندما يتم تنقية البيانات "المتسخة" وتحويلها إلى سياق عالي النقاء يمكن للذكاء الاصطناعي استيعابه ومعالجته على الفور.

عزل المشاريع ماديًا لمنع الهلوسة

عند استخدام Claude Code، قد تواجه مواقف يجيب فيها على سؤال حول المشروع (أ) بأرقام مأخوذة من المشروع (ب). تحدث هذه الظاهرة عندما تختلط قواعد بيانات المتجهات (Vector Databases) أو الرسوم البيانية للمعرفة (Knowledge Graphs). لمنع ذلك، يجب تصميم هيكل مجلدات معياري داخل جذر المشروع وتثبيت المسارات.

الهيكل الأكثر تنظيمًا هو وضع الملفات الأصلية في docs/raw/ ونتائج تحويل MinerU في docs/output/ وفهارس الرسم البياني للمعرفة لـ RAG-Anything في docs/context_db/. بهذا الفصل، لن تتداخل ملفات الحالة مثل kv_store_doc_status.json.

لجعل Claude Code ينظر فقط إلى هذا المسار، يلزم إعداد ملف .claudecode/config.json.

1. أنشئ دليل .claudecode في جذر المشروع.
2. أضف rag-anything إلى قسم mcpServers داخل config.json.
3. في إعدادات env قم بتعيين قيمة RAG_STORAGE_DIR لتكون ./docs/context_db.

بمجرد الانتهاء من هذا الإعداد، سيعتمد الذاء الاصطناعي فقط على البيانات الموجودة في المسار المحدد، مما يرفع دقة الإجابات ويزيل خطر اختلاطها مع بيانات عملاء آخرين.

تقنية إضافة الهوامش لتحسين معدل التعرف على الجداول في MinerU

تؤدي ملفات PDF الممسوحة ضوئيًا أو التخطيطات متعددة الأعمدة إلى تدهور معدل التعرف الضوئي على الحروف (OCR). إذا كان الجدول ملتصقًا تمامًا بحافة الصفحة، فقد يخطئ نموذج اكتشاف التخطيط YOLO ويعتبره إطارًا للصفحة ويحذفه بالكامل. الحل بسيط: أضف هامشًا أبيض يبلغ حوالي 40 بكسل حول الصورة.

في الواقع، الجداول الملتصقة بالحواف قد لا يتجاوز معدل التعرف عليها 3% بدون هوامش، ولكن بإضافة هامش 40 بكسل، يرتفع المعدل إلى 98%. بالنسبة للمستندات الممسوحة ضوئيًا الباهتة، استخدم OpenCV لضبط التباين. طبق المعادلة التالية لتعديل قيمة $\alpha$ (التباين) بين 1.0 و 3.0 لجعل حدود الأحرف أكثر وضوحًا.

$$g(i,j) = \alpha \cdot f(i,j) + \beta$$

بعد تطبيق تقنية CLAHE باستخدام سكريبت Python وإدخالها إلى MinerU، ستزداد كمية البيانات المستخرجة من الجداول عشرات المرات. إن إجبار الذكاء الاصطناعي على قراءة مستندات باهتة بالعين المجردة هو مجرد إضاعة للوقت.

منع توقف النظام بسبب نقص VRAM

أكبر عقبة عند معالجة كميات كبيرة من المستندات محليًا هي ذاكرة وحدة معالجة الرسومات (GPU). على الرغم من سرعة إصدار MinerU 2.5، إلا أنه في بيئات VRAM التي تقل عن 24 جيجابايت، غالبًا ما يتوقف النظام أثناء معالجة ملفات PDF الضخمة. ولضمان الاستقرار، يجب خفض بارامتر num_batch من القيمة الافتراضية 512 إلى 32 أو 64.

1. في ملف إعدادات MinerU، قم بتعديل num_batch إلى 32 و gpu_memory_utilization إلى 0.7.
2. إذا كنت تستخدم بيئة Linux، فقم بتقييد تخصيص الذاكرة الزائد (Memory Overcommit) في /etc/sysctl.conf.
3. أنشئ ملف مبادلة (Swap File) بحجم 8 جيجابايت أو أكثر للاستعداد لحالات ذروة استهلاك الذاكرة.

قد يؤدي تقليل حجم الدفعة (Batch size) إلى إبطاء سرعة المعالجة قليلاً، ولكنه يمنع الإغلاق القسري للعملية في منتصف المهمة. الاستقرار في إتمام العمل أهم من السرعة.

تصميم المطالبات (Prompts) لإنشاء مسودات التقارير

بعد الانتهاء من فهرسة البيانات، حان وقت استخراج النتائج. بما أن RAG-Anything يقوم بهيكلة العلاقات بين الجداول والمعادلات، يمكنك طرح استفسارات مركبة في Claude Code. تصبح أوامر مثل "قارن جدول مبيعات الربع الثالث مع المواصفات التقنية الحالية" ممكنة.

لتقليل الوقت المستغرق في كتابة التقارير الأسبوعية المتكررة، استخدم قوالب واضحة:

• ضع البيانات المراد تحليلها داخل وسم <context> وحدد تنسيق المخرجات في وسم <format>.
• قسم التعليمات إلى خطوات، مثل: "استخرج أرقام المبيعات من كل مستند، وقارنها بمؤشرات التكلفة، ثم استخلص النتائج".
• لمنع اختلاق أرقام غير موجودة، اجبره على عرض 'لا توجد بيانات' أو 'يتطلب التحقق'.

باعتماد سير العمل هذا، يمكن للمحلل التركيز فقط على مراجعة المسودة التي أعدها الذكاء الاصطناعي، بدلاً من إضاعة الوقت في مطابقة البيانات المصدرية يدويًا.