Claude Code + RAG-Anything = 한계 없는 가능성

하이라이트

• RAG Anything은 텍스트 문서만 처리 가능한 기존 RAG의 한계를 넘어 이미지, 차트, 그래프가 포함된 비텍스트 문서를 지식 그래프로 변환한다.

• 오픈 소스 파서인 MinerU를 사용하여 문서를 헤더, 본문, 차트, 수식 등의 구성 요소로 자동 분해하고 개별 전문 모델로 처리한다.

• 텍스트 블록은 PaddleOCR로 추출하고 이미지나 차트는 스크린샷으로 캡처하여 GPT 5.4 Mini를 통해 엔티티와 관계를 추출한다.

• 로컬 환경에서 텍스트와 이미지를 분리해 처리하는 방식을 통해 클라우드 LLM에 전체 이미지를 보내는 방식보다 비용과 시간을 절약한다.

• Claude Code의 '스킬' 기능을 활용하면 복잡한 파이썬 스크립트 실행 없이 대화형 명령만으로 비텍스트 문서를 시스템에 업로드할 수 있다.

타임라인

1. 00:00 - 01:39

   비텍스트 문서 처리의 한계와 해결책

   대부분의 RAG 시스템은 차트나 그래프가 포함된 문서를 입력받으면 핵심 정보를 놓치는 구조적 결함이 있다. 어제 구축한 LightRAG 역시 동일한 문제를 안고 있지만 RAG Anything을 도입하면 기존 스택을 유지하면서도 시각 정보 처리가 가능하다. 실제 업무 환경에서 자주 발생하는 스캔된 PDF나 기술 도표를 데이터베이스화하는 것이 이 시스템의 주된 목적이다.

   • 기존 RAG 시스템은 텍스트 데이터만 처리할 수 있어 이미지나 스캔된 PDF 대응에 어려움을 겪는다.
   • RAG Anything은 LightRAG를 감싸는 래퍼 형태로 작동하며 비텍스트 문서를 지식 그래프에 통합한다.
2. 01:40 - 07:31

   MinerU와 모델을 활용한 문서 분해 아키텍처

   시스템 내부에서는 MinerU라는 오픈 소스 프로젝트가 문서의 헤더, 본문, 막대그래프, LaTeX 방정식을 구분하는 역할을 수행한다. MinerU 자체가 내용의 의미를 이해하지는 못하지만 각 요소를 상자 형태로 격리하여 전담 모델로 전달한다. 텍스트는 읽기 가능한 데이터로 변환되고 변환이 불가능한 이미지는 스크린샷 형태로 저장되어 다음 단계를 준비한다.

   • 로컬에서 실행되는 MinerU는 문서를 레이아웃 단위로 정밀하게 분석하여 구성 요소를 식별한다.
   • 식별된 요소들은 PaddleOCR이나 전용 수식 모델을 통해 텍스트와 이미지 버킷으로 분류된다.
3. 07:32 - 13:07

   비용 효율적인 엔티티 추출 및 그래프 병합

   모든 데이터를 한꺼번에 OCR 처리하는 대신 로컬에서 선별적으로 분리하여 GPT 모델에 전송함으로써 처리 비용을 대폭 낮춘다. 추출된 엔티티와 관계 정보는 임베딩 과정을 거쳐 벡터 데이터베이스에 저장되며 최종적으로 기존 시스템과 병합된다. 이 과정을 통해 사용자는 문서의 형식과 상관없이 통합된 하나의 지식 저장소에 질문을 던질 수 있는 환경을 갖추게 된다.

   • 분리된 텍스트와 이미지 데이터는 GPT 5.4를 통해 지식 그래프 구성을 위한 엔티티와 관계로 변환된다.
   • RAG Anything으로 생성된 데이터는 기존 LightRAG의 벡터 데이터베이스 및 지식 그래프와 하나로 합쳐진다.
4. 13:08 - 19:18

   Claude Code를 활용한 설치 및 실전 활용

   설치 과정에서 발생할 수 있는 임베딩 이중 래핑 버그나 구버전 스크립트 문제는 Claude Code가 실시간으로 수정한다. 비텍스트 문서는 별도의 UI 대신 Claude Code 스킬을 호출해 업로드하며 MinerU는 기본적으로 CPU에서 작동하나 필요시 GPU 가속 설정을 지원한다. 실제 테스트에서 SaaS 매출 분석 보고서의 막대그래프 데이터를 정확히 읽어와 월별 매출 추이를 텍스트로 답변하는 성능을 보여준다.

   • 전용 원샷 프롬프트를 사용하면 모델 설정과 라이브러리 의존성 문제를 자동으로 해결하며 설치할 수 있다.
   • 파이썬 스크립트 대신 Claude Code 스킬을 사용하여 자연어로 문서를 수집하고 분석 결과를 조회한다.