opendataloader-project/opendataloader-pdf

OpenDataLoader PDF

AI 데이터를 위한 PDF 파서. PDF 접근성을 자동화하세요. 오픈소스.

🔍 AI 데이터 추출을 위한 PDF 파서 — 모든 PDF에서 Markdown, JSON(바운딩 박스 포함), HTML을 추출합니다. 벤치마크 1위(전체 0.907). 결정론적 로컬 모드 + 복잡한 페이지를 위한 AI 하이브리드 모드.

• 정확도는 얼마나 되나요? — 벤치마크 1위: 전체 0.907, 표 정확도 0.928(다중 컬럼 및 과학 논문을 포함한 200개의 실제 PDF 대상). 결정론적 로컬 모드 + 복잡한 페이지를 위한 AI 하이브리드 모드 (벤치마크)
• 스캔된 PDF와 OCR은요? — 네. 하이브리드 모드에서 내장 OCR(80개 이상 언어)을 지원합니다. 300 DPI 이상의 저품질 스캔에서도 작동합니다 (하이브리드 모드)
• 표, 수식, 이미지, 차트는요? — 네. 복잡한/테두리 없는 표, LaTeX 수식, AI 생성 그림/차트 설명 모두 하이브리드 모드를 통해 지원합니다 (하이브리드 모드)
• RAG에 어떻게 사용하나요? — pip install opendataloader-pdf, 3줄로 변환합니다. 청킹을 위한 구조화된 Markdown, 소스 인용을 위한 바운딩 박스가 포함된 JSON, HTML을 출력합니다. LangChain 통합 가능. Python, Node.js, Java SDK 제공 (빠른 시작 | LangChain)

♿ PDF 접근성 자동화 — 태그가 없는 PDF를 스크린 리더가 읽을 수 있는 Tagged PDF로 대규모 자동 태깅합니다. 엔드투엔드로 Tagged PDF를 생성하는 최초의 오픈소스 도구입니다.

• 문제가 무엇인가요? — 접근성 규정이 전 세계적으로 시행되고 있습니다. 수동 PDF 수정은 문서당 $50–200의 비용이 들며 확장이 어렵습니다 (규정)
• 무료로 제공되는 것은 무엇인가요? — 레이아웃 분석 + 자동 태깅(Apache 2.0). 태그가 없는 PDF 입력 → Tagged PDF 출력. 독점 SDK 의존성 없음 (자동 태깅)
• PDF/UA 준수는요? — Tagged PDF를 PDF/UA-1 또는 PDF/UA-2로 변환하는 것은 엔터프라이즈 애드온입니다. 자동 태깅은 Tagged PDF를 생성하고, PDF/UA 내보내기가 최종 단계입니다 (파이프라인)
• 왜 신뢰할 수 있나요? — Dual Lab(veraPDF 개발자)과의 협력, PDF Association 사양, 모범 사례 가이드 및 PDF Community의 전문 지식을 기반으로 구축되었습니다. 자동 태깅은 Well-Tagged PDF 사양을 따르며, veraPDF로 검증됩니다 (협력)

30초 만에 시작하기

요구 사항: Java 11+ 및 Python 3.10+ (Node.js | Java도 사용 가능)

시작하기 전에: java -version을 실행하세요. 찾을 수 없으면 Adoptium에서 JDK 11+를 설치하세요.

pip install -U opendataloader-pdf

import opendataloader_pdf

# 모든 파일을 한 번에 배치 처리 — 각 convert()는 JVM 프로세스를 생성하므로 반복 호출은 느립니다
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="markdown,json"
)

!OpenDataLoader PDF 레이아웃 분석 — 제목, 표, 이미지가 바운딩 박스로 감지됨

주석이 달린 PDF 출력 — 각 요소(제목, 단락, 표, 이미지)가 바운딩 박스와 의미 유형으로 감지됩니다.

이 도구는 어떤 문제를 해결하나요?

기능 매트릭스

추출 벤치마크

opendataloader-pdf [하이브리드]가 전체 1위(0.907)를 기록했습니다(읽기 순서, 표, 제목 추출 정확도 기준).

점수는 [0, 1]로 정규화됨. 정확도는 높을수록 좋고, 속도는 낮을수록 좋음. 굵게 = 최고. 전체 벤치마크 상세

!벤치마크

!품질 분석

어떤 모드를 사용해야 하나요?

빠른 시작

Python

pip install -U opendataloader-pdf

import opendataloader_pdf

# 모든 파일을 한 번에 배치 처리 — 각 convert()는 JVM 프로세스를 생성하므로 반복 호출은 느립니다
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="markdown,json"
)

Node.js

npm install @opendataloader/pdf

import { convert } from '@opendataloader/pdf';

await convert(['file1.pdf', 'file2.pdf', 'folder/'], {
  outputDir: 'output/',
  format: 'markdown,json'
});

Java

<dependency>
  <groupId>org.opendataloader</groupId>
  <artifactId>opendataloader-pdf-core</artifactId>
</dependency>

Python 빠른 시작 | Node.js 빠른 시작 | Java 빠른 시작

하이브리드 모드: 복잡한 PDF를 위한 1위 정확도

하이브리드 모드는 빠른 로컬 Java 처리와 AI 백엔드를 결합합니다. 간단한 페이지는 로컬에서 처리(0.02초)되고, 복잡한 페이지는 AI로 라우팅되어 90% 이상의 표 정확도를 제공합니다.

pip install -U "opendataloader-pdf[hybrid]"

터미널 1 — 백엔드 서버 시작:

opendataloader-pdf-hybrid --port 5002

터미널 2 — PDF 처리:

# 모든 파일을 한 번에 배치 처리 — 각 호출은 JVM 프로세스를 생성하므로 반복 호출은 느립니다
opendataloader-pdf --hybrid docling-fast file1.pdf file2.pdf folder/

Python:

# 모든 파일을 한 번에 배치 처리 — 각 convert()는 JVM 프로세스를 생성하므로 반복 호출은 느립니다
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    hybrid="docling-fast"
)

스캔된 PDF용 OCR

[...truncated...]