PDFの中身をAIが正確に読み解く！ベンチマーク1位のオープンソースPDF解析ツール — opendataloader-pdf

アーキテクチャ・仕組み

opendataloader-pdfは、Javaベースの決定論的（ルールベース）ローカル処理エンジンを核としており、convert() を呼ぶたびにJVMプロセスが起動する構造です。シンプルなページはローカルで高速処理（0.02秒/ページ）し、複雑なページ（表・スキャン・数式・チャート）はAIバックエンドに自動的にルーティングする「ハイブリッドモード」を備えています。

• 読み順解析: XY-Cut++アルゴリズムにより、多段組・サイドバー・混在レイアウトでも正しい読み順を再現
• AIバックエンド: ハイブリッドモードでもローカルで動作し、クラウドへのデータ送信は不要
• 画像説明生成: SmolVLM（256Mパラメータ）という軽量ビジョンモデルを使用

対応環境・プラットフォーム

• 言語/SDK: Python 3.10+、Node.js、Java
• 必須要件: Java 11+（JVMプロセスとして動作するため）
• GPU: 不要（CPU のみで動作）
• OCR対応言語: 英語、韓国語、日本語、中国語（簡体・繁体）、ドイツ語、フランス語、アラビア語など80言語以上

パフォーマンス・ベンチマーク

8コア以上のマシンでマルチプロセスバッチ処理すると毎秒100ページ以上のスループットを実現。ベンチマーク環境はApple M4。

出力形式

• JSON: バウンディングボックス（座標）、要素タイプ、ページ番号などの構造化データ
• Markdown: LLMのコンテキスト入力やRAGチャンキングに最適
• HTML: Web表示用
• Annotated PDF: 検出された構造を可視化したデバッグ用PDF
• Text: プレーンテキスト

主要な機能一覧

• テキスト抽出（正しい読み順保証）
• 全要素にバウンディングボックス付与
• 表抽出（罫線あり・なし両対応）
• 見出し階層検出
• リスト検出（番号付き・箇条書き・ネスト対応）
• 画像抽出（座標付き）
• OCR（スキャンPDF、80言語以上）
• 数式のLaTeX変換
• AIによるチャート・画像の説明文生成
• Tagged PDF構造の読み取り
• AIセーフティ（プロンプトインジェクション攻撃の自動フィルタリング）
• ヘッダー・フッター・透かしのフィルタリング
• 機密データのサニタイズ（--sanitize オプション）

AIセーフティ機能

PDFに仕込まれたプロンプトインジェクション攻撃（透明テキスト、ゼロサイズフォント、ページ外コンテンツなど）を自動検出・除去する機能を標準搭載。

連携・プラグイン

• LangChain: langchain-opendataloader-pdf パッケージで公式統合
• Hancom Data Loader: エンタープライズ向けAI文書解析との連携を予定（2026年Q2-Q3）

PDFアクセシビリティ対応

• PDF Association および Dual Lab（veraPDF開発元）との共同開発
• Well-Tagged PDF仕様に準拠し、veraPDFによる自動検証
• パイプライン: 監査 → 自動タグ付け → Tagged PDF → PDF/UA出力
• 自動タグ付け（Apache 2.0、無料）: 2026年Q2リリース予定
• PDF/UA出力・アクセシビリティスタジオ: エンタープライズ版

制約・注意点

• Word/Excel/PowerPointファイルは非対応（PDFのみ）
• convert() は呼び出しごとにJVMプロセスを起動するため、繰り返し呼び出しは非効率（バッチ処理推奨）
• 自動タグ付け機能はまだリリースされていない（2026年Q2予定）

ライセンス

• バージョン2.0以降: Apache License 2.0（完全に許容的、商用利用自由）
• バージョン2.0未満: Mozilla Public License 2.0
• MPL 2.0からApache 2.0への変更理由: ファイルレベルのコピーレフトが企業導入時の法務レビューの障壁になっていたため

Python での導入（Java 11以上が必要）

# Javaがインストールされているか確認
java -version

# パッケージをインストール
pip install -U opendataloader-pdf

import opendataloader_pdf

# PDFをMarkdownとJSONに変換
opendataloader_pdf.convert(
    input_path=["file1.pdf", "file2.pdf", "folder/"],
    output_dir="output/",
    format="markdown,json"
)

Node.js での導入

npm install @opendataloader/pdf

ハイブリッドモード（高精度・OCR対応）

pip install -U "opendataloader-pdf[hybrid]"

# ターミナル1: バックエンドサーバー起動
opendataloader-pdf-hybrid --port 5002

# ターミナル2: PDF処理
opendataloader-pdf --hybrid docling-fast file1.pdf file2.pdf folder/