PDFテキスト抽出

PDFには段落が存在しません。存在するのは、座標にグリフを配置せよという指示——「この文字をx=72, y=708の位置に、このフォント・このサイズで描け」——であり、それが1ページに数千回繰り返されています。テキスト抽出とは、それらの指示を集め、描画された位置から単語と行を組み立て直すことです。

これはOCRではなく、その違いが重要です

OCRはページの画像を見て、形を文字として認識します。誤認はつきものです。テキスト抽出は、文書がすでに格納している文字を、正確にそのまま読み取ります。テキストレイヤーが存在すれば結果は完璧です。OCRが確実に混同する文字——rnとm、lと1——を含め、すべての文字が再現されます。

テキストレイヤーが存在しない場合（スキャンされたページは写真であり、写真に文字は含まれていません）、抽出できるものは何もありません。ツールは、黙って結果を返してファイルが壊れたと誤認させるのではなく、空だったページの数を報告します。そうした文書に適しているのはOCRであり、これはまったく別のソフトウェアです。

改行の再構築

pdf.jsが返すテキスト項目は、行ではなく位置情報を持つ断片です。単純にスペースでつなげると1ページが1つの長い段落になり、レイアウトのある文書では読めたものではありません。そこで各断片の縦座標を直前の断片と比較します。意味のある幅で下がっていれば新しい行、さらに大きく下がっていれば段落の区切り、同じ高さなら行の継続です。

これは近似手法であり、その点を偽りなく伝えています。限界が最も表れるのは段組レイアウトです。抽出処理はグリフが描かれた順に読むため、2段組の学術論文では、1段ずつではなく段を横断する順序になることがよくあります。これを解決するには本格的なレイアウト解析が必要ですが、レイアウト解析は推測を行うものです。

合字、ハイフン、消えたスペース

抽出テキストには、頻出するため知っておく価値のある3つの現象があります。合字（fiやfflを1つのグリフで表したもの）は、見た目は正しいのに「fi」での検索に一致しない1文字として抽出されることがあります。行の折り返しでハイフン継ぎになっている単語は、ハイフンが文書内の実際の文字であるため、ハイフン付きのまま抽出されます。そして、2つの単語の間にスペースがない場合は、通常、スペース文字を書き込まずに単語を別々の位置に配置したことを意味します。組版ソフトウェアで組まれたテキストでよく見られる現象です。

すべての処理はタブの中で完結します

抽出処理はお使いのブラウザ内で動作します。これは多くのツール以上に重要です。テキストを抽出される文書は契約書、報告書、明細書であり、抽出されたテキストとは、まさにその内容を検索可能にし、grepでき、どこにでも貼り付けられる形にしたものだからです。