𝗦𝘁𝗼𝗽 𝗺𝗲𝘁 𝗵𝗲𝘁 𝗽𝗮𝗿𝘀𝗲𝗻 𝘃𝗮𝗻 𝗣𝗗𝗙'𝘀 𝘁𝗶𝗲𝗻𝘀 𝗵𝗲𝘁 𝗿𝗲𝗻𝗱𝗲𝗿𝗲𝗻
De meeste frontend PDF-extractietools falen.
Ontwikkelaars proberen de documentstructuur te raden op basis van de visuele output. Ze kijken naar gerenderde pixels om kolommen, tabellen of lijsten te vinden. Ze gebruiken computer vision of pixelnabijheid om te bepalen waar een kader begint.
Dit is de verkeerde manier om te bouwen.
Een PDF bevat al expliciete structurele gegevens in de operator stream. Een tabel is niet zomaar een groep nabijgelegen pixels. Het wordt getekend met specifieke commando's zoals moveTo, lineTo, of rectangle. De grenzen die je wilt vinden, zijn al gecodeerd in de bron.
Als je extractor bij 100% zoom andere kolommen geeft dan bij 150% zoom, dan extraheer je geen structuur. Je bent visuele artefacten aan het patroonmatchen.
Stop met het gebruiken van visuele heuristieken. Begin met het parsen van de operator stream.
Waarom de operator stream beter is:
- Het is deterministisch. Het werkt op dezelfde manier, ongeacht de schaal of font hinting.
- Het gebruikt echte data. Je gebruikt de daadwerkelijke paden en coördinaten die door de maker zijn gedefinieerd.
- Het voorkomt rekenfouten. Bijvoorbeeld: het gebruik van middelpunten tussen tekstcentra om zones te vinden, leidt tot afrondingsfouten. Het gebruik van de werkelijke bovenrand van een bounding box is de enige juiste manier.
De moeilijke weg is de juiste weg.
Je moet de CTM-stack begrijpen. Je moet matrixtoestanden bijhouden en subpaden classificeren. Je moet de PDF-specificatie en de broncode lezen om dit onder de knie te krijgen.
Dit kost vooraf meer moeite. Maar het werkt voor elke PDF die een gebruiker uploadt. Pixelgebaseerde tools werken alleen voor de weinige bestanden in je testsuite.
Bouw een echte extractor, geen demo.