Intelligentes OCR vs Generisches OCR: Benchmark bei Mexikanischen Rechtsdokumenten
Wie gut liest ein OCR mexikanische Rechtsdokumente? Das hängt enorm davon ab, welches OCR Sie verwenden.
Wir haben einen Test mit 196 echten Rechtsdokumenten durchgeführt: Gesellschaftsverträge, Vollmachten, öffentliche Urkunden und Handelsverträge. Wir verglichen ein generisches Cloud-API-OCR mit einem Fine-Tuned-OCR-Modell (speziell mit mexikanischen Rechtsdokumenten trainiert).
Das Problem mit generischem OCR
Mexikanische Rechtsdokumente haben Eigenschaften, die sie für Standard-OCR besonders herausfordernd machen.
Die notarielle Typografie variiert zwischen Notariaten: einige verwenden klassische Serifenschriften, andere komprimierte Schriften zum Platzsparen. Stempel und Unterschriften überlagern den Text und erzeugen visuelles Rauschen. Kapital- und Beteiligungstabellen haben nicht-standardisierte Formate. Und einige Dokumente sind Kopien von Kopien mit fortschreitender Qualitätsverschlechterung.
Ein generisches OCR — trainiert mit englischen Dokumenten, standardisierten Formularen und sauberem Text — ist darauf schlicht nicht vorbereitet.
Die Ergebnisse
Wir verarbeiteten alle 196 Dokumente mit beiden Systemen und maßen die Extraktionsabdeckung: welcher Prozentsatz der relevanten Felder (Firmenname, Kapital, Gesellschafter, Vollmachten, Unternehmenszweck) korrekt extrahiert wurde.
Generisches OCR (Cloud-API): 63% Abdeckung. Von 10 Feldern waren 4 falsch oder wurden nicht extrahiert.
Fine-Tuned OCR (lokales Modell): 94% Abdeckung. Von 10 Feldern scheiterte weniger als 1.
Der Unterschied ist nicht marginal. Es ist der Unterschied zwischen einem System, das manuelle Überprüfung von allem erfordert, und einem, bei dem Sie nur Ausnahmen prüfen.
Warum Fine-Tuning funktioniert
Das Fine-Tuned OCR wurde mit einem Korpus echter mexikanischer Rechtsdokumente trainiert. Es lernte, notarielle Typografie zu erkennen, überlagerte Stempel und Unterschriften zu ignorieren, Kapitaltabellen in verschiedenen Formaten zu interpretieren und die Qualitätsverschlechterung beglaubigter Kopien zu handhaben.
Es ist keine Magie — es ist Training mit den richtigen Daten. Dasselbe Prinzip, nach dem ein Anwalt mit 10 Jahren Erfahrung einen Gesellschaftsvertrag schneller liest als ein Referendar.
Kostenimplikationen
Über die Genauigkeit hinaus gibt es eine Kostenimplikation, die wenige Unternehmen berücksichtigen. Ein OCR mit 63% Abdeckung erfordert, dass ein Mensch die verbleibenden 37% überprüft und korrigiert. Diese Korrekturkosten, multipliziert mit Hunderten oder Tausenden von Dokumenten, übersteigen häufig die Kosten der automatischen Verarbeitung.
Dieser Benchmark wurde mit Fullkro von Leeuwwolk durchgeführt. Methodik und Daten verfügbar auf theprivatestack.com.