Utvärdering och anpassning av en förbättrad OCR-process vid massdigitalisering
Förväntningarna är höga på kulturarvsinstitutionernas kapacitet att tillhandahålla sina samlingar i digitalt format. Datadriven forskning har blivit ett centralt begrepp inom humaniora och samhällsvetenskaplig forskning. Kungliga bibliotekets (KB:s) samlingar av digitaliserade dagstidningar kan i detta perspektiv betraktas som unika kulturella dataset med information som inte förmedlas via andra medietyper. Det digitala formatet möjliggör tillämpningar och bearbetningar som inte är möjliga så länge materialet hanteras i sitt tryckta format.
Eftersom texter inte längre enbart läses utan också bearbetas algoritmiskt ökar kraven på tillförlitlighet. Tekniken för att överföra bild till maskinläsbar text – OCR – är av avgörande betydelse för möjligheten att göra dessa resurser tillgängliga men metodens kapacitet varierar med typ av dokument. Detta blir särskilt tydligt i digitaliseringen av dagstidningar där faktorer som tryckteknik, layout och papperskvalitet ofta försämrar korrektheten hos den OCR-producerade texten.
För att förbättra produktionen av maskinläsbar text initierade KB ett projekt med syfte att utveckla en modul för OCR-bearbetning där centrala parametrar kan justeras för att matcha specifik karaktäristik hos källmaterialet. Denna projektansökan syftar till att genomföra en formell utvärdering av, samt förbättra detta redskap genom systematiska textanalyser, lexikon och ordlistor med målet att det ska implementeras KB:s massdigitaliseringsprocess för dagstidningar.
Slutredovisning
Projektets syfte
Syftet med projektet var att finjustera och utvärdera en testplattform för OCR-produktion (fortsättningsvis refererad till som OCR-modulen). Modulen utvecklades av Kungliga biblioteket (KB) i samarbete med det norska mjukvaruföretaget Zissor 2017 och är baserad på två programvaror för OCR-produktion: ABBYY FineReader version 11.1.16 och Tesseract version 4.0. Modulen baseras på principen att resultatet från respektive OCR-program jämförs på ordnivå. I de fall orden överensstämmer ges resultatet en högre tillförlitlighetsgrad än i de fall då orden inte överensstämmer. När det föreligger en sådan skillnad vidtar ett antal bearbetningssteg enligt ett fastställt schema där olika ordkandidater jämförs och poängsätts. Det slutgiltiga valet blir då det alternativ som viktas högst. OCR-modulens design möjliggör också justering och kontroll av några nyckelparametrar i efterbearbetningen i OCR-processen – t.ex ordböcker, språkliga algoritmer och anpassning utifrån typografi och utformning – för att matcha typiska drag för tidningen som tryckt produkt i ett historiskt perspektiv där egenskaper som språkkonventioner och layout förändras över tid.
Projektets resultat
För att möjliggöra projektets syfte utarbetades en guldstandard, det vill säga ett felfritt digitalt referensmaterial, innehållande 402 sidor hämtade från tidningar från 1818 till 2018 – den tidsperiod som projektet omfattade. Först valdes 201 digitaliserade tidningar, en från varje år under perioden. Dessa tidningar var noggrant utvalda för att återspegla typiska variationer i layout och typografi. I nästa steg valdes två sidor från varje tidning – den andra och den fjärde. I det tredje steget segmenterades bildfilen för varje sida ner till paragrafnivå där varje segment, sammanlagt 43613 i hela referensmaterialet, markerades med ett ID-nummer. Slutligen fastställdes transkriptionsinstruktioner och bildfilerna skickades till en extern byrå för manuell avskrift. Transkriptionsprocessen baserades på double-keying där två personer transkriberar samma text och resultaten sedan jämförs för att upptäcka eventuella felaktigheter. Materialet genomgick också en manuell annotering där karaktäristik på sid- och segmentnivå noterades. För denna bearbetning anställdes två studenter med bakgrund inom språkteknologi och lingvistik som klassificerade alla sidor och stycken i enlighet med fördefinierade attribut. Resultaten från denna klassning noterades under respektive segment-ID i ett kalkylark.
Kvantitativ utvärdering
Vi genomförde en initial utvärdering på det kompletta materialet för att fastställa en baseline. Denna körning utfördes för vardera OCR-program separat samt i OCR-modulen. Inga externa ordlistor användes. Resultaten visade att OCR-modulen presterar bättre än vart och ett av de enskilda OCR-programmen på teckennivå. På ordnivå fanns ingen avgörande förbättring.
Vi gjorde sedan flera systematiska utvärderingar på specifika tidsperioder och analyserade utvärderingsresultaten för var och en av dem separat. Vi försökte förbättra resultaten i relation till vår baseline genom att kombinera OCR-modulen och de separata OCR-systemen med externa ordlistor från tre olika tidsperioder samt med en ordlista med namnentiteter. Vi tillämpade först ett naivt tillvägagångssätt genom att helt enkelt jämföra ordsträngar (det lexikala ordet och det felaktiga ordet), vilket endast ledde till mindre förbättringar på ordnivån. Ett andra tillvägagångssätt vi försökte var att beräkna likhetspoängen mellan ordsträngarna och ersätta det felaktiga ordet med det ord som fick lägst poäng. Även om detta tillvägagångssätt var mycket mer framgångsrikt var det beräkningsmässigt ineffektivt eftersom ordkombinationerna ibland tog timmar att bearbeta.
Vi fann också att OCR-modulen ger en förbättrad möjlighet till kvalitetsbedömning av den bearbetade textens korrekthet eftersom den mäter hur många ord på en given sida som har tolkats lika. Denna indikation är alltså inte beroende av OCR-programmens egen förtroendebedömning och kan därför sägas utgöra ett mer användbart mått på textens överensstämmelse med det bearbetade källdokumentet.
Kvalitativ utvärdering
Den språkliga och typografiska analysen av materialet gjordes manuellt genom att undersöka hur layout, pappersegenskaper (t.ex. nedbrytning och missfärgning) och tryckkvalitet påverkade OCR-produktionens korrekthet. Segmenteringen av referensmaterialet ner till paragrafnivå möjliggjorde en hög detaljeringsgrad i denna del av undersökningen. En faktor som påverkar korrektheten i OCR-bearbetningen är att dagstidningstexten ofta är layoutad i spalter. Marginalen mellan sådana spalter kan vara mycken smal och dessutom oregelbunden vilket ibland leder till att OCR-programmet tolkar textrader som sammanhängande trots att de tillhör intilliggande kolumner. Analysen visade att majoriteten av tidningarna under perioden 1818 till 1837 endast innehåller en spalt och som mest innehåller tre spalter (10% av materialet). 60% av tidningar från 1838 till 1857 innehåller tre spalter. Från 1858 till 1997 finns det en större variation. Totalt sett är det vanligaste antalet spalter 3, vilket förekommer i 25% av hela materialet. På paragrafnivå innehåller majoriteten av paragraferna endast en spalt, även om det i vissa fall förekommer paragrafer som i sig omfattar text- och sifferkolumner i tabell eller listformat. Kvaliteten på trycket är generellt sett låg i de flesta tidningar i undersökningen, men förbättras från omkring 2000. Fotografiska bilder förekommer knappt i materialet före 1898. Från 1938 och framåt innehåller nästan alla tidningar fotografiska bilder.
Sned text, där orienteringen av textrader och kolumner avviker horisontellt och vertikalt till följd av brister i tryckprocessen, påverkar korrektheten i OCR-bearbetningen. Denna felkälla är som mest påtaglig i materialet under perioden 1818 till 1857 (förekommer i 13% av materialet). Från 1858 och framåt sjunker den sammantagna förekomster till ca 1%. I materialet ser vi en förekomst av listor och tabeller i cirka 1% av segmenten, en typografisk egenskap som också påverkar kvaliteten på OCR-bearbetningen. Bilder utgör cirka 2% av paragraferna fram till 1937. Från 1938 finner vi bilder i 5% av paragraferna. I många fall behandlas dessa bilder som text i OCR-processen, vilket som tidigare nämnts lägger till ytterligare en felkälla.
Slutsatser
Projektet har visat ett antal fördelar med att tillämpa ett system baserat principen för OCR-modulen där jämförelsen på ordnivå mellan resultaten från två olika OCR-program används som en metod för att förbättra korrektheten i OCR-produktionen.
Vår studie visade också att effekten av att använda externa ordlistor för att stödja OCR-programmen är svår att bedöma eftersom kommersiella mjukvarutillverkare av förståeliga skäl är ovilliga att dela med sig av sin dokumentation avseende vilka principer som ligger till grund för hur ord väljs i tolkningsprocessen. Det finns trots detta skäl att ytterligare undersöka möjliga tillämpningar av anpassade ordlistor och auktoritetsposter för att stödja OCR-bearbetning av material från specifika genrer eller historiska perioder.
Projektet levererade också en strukturerad bild av hur faktorer i källmaterialet (dvs tidningens fysiska egenskaper, layout, förekomst av bilder, brister i tryckprocessen osv ) kan påverka korrektheten i OCR-produktionen.
Slutligen, OCR-modulen erbjuder ett mer tillförlitligt kvalitetsmått när det gäller den producerade textens korrekthet eftersom den baseras på en jämförelse mellan de två OCR-programmens resultat på ordnivå – om båda programmens bearbetning resulterar i samma ord finns det skäl att anta att denna tolkning är mer korrekt än om resultatet skiljer sig åt. Undersökningen visade att de enskilda programmens interna konfidensvärden inte är en tillförlitlig indikation. Metoden som undersökts i projektet skulle därför kunna användas som en form av ”innehållsdeklaration” för den maskinläsbara texten på sidnivå eller för ett dokument i sin helhet.
Projektet har producerat fritt tillgängligt referensmaterial bestående av manuellt transkriberade och kommenterade resurser som kan användas för vidare analys, utbildning och förbättring av svenska OCR-modeller. Projektets metodologi, tillvägagångssätt och resultat har presenterats löpande under arbetet. Sammanlagt har nio artiklar publicerats, varav fem presenterats vid internationella konferenser, två är projektarbeten på masternivå. En ytterligare artikel är under granskning.
OCR-modulen befinner sig i testmiljö och är ännu inte driftsatt i massdigitiseringsprocessen eftersom detta kommer kräva anpassningar av KB:s tekniska infrastruktur. Vi har etablerat kontakter med forskningsgrupper kopplade till nationalbiblioteken i de nordiska länderna med syfte att formalisera ett forskningsinitiativ avseende infrastruktur för OCR-produktion. Vi kommer också, inom ramen för det pågående samarbetet mellan KB och Språkbanken Text/Swe-Clarin, fortsätta våra experiment och analyser med målet att förbättra OCR-produktionen på det svenska språket. Resultaten kommer att spridas genom nätverket CLARIN ERIC.
Nya forskningsfrågor som har genererats genom projektet
Förutom de resultat som diskuterats ovan har projektet också genererat flera nya frågor som skulle kunna utgöra utgångspunkter för fortsatt forskning.
• Vilken roll spelar styrkorna och svagheterna hos de olika OCR-programmen under konverteringsprocessen?
• Vilka lexikaliska resurser, förutom de som används i projektet, kan användas för att förbättra OCR-resultaten?
• Kan vi förbättra OCR-resultaten genom en tydligare koppling mellan den kvalitativa och den kvantitativa analysen?
• Vilka metoder är användbara för att särskilja typografisk information från icke informationsbärande element i textbaserade dokument med komplex layout?
• Vilka metoder och kvalitetsmått kan användas för att stödja bedömningen av korrektheten hos en OCR-behandlad text?
Syftet med projektet var att finjustera och utvärdera en testplattform för OCR-produktion (fortsättningsvis refererad till som OCR-modulen). Modulen utvecklades av Kungliga biblioteket (KB) i samarbete med det norska mjukvaruföretaget Zissor 2017 och är baserad på två programvaror för OCR-produktion: ABBYY FineReader version 11.1.16 och Tesseract version 4.0. Modulen baseras på principen att resultatet från respektive OCR-program jämförs på ordnivå. I de fall orden överensstämmer ges resultatet en högre tillförlitlighetsgrad än i de fall då orden inte överensstämmer. När det föreligger en sådan skillnad vidtar ett antal bearbetningssteg enligt ett fastställt schema där olika ordkandidater jämförs och poängsätts. Det slutgiltiga valet blir då det alternativ som viktas högst. OCR-modulens design möjliggör också justering och kontroll av några nyckelparametrar i efterbearbetningen i OCR-processen – t.ex ordböcker, språkliga algoritmer och anpassning utifrån typografi och utformning – för att matcha typiska drag för tidningen som tryckt produkt i ett historiskt perspektiv där egenskaper som språkkonventioner och layout förändras över tid.
Projektets resultat
För att möjliggöra projektets syfte utarbetades en guldstandard, det vill säga ett felfritt digitalt referensmaterial, innehållande 402 sidor hämtade från tidningar från 1818 till 2018 – den tidsperiod som projektet omfattade. Först valdes 201 digitaliserade tidningar, en från varje år under perioden. Dessa tidningar var noggrant utvalda för att återspegla typiska variationer i layout och typografi. I nästa steg valdes två sidor från varje tidning – den andra och den fjärde. I det tredje steget segmenterades bildfilen för varje sida ner till paragrafnivå där varje segment, sammanlagt 43613 i hela referensmaterialet, markerades med ett ID-nummer. Slutligen fastställdes transkriptionsinstruktioner och bildfilerna skickades till en extern byrå för manuell avskrift. Transkriptionsprocessen baserades på double-keying där två personer transkriberar samma text och resultaten sedan jämförs för att upptäcka eventuella felaktigheter. Materialet genomgick också en manuell annotering där karaktäristik på sid- och segmentnivå noterades. För denna bearbetning anställdes två studenter med bakgrund inom språkteknologi och lingvistik som klassificerade alla sidor och stycken i enlighet med fördefinierade attribut. Resultaten från denna klassning noterades under respektive segment-ID i ett kalkylark.
Kvantitativ utvärdering
Vi genomförde en initial utvärdering på det kompletta materialet för att fastställa en baseline. Denna körning utfördes för vardera OCR-program separat samt i OCR-modulen. Inga externa ordlistor användes. Resultaten visade att OCR-modulen presterar bättre än vart och ett av de enskilda OCR-programmen på teckennivå. På ordnivå fanns ingen avgörande förbättring.
Vi gjorde sedan flera systematiska utvärderingar på specifika tidsperioder och analyserade utvärderingsresultaten för var och en av dem separat. Vi försökte förbättra resultaten i relation till vår baseline genom att kombinera OCR-modulen och de separata OCR-systemen med externa ordlistor från tre olika tidsperioder samt med en ordlista med namnentiteter. Vi tillämpade först ett naivt tillvägagångssätt genom att helt enkelt jämföra ordsträngar (det lexikala ordet och det felaktiga ordet), vilket endast ledde till mindre förbättringar på ordnivån. Ett andra tillvägagångssätt vi försökte var att beräkna likhetspoängen mellan ordsträngarna och ersätta det felaktiga ordet med det ord som fick lägst poäng. Även om detta tillvägagångssätt var mycket mer framgångsrikt var det beräkningsmässigt ineffektivt eftersom ordkombinationerna ibland tog timmar att bearbeta.
Vi fann också att OCR-modulen ger en förbättrad möjlighet till kvalitetsbedömning av den bearbetade textens korrekthet eftersom den mäter hur många ord på en given sida som har tolkats lika. Denna indikation är alltså inte beroende av OCR-programmens egen förtroendebedömning och kan därför sägas utgöra ett mer användbart mått på textens överensstämmelse med det bearbetade källdokumentet.
Kvalitativ utvärdering
Den språkliga och typografiska analysen av materialet gjordes manuellt genom att undersöka hur layout, pappersegenskaper (t.ex. nedbrytning och missfärgning) och tryckkvalitet påverkade OCR-produktionens korrekthet. Segmenteringen av referensmaterialet ner till paragrafnivå möjliggjorde en hög detaljeringsgrad i denna del av undersökningen. En faktor som påverkar korrektheten i OCR-bearbetningen är att dagstidningstexten ofta är layoutad i spalter. Marginalen mellan sådana spalter kan vara mycken smal och dessutom oregelbunden vilket ibland leder till att OCR-programmet tolkar textrader som sammanhängande trots att de tillhör intilliggande kolumner. Analysen visade att majoriteten av tidningarna under perioden 1818 till 1837 endast innehåller en spalt och som mest innehåller tre spalter (10% av materialet). 60% av tidningar från 1838 till 1857 innehåller tre spalter. Från 1858 till 1997 finns det en större variation. Totalt sett är det vanligaste antalet spalter 3, vilket förekommer i 25% av hela materialet. På paragrafnivå innehåller majoriteten av paragraferna endast en spalt, även om det i vissa fall förekommer paragrafer som i sig omfattar text- och sifferkolumner i tabell eller listformat. Kvaliteten på trycket är generellt sett låg i de flesta tidningar i undersökningen, men förbättras från omkring 2000. Fotografiska bilder förekommer knappt i materialet före 1898. Från 1938 och framåt innehåller nästan alla tidningar fotografiska bilder.
Sned text, där orienteringen av textrader och kolumner avviker horisontellt och vertikalt till följd av brister i tryckprocessen, påverkar korrektheten i OCR-bearbetningen. Denna felkälla är som mest påtaglig i materialet under perioden 1818 till 1857 (förekommer i 13% av materialet). Från 1858 och framåt sjunker den sammantagna förekomster till ca 1%. I materialet ser vi en förekomst av listor och tabeller i cirka 1% av segmenten, en typografisk egenskap som också påverkar kvaliteten på OCR-bearbetningen. Bilder utgör cirka 2% av paragraferna fram till 1937. Från 1938 finner vi bilder i 5% av paragraferna. I många fall behandlas dessa bilder som text i OCR-processen, vilket som tidigare nämnts lägger till ytterligare en felkälla.
Slutsatser
Projektet har visat ett antal fördelar med att tillämpa ett system baserat principen för OCR-modulen där jämförelsen på ordnivå mellan resultaten från två olika OCR-program används som en metod för att förbättra korrektheten i OCR-produktionen.
Vår studie visade också att effekten av att använda externa ordlistor för att stödja OCR-programmen är svår att bedöma eftersom kommersiella mjukvarutillverkare av förståeliga skäl är ovilliga att dela med sig av sin dokumentation avseende vilka principer som ligger till grund för hur ord väljs i tolkningsprocessen. Det finns trots detta skäl att ytterligare undersöka möjliga tillämpningar av anpassade ordlistor och auktoritetsposter för att stödja OCR-bearbetning av material från specifika genrer eller historiska perioder.
Projektet levererade också en strukturerad bild av hur faktorer i källmaterialet (dvs tidningens fysiska egenskaper, layout, förekomst av bilder, brister i tryckprocessen osv ) kan påverka korrektheten i OCR-produktionen.
Slutligen, OCR-modulen erbjuder ett mer tillförlitligt kvalitetsmått när det gäller den producerade textens korrekthet eftersom den baseras på en jämförelse mellan de två OCR-programmens resultat på ordnivå – om båda programmens bearbetning resulterar i samma ord finns det skäl att anta att denna tolkning är mer korrekt än om resultatet skiljer sig åt. Undersökningen visade att de enskilda programmens interna konfidensvärden inte är en tillförlitlig indikation. Metoden som undersökts i projektet skulle därför kunna användas som en form av ”innehållsdeklaration” för den maskinläsbara texten på sidnivå eller för ett dokument i sin helhet.
Projektet har producerat fritt tillgängligt referensmaterial bestående av manuellt transkriberade och kommenterade resurser som kan användas för vidare analys, utbildning och förbättring av svenska OCR-modeller. Projektets metodologi, tillvägagångssätt och resultat har presenterats löpande under arbetet. Sammanlagt har nio artiklar publicerats, varav fem presenterats vid internationella konferenser, två är projektarbeten på masternivå. En ytterligare artikel är under granskning.
OCR-modulen befinner sig i testmiljö och är ännu inte driftsatt i massdigitiseringsprocessen eftersom detta kommer kräva anpassningar av KB:s tekniska infrastruktur. Vi har etablerat kontakter med forskningsgrupper kopplade till nationalbiblioteken i de nordiska länderna med syfte att formalisera ett forskningsinitiativ avseende infrastruktur för OCR-produktion. Vi kommer också, inom ramen för det pågående samarbetet mellan KB och Språkbanken Text/Swe-Clarin, fortsätta våra experiment och analyser med målet att förbättra OCR-produktionen på det svenska språket. Resultaten kommer att spridas genom nätverket CLARIN ERIC.
Nya forskningsfrågor som har genererats genom projektet
Förutom de resultat som diskuterats ovan har projektet också genererat flera nya frågor som skulle kunna utgöra utgångspunkter för fortsatt forskning.
• Vilken roll spelar styrkorna och svagheterna hos de olika OCR-programmen under konverteringsprocessen?
• Vilka lexikaliska resurser, förutom de som används i projektet, kan användas för att förbättra OCR-resultaten?
• Kan vi förbättra OCR-resultaten genom en tydligare koppling mellan den kvalitativa och den kvantitativa analysen?
• Vilka metoder är användbara för att särskilja typografisk information från icke informationsbärande element i textbaserade dokument med komplex layout?
• Vilka metoder och kvalitetsmått kan användas för att stödja bedömningen av korrektheten hos en OCR-behandlad text?