Hällristningar i tre dimensioner-dokumentation, forskning och förmedling
Det aktuella infrastrukturprojektet syftar till att etablera ett samarbete mellan arkeologi, datavetenskap och digital humaniora med målet att utveckla ett effektivt verktyg baserat på 3D data för att analysera hällristningar på ett genomgripande sätt. Svenskt Hällristnings Forsknings Arkiv (SHFA) kommer att skapa en interdisciplinär plattform för datadriven analys av hällristningar tillsammans med Centrum för Digital Humaniora vid GU samt med institutionen för data- och informationsteknik vid Chalmers tekniska högskola. Denna tvärvetenskapliga plattform kommer att använda metoder från fält som Computer Vision och Machine Learning för bildigenkänning, objektdetektering och segmentering. Detta ger inte bara den bästa möjliga visualiseringen av hällristningar, men så småningom kommer också maskininlärningsalgoritmen att kunna känna igen bilder, till exempel båtar från olika perioder.
Projektet syftar till att integrera den tvärvetenskapliga plattformen i SHFA: s forskningsinfrastruktur och använda sig av datavisualisering i en mobilapp som kommer att utvecklas under projektettiden. Genom att integrera 3D-data, modern datadriven visualisering och analys förstärker det föreslagna projektet SHFA: s infrastruktur beträffande de tre dimensionerna av hällristningsstudier: dokumentation, forskning och förmedling
Slutredovisning
Slutrapport: Hällristningar i tre dimensioner-dokumentation, forskning och förmedling (IN18-0557:1)
1. Mål, utveckling och resultat
Sveriges hällristningar utgör ett av de mest omfattade och mest välbevarade lämningarna från bronsåldern (BÅ) i Europa. Den tätaste förekomsten finns i UNESCO:s världsarvsområde ”Tanums världsarv”, ca 600 lokaler med över tusen bilder. På senare tid har införandet av ny 3D-dokumentation resulterat i att äldre taktila metoder måste ersättas. Detta har inneburit tre stora utmaningar:
1. Uppdatering av dokumentationsstandarden mot en mer exakt, digital och enhetlig dokumentation, särskilt rörande världsarvsområdet.
2. De nya dokumentationsmetoderna har lett till nya forskningsresultat som behöver förmedlas till allmänheten.
3. Datamängden ökar vilket kräver ny forskningsinfrastruktur, det vill säga verktyg och metoder, för att analysera materialet.
För att lösa dessa problem iscensatte Svenskt Hällristnings Forsknings Arkiv (SHFA) ett tvärvetenskapligt samarbete mellan arkeologi, datavetenskap och digital humaniora. Syftet med detta var att utveckla nya effektiva dokumentationsverktyg med hjälp av 3D-data, Computer Vision, maskininlärning och artificiell intelligens (AI). Detta arbete har drivit på utvecklingen med 3D-dokumentation och utvecklingen av digitala metoder för tolkning. De färdiga resultaten har gjorts publikt tillgängliga och resultatet av projektet blev en grundsten för moderniseringen av själva SHFA.
Bronsålderns hällbilder utgörs mestadels av ristningar som tillverkades genom mineraler höggs bort från berget. Således har de ett djup som äldre metoder inte har lyckats att dokumentera. För att uppdatera den arkeologiska dokumentationen och dokumentera djupet av ristningar har vi skapat cirka 800 3D-dokumentationer i olika skalor från enskilda hällbilder till hela hällristningslokaler. Detta har gjorts i samarbete med Länsstyrelsen för Västsverige, Vitlycke Museum, och Tanums Hällristningsmuseum Underslös.
3D-filerna kan bli mycket stora vilket ökar kraven på datakapacitet och tidsåtgång inte minst för att träna AI modeller. För att göra detta mer genomförbart utvecklades två nya 3D-datavisualiseringsmetoder som också bidrog till att lättare visualisera resultaten i publikationer och för allmänheten. Båda metoderna baserades på djupkartor, vilket är bilder som använder metadata för varje pixel för att lagra dess eget djupvärde. Även om resultatet ser ut som äldre frottage, är färgfördelningen här baserad på numeriska värden snarare än på förförståelse hos den som utför dokumentationen. Färgfördelningen lika över hela ytan, vilket gör det möjligt att studera djupskillnader. Båda metoderna har paketerats i Topographic Visualization Toolbox (TVT; https://tvt.dh.gu.se/).
Alla AI-modeller baserades från resultaten från de två visualiseringsteknikerna. Eftersom dessa metoder var nya var det inte möjligt att på förhand veta vilket tillvägagångssätt som skulle fungera bäst. Därför tränade vi tre olika modeller baserade på konvolutionella neurala nätverk i samarbete med Chalmers Tekniska Högskola och Centrum för Digital Humaniora (GU; numera Göteborgs Forskningsinfrastruktur för Digital Humaniora eller GRIDH). Modellerna tränades med annoterade data, det vill säga uppsättningar av dokumentation där vi hade markerat var bilder är och där varje bild fått en klassmärkning. Till en början tillämpades detta på avgränsade ytor, men senare vi ett senare skede expanderades annoteringen till att kunna ta mer omfattade ytor med bilddokumentation.
Alla modeller fungerade relativt bra, men när det gäller AI har så visade det sig att denna hade stora svårigheter att hantera och visualisera resultatet av mänsklig kreativitet som skapats i olika form och stil i hällristningsmaterialet från bronsåldern. Även om detta kunde leda till felklassificering, var resultaten intressanta eftersom det lärde oss om våra förutfattade meningar, tillverkningen av hällbilder från bronsåldern och det kan till och med leda till nya resultat (se publikationer). Dessa resultat användes sammantaget för att väcka en ny diskussion om traditionella arkeologiska metoder och om AI´s förmåga att hantera ett komplext material som hällristningar.
Modellerna implementerades i en app-prototyp som automatiskt identifierar och klassificerar hällbilder och som för närvarande finns i en prerelease-version. 3D-modeller och visualiseringar används också i prototyper för två appar som visar hällbilder och forskningsresultat för en bredare publik. Båda apparna baseras på Augmented Reality (AR, förstärkt verklighet) där den ena används på plats för att visa hällbilder för besökare utan att behöva måla i ristningarna, den andra för (off-site) användning på distans som i hemmet. Allt detta arbete visade på behovet av att modernisera SHFA:s webbplats och databas, vilket är en process som nu pågår.
2. Användning, integrering och långsiktigt underhåll
Koden för visualiseringen och den första tränade AI-modellen laddades upp på GitHub (https://github.com/Swedish-Rock-Art-Research-Archives). Även all annan kod som baserats på detta projekt kommer att laddas upp där inom kort. GRIDH och SHFA samarbetar kring det långsiktiga underhållet och fortsatta utvecklingen av AI-modellerna, visualiseringsappen TVT och segmenteringsappen, till exempel i projektet ”Tracing the carvers on the rocks” (VR). TVT tillhandahåller visualiseringar till flera projekt (se publikationer) och har använts i tre doktorandprojekt och i tre arbeten på masternivå. Den pågående utvecklingen och underhållet av den nya infrastrukturen vid SHFA har uppmärksammats av fakulteten som ökade sitt ekonomiska stöd till infrastrukturen från 1 till 3 miljoner gällande åren 2022-2023. Prototyperna av de två apparna som syftar till förmedling kommer att tas över av Vitlycke Museum för vidareutveckling och underhåll. 1164 sajter och visualiseringar som är direkt relaterade till detta projekt har redan gjorts offentligt tillgängliga (www.shfa.se). Sammantaget har mer än 60 000 skanningar, databasposter och dokumentationer publicerats på webbplatsen. Uppladdningen av 3D-modellerna och visualiseringarna hjälpte SHFA-webbplatsen att öka sina unika sidvisningar till två miljoner.
3. Avvikelser från originalplan och personal
En del förändring av personal och tekniska lösningar har skett under projektets tid (se uppföljningsrapporten). Projektet blev ordentligt påverkat av covid-19-pandemin som orsakade flera avbrott i fältarbetet. Det innebar att under 2020 och början av 2021 genomfördes färre fältdokumentationer än vad som planerats och arbetet med appen försenades. Under övergången till den nya SHFA-webbplatsen stoppas även publiceringen av den gamla webbplatsen tillfälligt för att undvika dataförlust och dubbelarbete. Personalen som har arbetat i projektet på varierande andel heltid är dokumentationsteamet (Ellen Meijer, Jacob Alvå, Rich Potter), forskningsingenjörer för AI-träning och visualisering (Ashely Green, Rich Potter, Oscar Ivarsson, Victor Wåhlstrand Skärström), AR- och VR-apputveckling (Jonathan Westin, Aliisa Råmark), samordning, administration och rådgivning (Christian Horn, Johan Ling, Ulf Bertilsson).
4. Tillgänglighet
TVT är tillgängligt på lång sikt via en webbplats som GRIDH är värd för (https://tvt.dh.gu.se/) vilken innehåller riktlinjer och en handledning. Segmenteringsappen och riktlinjerna kommer att levereras på samma sätt. Koden för visualiseringen och AI-träningen är tillgänglig med öppen källkod via Github. TVT och segmenteringsappen kommer så småningom att integreras i den nya webbplatsen.
All dokumentation som laddas upp är tillgänglig via en CC-BY-NC-ND-licens som snart kommer att ändras till CC-BY vilken är mindre restriktiv. 3D-modellerna har hittills visats via online tjänsten Sketchfab. När den nya hemsidan lanseras kommer emellertid 3D-modellerna att visas genom online plattformen 3dhop som kan visa modeller i högre kvalitet.
5. Publikationer
Projektet har lett till 19 direkt- och indirekt relaterade publikationer inklusive 10 referensgranskade artiklar, en antologi utgiven inom tidskriften Open Archaeology och två publikt riktade artiklar (se publikationslista).
1. Mål, utveckling och resultat
Sveriges hällristningar utgör ett av de mest omfattade och mest välbevarade lämningarna från bronsåldern (BÅ) i Europa. Den tätaste förekomsten finns i UNESCO:s världsarvsområde ”Tanums världsarv”, ca 600 lokaler med över tusen bilder. På senare tid har införandet av ny 3D-dokumentation resulterat i att äldre taktila metoder måste ersättas. Detta har inneburit tre stora utmaningar:
1. Uppdatering av dokumentationsstandarden mot en mer exakt, digital och enhetlig dokumentation, särskilt rörande världsarvsområdet.
2. De nya dokumentationsmetoderna har lett till nya forskningsresultat som behöver förmedlas till allmänheten.
3. Datamängden ökar vilket kräver ny forskningsinfrastruktur, det vill säga verktyg och metoder, för att analysera materialet.
För att lösa dessa problem iscensatte Svenskt Hällristnings Forsknings Arkiv (SHFA) ett tvärvetenskapligt samarbete mellan arkeologi, datavetenskap och digital humaniora. Syftet med detta var att utveckla nya effektiva dokumentationsverktyg med hjälp av 3D-data, Computer Vision, maskininlärning och artificiell intelligens (AI). Detta arbete har drivit på utvecklingen med 3D-dokumentation och utvecklingen av digitala metoder för tolkning. De färdiga resultaten har gjorts publikt tillgängliga och resultatet av projektet blev en grundsten för moderniseringen av själva SHFA.
Bronsålderns hällbilder utgörs mestadels av ristningar som tillverkades genom mineraler höggs bort från berget. Således har de ett djup som äldre metoder inte har lyckats att dokumentera. För att uppdatera den arkeologiska dokumentationen och dokumentera djupet av ristningar har vi skapat cirka 800 3D-dokumentationer i olika skalor från enskilda hällbilder till hela hällristningslokaler. Detta har gjorts i samarbete med Länsstyrelsen för Västsverige, Vitlycke Museum, och Tanums Hällristningsmuseum Underslös.
3D-filerna kan bli mycket stora vilket ökar kraven på datakapacitet och tidsåtgång inte minst för att träna AI modeller. För att göra detta mer genomförbart utvecklades två nya 3D-datavisualiseringsmetoder som också bidrog till att lättare visualisera resultaten i publikationer och för allmänheten. Båda metoderna baserades på djupkartor, vilket är bilder som använder metadata för varje pixel för att lagra dess eget djupvärde. Även om resultatet ser ut som äldre frottage, är färgfördelningen här baserad på numeriska värden snarare än på förförståelse hos den som utför dokumentationen. Färgfördelningen lika över hela ytan, vilket gör det möjligt att studera djupskillnader. Båda metoderna har paketerats i Topographic Visualization Toolbox (TVT; https://tvt.dh.gu.se/).
Alla AI-modeller baserades från resultaten från de två visualiseringsteknikerna. Eftersom dessa metoder var nya var det inte möjligt att på förhand veta vilket tillvägagångssätt som skulle fungera bäst. Därför tränade vi tre olika modeller baserade på konvolutionella neurala nätverk i samarbete med Chalmers Tekniska Högskola och Centrum för Digital Humaniora (GU; numera Göteborgs Forskningsinfrastruktur för Digital Humaniora eller GRIDH). Modellerna tränades med annoterade data, det vill säga uppsättningar av dokumentation där vi hade markerat var bilder är och där varje bild fått en klassmärkning. Till en början tillämpades detta på avgränsade ytor, men senare vi ett senare skede expanderades annoteringen till att kunna ta mer omfattade ytor med bilddokumentation.
Alla modeller fungerade relativt bra, men när det gäller AI har så visade det sig att denna hade stora svårigheter att hantera och visualisera resultatet av mänsklig kreativitet som skapats i olika form och stil i hällristningsmaterialet från bronsåldern. Även om detta kunde leda till felklassificering, var resultaten intressanta eftersom det lärde oss om våra förutfattade meningar, tillverkningen av hällbilder från bronsåldern och det kan till och med leda till nya resultat (se publikationer). Dessa resultat användes sammantaget för att väcka en ny diskussion om traditionella arkeologiska metoder och om AI´s förmåga att hantera ett komplext material som hällristningar.
Modellerna implementerades i en app-prototyp som automatiskt identifierar och klassificerar hällbilder och som för närvarande finns i en prerelease-version. 3D-modeller och visualiseringar används också i prototyper för två appar som visar hällbilder och forskningsresultat för en bredare publik. Båda apparna baseras på Augmented Reality (AR, förstärkt verklighet) där den ena används på plats för att visa hällbilder för besökare utan att behöva måla i ristningarna, den andra för (off-site) användning på distans som i hemmet. Allt detta arbete visade på behovet av att modernisera SHFA:s webbplats och databas, vilket är en process som nu pågår.
2. Användning, integrering och långsiktigt underhåll
Koden för visualiseringen och den första tränade AI-modellen laddades upp på GitHub (https://github.com/Swedish-Rock-Art-Research-Archives). Även all annan kod som baserats på detta projekt kommer att laddas upp där inom kort. GRIDH och SHFA samarbetar kring det långsiktiga underhållet och fortsatta utvecklingen av AI-modellerna, visualiseringsappen TVT och segmenteringsappen, till exempel i projektet ”Tracing the carvers on the rocks” (VR). TVT tillhandahåller visualiseringar till flera projekt (se publikationer) och har använts i tre doktorandprojekt och i tre arbeten på masternivå. Den pågående utvecklingen och underhållet av den nya infrastrukturen vid SHFA har uppmärksammats av fakulteten som ökade sitt ekonomiska stöd till infrastrukturen från 1 till 3 miljoner gällande åren 2022-2023. Prototyperna av de två apparna som syftar till förmedling kommer att tas över av Vitlycke Museum för vidareutveckling och underhåll. 1164 sajter och visualiseringar som är direkt relaterade till detta projekt har redan gjorts offentligt tillgängliga (www.shfa.se). Sammantaget har mer än 60 000 skanningar, databasposter och dokumentationer publicerats på webbplatsen. Uppladdningen av 3D-modellerna och visualiseringarna hjälpte SHFA-webbplatsen att öka sina unika sidvisningar till två miljoner.
3. Avvikelser från originalplan och personal
En del förändring av personal och tekniska lösningar har skett under projektets tid (se uppföljningsrapporten). Projektet blev ordentligt påverkat av covid-19-pandemin som orsakade flera avbrott i fältarbetet. Det innebar att under 2020 och början av 2021 genomfördes färre fältdokumentationer än vad som planerats och arbetet med appen försenades. Under övergången till den nya SHFA-webbplatsen stoppas även publiceringen av den gamla webbplatsen tillfälligt för att undvika dataförlust och dubbelarbete. Personalen som har arbetat i projektet på varierande andel heltid är dokumentationsteamet (Ellen Meijer, Jacob Alvå, Rich Potter), forskningsingenjörer för AI-träning och visualisering (Ashely Green, Rich Potter, Oscar Ivarsson, Victor Wåhlstrand Skärström), AR- och VR-apputveckling (Jonathan Westin, Aliisa Råmark), samordning, administration och rådgivning (Christian Horn, Johan Ling, Ulf Bertilsson).
4. Tillgänglighet
TVT är tillgängligt på lång sikt via en webbplats som GRIDH är värd för (https://tvt.dh.gu.se/) vilken innehåller riktlinjer och en handledning. Segmenteringsappen och riktlinjerna kommer att levereras på samma sätt. Koden för visualiseringen och AI-träningen är tillgänglig med öppen källkod via Github. TVT och segmenteringsappen kommer så småningom att integreras i den nya webbplatsen.
All dokumentation som laddas upp är tillgänglig via en CC-BY-NC-ND-licens som snart kommer att ändras till CC-BY vilken är mindre restriktiv. 3D-modellerna har hittills visats via online tjänsten Sketchfab. När den nya hemsidan lanseras kommer emellertid 3D-modellerna att visas genom online plattformen 3dhop som kan visa modeller i högre kvalitet.
5. Publikationer
Projektet har lett till 19 direkt- och indirekt relaterade publikationer inklusive 10 referensgranskade artiklar, en antologi utgiven inom tidskriften Open Archaeology och två publikt riktade artiklar (se publikationslista).