Gabriel Skantze

Analys av prediktiva modeller för turtagning i talad interaktion

Koordinering av turtagning är en av de mest fundamentala aspekterna av talad interaktion och har studerats inom flera olika discipliner, som lingvistik, fonetik, psykologi och talteknologi. Många studier har undersökt de underliggande mekanismerna, till exempel genom att identifiera akustiska och lingvistiska signaler vid turskiften. Flera forskare har dock påpekat att turskiften inte bara kan ses som en omedelbar reaktion på signaler från samtalspartnern; talarna måste börja planera vad de ska säga tidigare, baserat på förutsägelser om vad samtalspartnern kommer att säga och när deras tur ska sluta. Vår förståelse av hur denna prediktion går till, och vilka signaler som är involverade, är dock begränsad, delvis därför att vi saknar de nödvändiga verktygen för sådan analys. Eftersom de signaler som är involverade är så komplexa, tvetydiga och sammanflätade är de väldigt svåra att identifiera och lokalisera. På KTH har vi nyligen utvecklat nyskapande beräkningsmodeller för att göra förutsägelser i talad interaktion, baserat på djupinlärning. Dessa modeller är kraftfulla i det att de kan lära sig att identifiera och representera komplexa signaler i olika modaliteter och över olika tidsskalor. Ett problem är dock att de saknar transparens. I det här projektet kommer vi att utveckla nya metoder och verktyg för att analysera och visualisera sådana modeller, och använda dem för att identifiera de komplexa signaler som involverade i prediktion och turtagning i mänsklig interaktion.
Bidragsförvaltare
KTH
Diarienummer
P20-0484
Summa
SEK 4 271 000
Stödform
RJ Projekt
Ämne
Jämförande språkvetenskap och lingvistik
År
2020