Mary Rudner, Institutionen för beteendevetenskap och lärande, Linköpings universitet

2008-2013

Syftet med projektet är att undersöka hur medfödd dövhet och erfarenhet av teckenspråksanvändning påverkar språklig och icke-språklig arbetsminnesbearbetning i den visuospatiala domänen och på så sätt testa och utveckla ELU-modellen (Rönnberg, Rudner, Foo & Lunner, 2008). ELU står för Ease of Language Understanding och modellen beskriver just hur arbetsminne stödjer multimodal kommunikation. För att uppnå syftet med projektet är tre delstudier specificerade enligt planen. Studie 1 undersöker hur visuospatiell arbetsminneskapacitet påverkas av teckenspråksanvändning och dövhet. Studie 2 undersöker hur kravet att bearbeta för teckenspråk fonologiskt relevanta egenskaper påverkar visuospatiell arbetsminneskapacitet och studie 3 undersöker om lingvistisk resp. icke-lingvistisk visuospatiala färdigheter prediceras av lingvistisk resp. icke-lingvistisk visuospatiala arbetsminneskapacitet.

Projektet bygger på användning av två olika teckenspråk: svenskt teckenspråk (SSL) och brittiskt teckenspråk (BSL), som har relativt liten överlapp när det gäller teckenförråd. Detta gör att det finns tillräckligt många BSL tecken som är okända för SSL-användare och tillräckligt många SSL tecken som är okända för BSL-användare för att det ska vara möjligt att skapa ett experimentellt stimulusmaterial med tecken som för teckenspråksanvändare har 1) både semantiskt och fonologiskt innehåll (familjära tecken) och 2) fonologiskt dock ej semantiskt innehåll (främmande tecken). Ett tredje material består av låtsastecken som ser ut som tecken för den oinvigda men vars sammansättning ej följer språkliga regler. Ett fjärde material består av inspelningar av en person som fångar en boll, där hand- och armrörelser ingår men utan språkligt innehåll. Dessa olika material används som stimuli i olika arbetsminnestest.

Utöver dessa test finns ett batteri av andra kognitiva test som också används i studien. Dessa test administreras till 1) personer som har använt teckenspråk sedan födelsen och är döva, 2) personer som har använt teckenspråk sedan födelsen och är hörande och 3) personer som är hörande och ej kan teckenspråk. Detta gör att vi kan särskilja effekter av teckenspråkskunskap och dövhet i våra resultat.

Projektet har inte ändrat syfte men vi har kunnat lägga till vissa delar. Bland annat har vi undersökt hur läsförståelse och imitationsförmåga är relaterade till språkligt och icke-språkligt arbetsminne i den visuospatiala domänen och hur åldrande påverkar arbetsminne.

Projektets tre viktigaste resultat och ett resonemang om dessa

1. Både medfödd dövhet och erfarenhet av teckenspråksanvändning har en effekt på hur teckenbaserade stimuli bearbetas i arbetsminnet. När döva teckenspråksanvändare gör en arbetsminnesuppgift på sitt eget språk, dvs brittisk teckenspråk så blir de mindre känsliga för hög minnesbelastning än hörande teckenspråksanvändare. För både döva och hörande teckenspråksanvändare är arbetsminneskapaciteten större för kända än okända tecken.

2. Något överraskande så verkar inte fonologisk inkodning spela en framträdande roll för teckenspråksanvändare (varken döva eller hörande) när det gäller arbetsminnesbearbetning av tecken. Dvs ingen av dessa grupper presterade bättre när stimuli hade legal fonologisk struktur (främmande tecken) jämfört med när stimuli saknade fonologisk struktur (påhittade tecken). Detta har implikationer för ELU-modellen (Rönnberg, Rudner, Foo & Lunner, 2008) som predicerar fonologibaserad arbetsminnesbearbetning över språkmodaliteter.

3. Vi fann ingen relation mellan fonologisk förmåga och prestation på arbetsminnesuppgifterna, men för döva deltagare var spatial förmåga associerad med prestation på arbetsminnesuppgiften under vissa betingelser. Detta gällde enbart när uppgiften krävde spatial bearbetning (matchning av tecknens lokalisation) men det gällde för alla tre typer av teckenbaserat material. Denna association var dock negativ. Dvs döva personer med bättre spatial förmåga presterade sämre på den spatiala arbetsminnesuppgiften med teckenbaserat material. Detta antyder att en arbetsminnesuppgift som kräver explicit spatial bearbetning interfererar med den naturliga spatiala organisation av arbetsminne för teckenspråk som vi har funnit stöd för i tidigare studier.

Nya forskningsfrågor som har genererats genom projektet

Projektet har genererat frågeställningen: Vilka neurala substrat ligger till grund för språklig och ickespråklig visuo-spatial arbetsminnesfunktion? Denna frågeställning undersöks i en pågående fMRI-studie. Ytterligare en pågående fMRI-studie undersöker vilka neurala nät stödjer perceptuell bearbetning av stimulusmaterial av samma typ som i nuvarande projektet. Vidare pågår ett projekt som syftar till att undersöka vidare kopplingen mellan läsförståelse, kognition och teckenspråk hos döva teckenspråksanvändare. Slutligen har projektet genererat frågan: Hur påverkas visuell kommunikation av visuellt brus? Detta är ämnet för en ny ansökan som skickas till RJ 2013.

Projektets två viktigaste publikationer och ett resonemang om dessa

1. Orfanidou, E., Rudner, M., Cardin, V., Capek, C.M., Woll, B. & Rönnberg, J. (in prep.) Deafness and sign language experience contribute separately to efficiency of processing language-like stimuli in visuospatial working memory.
2. Rudner, M., Orfanidou, E., Capek, C.M., Cardin, V., Woll, B. & Rönnberg, J. (in prep.) Working memory task demands interact with the richness of encoding of dynamic visual items.

Dessa två artiklar redovisar projektets tre viktigaste resultat. Vi planerar att skicka in dem till Cognition och Journal of Experimental Psychology: Learning, Memory, and Cognition under februari månad. Förseningen i skrivprocessen beror på att huvudförfattaren för artikel nr 1 har gått vidare till en lektorstjänst vid Universitetet i Kreta och har i dagsläge en stor undervisningsbörda. Totalt fem tidskriftsartiklar generas av projektet direkt (se stjärnmärkt i bilaga). En artikel med koppling till projektet publiceras i Nature Communication i februari 2013 (open access). Jag skriver på ytterligare en artikel med koppling till projektet.

Andra typer av förmedling av projektets resultat såsom seminarier, föreläsningar, länkar till egna hemsidor

Projektets resultat har förmedlats genom nationella och internationella konferenser och genom föreläsningar för olika yrkesgrupper (se bilaga).
Länk till hemsida: www.ibl.liu.se/medarbetare/rudner-mary

Publikationer

Tidskriftsartiklar (* indikerar direkt koppling till projektet)

*Andin, J., Orfanidou, E., Cardin, V., Capek, C.M., Woll, B., Rönnberg, J. & Rudner, M. (under review). Identical text-based presentation and hand-written response for deaf signers and hearing non-signers cancel out short-term memory differences.

Cardin, V., Orfanidou, E., Rönnberg, J., Capek, C.M., Rudner, M. & Woll, B. (in press). Dissociating cognitive and sensory neural plasticity in human superior temporal cortex.  Nature Communications.

*Orfanidou, E., Rudner, M., Cardin, V., Capek, C.M., Woll, B. & Rönnberg, J. (in prep.) Linguistic and non-linguistic visuospatial working memory: effects of sign language experience and deafness.

*Rudner, M., Orfanidou, E., Capek, C.M., Cardin, V., Woll, B.  & Rönnberg, J. (in prep.) Linguistic and non-linguistic working memory in the visuospatial domain.

*Rudner, M., Orfanidou, E., Cardin, V.,  Capek, C., Woll, B. & Rönnberg, J. (in prep.). Reading ability in adult deaf native signers is positively associated with their ability to judge the grammatically of their native sign language.

*Rudner, M., Orfanidou, E., Cardin, V., Capek, C., Woll, B. & Rönnberg, J. (in prep.). Relative effects of aging on cognition for communication in deaf signing and hearing non-signing adults.

Rudner, M., Orfanidou, E., Kästner, K., Cardin, V., Woll, B., Capek, C.M. & Rönnberg, J. (in prep.). Neural substrates of sign language processing differ partially between Swedish and British signers.

Editorial
Campbell, R., Rudner, M. & Rönnberg, J. (2009). Cognitive Hearing Science: the view from hearing impairment and deafness. Scandinavian Journal of Psychology, 50, 367-369.

Bokkapitel

Rönnberg, J., Rudner, M. & Foo, C. (2010). The cognitive neuroscience of signed language: applications to a working memory system for sign and speech. In L. Bäckman and L. Nyberg (eds.), Memory, aging and the brain: A Festschrift in honour of Lars-Göran Nilsson. London: Psychology Press, pp265-286.

Vetenskapliga konferensbidrag

Rudner, M., Orfanidou, E., Kästner, K., Cardin, V., Woll, B., Capek, C.M. & Rönnberg, J. (2013). Neural substrates of sign language processing differ partially between Swedish and British signers. Theoretical Issues in Sign Language Research (TISLR) Conference 11. University College London, 10th - 13th July 2013.

Rudner, M., Orfanidou, E., Capek, C., Cardin, V., Woll, B. & Rönnberg, J. (2012). Access to linguistic structure enhances visuospatial working memory capacity. Nineteenth Annual Cognitive Neuroscience Society Meeting, March 31 - April 3, 2012, Chicago, Illinois

Rudner, M. (2012). Visuospatial Working Memory – Linguistic and Non-linguistic. HEAD Seminar, Linköping, 14 March 2012.

Rudner, M. (2012). Effects of aging on cognition for communication in deaf sign language users. Invited seminar, Center for Dementia Research (CEDER), Department of Medical and Health Sciences Linköping university, 15 May 2012, Linköping.

Rudner, M. (2012). Remembering sign language: cognitive aging in deaf signers. Invited workshop contribution, ”A Life with Dementia: Personhood,  Citizenship & Identity”, Linköping University 17-19 October 2012

Orfanidou, E., Cardin, V., Hamzah, H.H., Capek, C.M., Woll, B., Rudner, M., Rönnberg, J. (2011). Working memory and visuospatial cognition in deaf signers and hearing non-signers. First International Conference on Cognitive Hearing Science for Communication, June 19-22 2011, Linköping, Sweden.

Orfanidou, E., Kästner, L., Capek, C., Cardin, V., Woll, B., Rudner, M. & Rönnberg, J. (2011). Semantic and phonological processing in the visuospatial domain: Evidence from Swedish Sign Language. Eighteenth Annual Cognitive Neuroscience Society Meeting, San Francisco, CA, April 2-5, 2011

Rudner, M., Orfanidou, E., Capek, C., Andin, J., Karlsson, T., Dahlström, Ö., Kästner, L., Cardin, V., Fransson, P., Ingvar, M., Johnsrude, J., Woll, B. & Rönnberg, J. (2011). Sign Language phonology and its role in neurocognition. First International Conference on Cognitive Hearing Science for Communication, June 19-22, 2011 Linköping, Sweden.

Rudner, M., Orfanidou, E., Cardin, V., Capek, C., Woll, B. & Rönnberg, J. (2011). Relative effects of aging on cognition for communication in deaf signing and hearing non-signing adults. Aging and Speech Communication, Bloomington, Indiana, October 10-12, 2011

Rönnberg, J. & Rudner, M. & Zekveld, A.A. (2010). Cognitive hearing science: Ease of Language Understanding in old age. Hearing Care for Adults 2009 - The Challenge of Aging. Proceedings of the Second International Adult Conference, 67-73.

Andin, J., Rönnberg, J & Rudner, M. (2010). Language modality specific effects on simple spans in deaf signers and hearing non-signers. Second Meeting of the Federation of the European Societies of Neuropsychology (ESN), 2010-09-22 - 2010-09-24, Amsterdam, The Netherlands.

Andin, J., Rönnberg, J & Rudner, M. (2010). Phonological similarity and sensory memory traces modulate span size in deaf signers and hearing non-signers. HEAD Graduate School 3rd Summer Workshop, 14-15 June 2010, Kolmården, Sweden

Rudner, M. (2010). Cognition for communication - hearing impairment and deafness. Seminar at Department of Psychology, Stockholm University, 30 November 2010

Rönnberg, J. & Rudner, M., (2009). Cognitive hearing science: Ease of Language Understanding in old age. Hearing Care for Adults 2009 - The Challenge of Aging. November 16-18, 2009, Chicago Illinois, USA.

Rudner, M., Andin, J. & Rönnberg, J. (2009). Differences in temporal and spatial processing mechanisms in working memory for signed and spoken language. The 11th European congress of Psychology, Oslo, Norway, 7-10 July 2009

Populärvetenskapliga föreläsningar

Rudner,M. (2013). Arbetsminne och tvåspråkighet på tecken och tal, Landstingets tolkcentral, 11 January 2013

Rudner, M (2012). Cognition, Communication and Sign Language. Deaf Team in Östergötland Training Day, 19 April 2012.

Rudner, M. (2011). How does my cognitive ability influence my hearing and communication. Swedish Association of Hard of Hearing People (HRF) 90th anniversary celebration, Stockholm, 6-7 May 2011

Rudner, M. (2008). Working memory for sign and speech. Invited lecture. Annual Psychiatry Meeting, Odigos/Mogård, May 12-13, 2008.

Rudner, M. (2008). Time and space in working memory for sign and speech. Invited lecture. Research seminar within the project "Better interpretation for people with deafblindness", Örebro, November 6, 2008