AUDIOVISUAL SPEECH PERCEPTION IN DIOTIC AND DICHOTIC LISTENING CONDITIONS.

AUDIOWIZUALNA PERCEPCJA MOWY W OBUUSZNYCH I ROZDZIELNOUSZNYCH WARUNKACH SŁUCHOWYCH. (Polish)

Background: Speech perception is multisensory, relying on auditory as well as visual information from the articulators. Watching articulatory gestures which are either congruent or incongruent with the speech audio can change the auditory percept, indicating that there is a complex integration of auditory and visual stimuli. A speech segment is comprised of distinctive features, notably voice onset time (VOT) and place of articulation (POA). Understanding the importance of each of these features for audiovisual (AV) speech perception is critical. The present study investigated the perception of AV consonant-vowel (CV) syllables with various VOTs and POAs under two conditions: diotic incongruent and dichotic congruent. Material and methods: AV stimuli comprised diotic and dichotic CV syllables with stop consonants (bilabial /pa/ and /ba/; alveolar /ta/ and /da/; and velar /ka/ and /ga/) presented with congruent and incongruent video CV syllables with stop consonants. There were 40 righthanded normal hearing young adults (20 females, mean age 23 years, SD = 2.4 years) and 20 males (mean age 24 years, SD = 2.1 years) who participated in the experiment. Results: In the diotic incongruent AV condition, short VOT (voiced CV syllables) of the visual segments were identified when auditory segments had a CV syllable with long VOT (unvoiced CV syllables). In the dichotic congruent AV condition, there was an increase in identification of the audio segment when the subject was presented with a video segment congruent to either ear, in this way overriding the otherwise presented ear advantage in dichotic listening. Distinct visual salience of bilabial stop syllables had greater visual influence (observed as greater identification scores) than velar stop syllables and thus overrode the acoustic dominance of velar syllables. Conclusions: The findings of the present study have important implications for understanding the perception of diotic incongruent and dichotic congruent audiovisual CV syllables in which the stop consonants have different VOT and POA combinations. Earlier findings on the effect of VOT on dichotic listening can be extended to AV speech having dichotic auditory segments. [ABSTRACT FROM AUTHOR]

Wprowadzenie: Percepcja mowy jest wielozmysłowa, opiera się zarówno na informacji słuchowej, jak i wzrokowej. Obserwacja narządów artykulacyjnych i gestykulacji, zgodnych bądź niezgodnych z informacją słuchową, może zmieniać percepcję słuchową, co wskazuje na złożoną integrację bodźców słuchowych i wzrokowych. Segment mowy zawiera cechy rozróżniające, takie jak czas rozpoczęcia dźwięczności (voice onset time, VOT) i miejsce artykulacji (place of articulation, POA). Kluczowe dla audiowizualnej percepcji mowy (audiovisual, AV) jest zrozumienie znaczenia tych dwóch cech rozróżniających. W obecnej pracy zbadaliśmy percepcję AV obuuszną niezgodną i rozdzielnouszną zgodną sylab złożonych ze spółgłoski i samogłoski (consonant vowel, CV) z użyciem różnych VOT i POAw. Materiał i metody: Bodźce AV obejmowały obuuszne i rozdzielnouszne sylaby typu CV ze spółgłoskami zwartymi: bilabialne /pa/ i /ba/; dziąsłowe /ta/ i /da/; tylnopodniebienne /ka/ i /ga/ (POA). Prezentowane były ze zgodnym i niezgodnym nagraniem sylab typu CV ze spółgłoskami zwartymi. W eksperymencie wzięło udział 40 praworęcznych młodych osób dorosłych o normalnym słuchu: 20 kobiet (średni wiek 23 lata, SD = 2,4 roku) oraz 20 mężczyzn (średni wiek 24 lata, SD = 2,1 roku). Wyniki: W warunkach obuusznej niezgodnej AV krótki VOT (wypowiadanych sylab typu CV) w segmencie wizualnym był rozpoznawany, gdy segment słuchowy zawierał sylabę typu CV z długim VOT (niewypowiadane sylaby typu CV). W warunkach rozdzielnousznej zgodnej AV zaobserwowano wzrost identyfikacji segmentu słuchowego, jeżeli był prezentowany do dowolnego ucha ze zgodnym segmentem wzrokowym, co unieważniało przewagę ucha dominującego w słyszeniu rozdzielnousznym. Wyrazistość wzrokowa sylab zawierających spółgłoskę zwartą bilabialną miała większy wpływ na odbiór wzrokowy (obserwowany jako lepsze wyniki identyfikacji) w porównaniu do sylab zawierających spółgłoskę zwartą tylnopodniebienną i dlatego przeważała nad akustyczną dominacją sylab tylnopodniebiennych. Wnioski: Wyniki tego badania są ważne dla zrozumienia obuusznej niezgodnej i rozdzielnousznej zgodnej percepcji sylab typu CV zawierających spółgłoski zwarte z różnymi kombinacjami VOT i POA. Wcześniejsze ustalenia dotyczące wpływu VOT na słyszenie rozdzielouszne mogą zostać rozszerzone na audiowizualną percepcję mowy z rozdzielnousznymi segmentami słuchowymi. [ABSTRACT FROM AUTHOR]

Copyright of Journal of Hearing Science is the property of Institute of Sensory Organs and its content may not be copied or emailed to multiple sites or posted to a listserv without the copyright holder's express written permission. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.)