PAGE

PAGE: Prosodic and gestural entrainment in conversational interaction across diverse languages (see also project website)

Coordinator:

• Jonathan Harrington (München)

Principal investigators:

• Stefan Baumann (Köln)
• Jennifer Cole (Illinois)
• Jonathan Harrington (München)
• Nikolaus Himmelmann (Köln)
• Maciej Karpinski (Poznan)
• Elina Savino (Bari)
• Marc Swerts (Tilburg)
• Alexandra Vella (Malta)

Funded by the Volkswagenstiftung

Zusammenfassung:

In Dialogen tritt wie bei vielen anderen koordinierten Tätigkeiten das Phänomen auf, dass die Dialogpartner sich gegenseitig imitieren, im folgenden Entrainment genannt. Das Projekt behandelt die Frage, ob und in welchem Maße Entrainment in Bezug auf prosodische und gestische Variablen auftritt und welche Korrelationen hier hinsichtlich der Interaktion von Informationsstruktur, Prosodie und Gestik bestehen. Damit wird hier erstmals ein Bereich des sprachlichen Entrainment in den Blick genommen, für den eine Vielzahl und hohe Frequenz von Entrainmentphänomenen zu vermuten ist, der aber bisher nicht systematisch untersucht wurde. Es wird vor allem auch der Versuch gemacht, Art und Grad des Entrainment in europäischen und nicht-europäischen Sprachen miteinander zu vergleichen und zu quantifizieren, was u.a. vergleichbare Aufnahmebedingungen voraussetzt. Das Forschungsteam verfügt über die dafür erforderliche, einander ergänzende interdisziplinäre Expertise in der Diskursanalyse, der audiovisuellen Analyse, der sprachlichen Signalverarbeitung sowie der empirischen Analyse prosodischer Systeme.  

Daten werden erhoben für zwei Varietäten des Englischen (General American und Indian English) sowie für Niederländisch, Maltesisch und drei Sprachen aus Papua (Indonesien). Englisch und Niederländisch wurden ausgewählt, da die Analyse des Entrainments verhältnismäßig schnell aufgrund der zahlreichen Forschungsarbeiten zur Prosodie für diese Sprachen durchgeführt werden kann; für Maltesisch spricht die sehr unterschiedliche prosodische Struktur im Vergleich zu den genannten Sprachen; und Papua-Sprachen bilden wegen der großen Unterschiede in der Kultur und der linguistischen Struktur im Vergleich mit den europäischen Sprachen einen vielversprechenden Untersuchungsgegenstand.

Das zu erstellende und zu untersuchende Korpus besteht aus Audioaufnahmen sowie Videoaufnahmen des Oberkörpers (Kopf- und Handbewegungen) für 50 Dialogpaare (100 Sprecher), die eine Aufgabe entweder kooperativ oder in Konkurrenz miteinander lösen müssen. Die kompetitive Aufgabe wird für dieselben L1-Englisch- und L1-Niederländisch- Sprecher je zwei Mal erhoben, wobei sich die Dialogpartner in einer Bedingung sehen können und in der anderen nicht. Die Aufnahmebedingungen werden in drei Laboren in Illinois, Malta, Tilburg und an drei Orten in Papua repliziert. Zusätzlich werden Daten von fünf Dia- logpartnern erhoben, die mehrere Monate isoliert von der Umwelt in der Antarktis verbrin- gen, um die langfristige Ausprägung von Entrainment untersuchen zu können. Die groben Körperbewegungen werden etikettiert; zusätzlich wird in ca. einem Drittel der Daten die Informationsstruktur (darunter Diskurseinheiten und Hörersignale bzw. backchannels) und deren Beziehung zur Prosodie annotiert.

Aspekte der Konvergenz zwischen den beiden Dialogpartnern sollen in einem Teil der etikettierten Datenbank durch die zunehmenden Ähnlichkeiten in der Beziehung zwischen Informationsstruktur und Prosodie sowie durch detaillierte akustische Analysen prosodischer Variablen quantifiziert werden. Zusätzlich werden in diesen Daten die motorischen Konvergenzen zwischen den Dialogpartnern durch die eventuelle Zunahme ähnlicher Gestik, Körper- und Handbewegungen berechnet. Diese quantifizierten Daten werden weiter analysiert (a) um herauszufinden, ob das Ausmaß des Entrainments durch die Art der Aufgabe (d.h. ob die Partner kooperieren oder miteinander konkurrieren) beeinflusst wird, sowie (b) um festzustellen, ob Entrainment weniger stark auftritt, wenn die Dialogpartner sich nur hören, aber nicht sehen können, bzw. wenn die von ihnen gesprochenen Varietäten unterschiedliche rhythmische Strukturen (z.B. General American vs. Indian English) aufweisen. Zusätzlich wird der Einfluss eines mehrmonatigen Kontaktes zwischen den Dialogpartnern auf ihr sprachliches und gestisches Entrainment anhand der Analyse eines Teils der erhobenen Daten aus der Antarktis untersucht.