Forschung im Discourse & Multimodality Lab
Wenn Menschen Sprache verwenden, sind ihre Äußerungen in der Regel in einen größeren Kontext eingebettet. Das heißt, wir verwenden Wörter oder Sätze selten isoliert; stattdessen sind unsere Äußerungen immer Teil eines zusammenhängenden Diskurses (z. B. einer Geschichte, die wir erzählen, einer Aufgabe, die wir erklären, oder einfach eines Gesprächs, das wir führen). Darüber hinaus ist die Kommunikation mit Sprache stets multimodal. Gesprochene Sprache wird mit sichtbaren körperlichen Handlungen (Hände, Körper und Gesicht) kombiniert, und geschriebene Sprache wird mit anderen visuellen Gestaltungselementen (wie Interpunktion, typografischen Entscheidungen, Layout und Bildern) kombiniert. Am Discourse and Multimodality Lab untersuchen wir, wie verschiedene Modalitäten in Sprachproduktionsprozessen an der Schnittstelle der semantischen, pragmatischen und kognitiven Ebenen interagieren. Unser besonderes Ziel ist es, herauszustellen, wie nicht-lexikalische Elemente zu unserem Verständnis des menschlichen Kommunikationssystems beitragen.
Zu diesem Zweck führen wir empirische Studien durch, wobei wir verschiedene Datenerhebungsmethoden einsetzen, die von der Aufzeichnung spontaner Sprachereignisse (z. B. Interaktionsgespräche) über elizitierte Sprachereignisse (z. B. narrative Nacherzählungen auf der Grundlage sorgfältig ausgewählter Stimuli) bis hin zu experimentelleren Versuchsanordnungen reichen, bei denen sowohl Offline- als auch Online-Methoden eingesetzt werden (z. B. Präferenzbeurteilungsaufgaben). Wir arbeiten auch mit schriftlichem Diskurs, den wir durch schriftliche Produktionsaufgaben elizitieren oder aus Textkorpora verschiedener Genres (z. B. Bilderbücher, Kriminalromane) extrahieren, sowie mit geskripteter Sprache (z. B. wie sie in Filmen verwendet wird). Bei Bedarf integrieren wir computergestützte Werkzeuge und Annotationstechnologien, um die zeitliche Koordination der verschiedenen Modalitäten, die in multimodalen Einheiten integriert sind, systematisch zu erfassen und so groß angelegte, maschinengestützte Analysen zu ermöglichen. Besonderen Fokus legen wir auf die makro- und mikrostrukturellen Eigenschaften längerer Diskursabschnitte und darauf, wie diese das multimodale Sprachverhalten beeinflussen.
Schwerpunkte
- Anaphorik
- Conceptual Metaphor Theory
- Conceptual Blending Theory
- Deixis
- Dialogische Syntax
- Diskursakte
- Diskursmarker/-partikel
- Diskursstrategien in mündlichen epischen Überlieferungen und im Geschichtenerzählen
- Dokumentarische Papyrologie
- Figurative Sprache
- Ikonizität
- Insubordination
- Interpunktion
- Kognitive Soziolinguistik
- Morphosyntax
- Multimodalität in Songs
- Pragmatik
- Subordination
- Segmentierung in Sprache
Promotionsprojekte
- (beendet) “A Basket of Mysteries” A Cognitive Linguistic Analysis of Rita Dove’s reworking of Greek myths
The project focuses on the reuse of ancient myth in the works of the African-American poet Rita Doves, from a cognitive perspective. The research and the linguistic analysis strongly revolve around the cognitive mappings emerging from Rita Dove’s narrative constructs, names, and words, with respect to the ancient Greek texts. Central concepts of cognitive-linguistic studies, such as the Conceptual Metaphor Theory and Conceptual Integration Theory are applied in order to explore cognitive models and structures at the base of Rita Dove’s creative process of re-elaboration, re-conceptualization, and re-adapation of mythical episodes and stories.
- (beendet) Analyzing Tag Questions in Jordanian Arabic Talk-in-Interactions from a Multimodal Perspective
Based on transcribed audio and video recordings of casual face-to-face Jordanian Arabic conversation of 24 university students in Irbid City, this study explores the role of linguistic structures, prosodic and visual features as well as their joint effect on the construction of the different forms and interactional functions of tag questions in three Jordanian Arabic dialects. This study adopts the methodologies of conversation analysis and interactional linguistics and aims to overcome the lack of research on multimodality and tag questions in Jordanian Arabic interaction.
The project revolves around multimodal communication and in particular on multimodal and cross-modal references to objects in forensic science movies. The focus is how words mentioning and referring to objects are linked with diegetic images depicting the objects as well as diegetic sounds produced by the objects to constitute anaphoric expressions in co-referential chains with respect to the viewers’ perception. By implementing semantic, pragmatic, and cognitive frameworks, in combination with concepts related to telecinematic discourse, this study explores the complex processes the viewers undergo that lead them to construe the meaning of multimodal cues and connect the modal elements anaphorically to the given referents.
The project focuses on figurative and non-figurative conceptions of loss, grief and coping in picturebooks in the German and English language. Instead of investigating just the conceptualisation of death, the study embraces the discursive and dynamic dimensions of the cognitive-emotional processes around someone's death as stories unfold: (i) the sense of loss, (ii) the process of grieving, and (iii) the process of coping. As multimodally designed objects, picturebooks are particularly useful for an analysis: they convey meaning through each mode and across modes.
Pilotstudien
- Manuelle Annotation von mehr als 3.500 anaphoric expressions mit Personen als Referenten in 6 Krimigeschichten (Annotationen von Pinelopi Ioannidou und Zala Salarzai; Koordination von Anna Bonifazi)
Kooperationen
- Cologne Myth network
After its inaugurating meeting in February 2019, the international and interdisciplinary research group “Cologne Mythological Network” was established with the aim of bringing together scholars with different academic backgrounds who share a common interest in myth and mythology. The first outcome of the group’s work has been the research seminar series Ancient Myths in Modern Art: Comparative Perspectives on Micro- and Macro-Structures, organized by (Prof. Anna Bonifazi) and Comparative Literature (Prof. Joachim Harst). The research seminar series has not only brought together speakers from different departments of the University of Cologne, but also from other academic institutions in Cologne, as well as from other parts of Germany and Europe. The group is currently planning further events dealing with myth and mythology, maintaining its highly interdisciplinary perspective and international character; anyone interested in past and future activities and events may contact Riccardo Ginevra (riccginevra[at]gmail.com) and Penelope Kolovou (penelope.kolovou[at]uni-bonn.de), coordinators of the group.
