Top

Published in:

2019 | OriginalPaper | Chapter

Multimodalität als Herausforderung für die Visuelle Kommunikationsforschung

Author : H.-J. Bucher

Published in: Handbuch Visuelle Kommunikationsforschung

Publisher: Springer Fachmedien Wiesbaden

Activate our intelligent search to find suitable subject content or patents.

search-config

AI-assisted search

Off

Zusammenfassung

Abbildungen ebenso wie Texte oder gesprochene Sprache kommen in der Medienkommunikation nicht isoliert vor, sondern in Kombination mit anderen Modi. Medienkommunikation ist dementsprechend immer multimodal. Insofern stellt der Begriff der visuellen Kommunikation eine Vereinfachung der hybriden Medienlogik dar. Der Beitrag zeigt erstens, zu welchen analytischen Verkürzungen eine Vernachlässigung der intermodalen Relationen führen kann und stellt zweitens die wichtigsten Ansätze zur Multimodalität vor. In einem dritten Schritt wird demonstriert, wie unter einer multimodalen Perspektive zentrale Probleme der visuellen Kommunikationsforschung angegangen werden können.

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

inform now

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

inform now

previous chapter Ansätze und Verfahren der Visuellen Netzwerkforschung

next chapter Rechtliche Rahmenbedingungen der wissenschaftlichen Bildverwendung

Adami, E. (2015). What’s in a click? A social semiotic framework for the multimodal analysis of website interactivity. Visual Communication, 14(2), 133–153.CrossRef

Altheide, D., & Snow, R. (1988). Toward a theory of mediation. Communication Yearbook, 11, 194–223.

Baldry, A., & Thibault, P. J. (2005). Multimodal transcription and text analysis. A multimedia toolkit and coursebook with associated online-course. London/Oakville: Equinox.

Barnhurst, K. G., & Nerone, J. C. (2001). The form of news. A history. New York/London: The Guildford Press.

Barnhurst, K. G., Vari, M., & Rodríguez, Í. (2004). Mapping visual studies in communication. Journal of Communication, 54(4), 616–644.CrossRef

Barthes, R. (1990a [1982]). Die Fotografie als Botschaft. In R. Barthes (Hrsg.), Der entgegenkommende und der stumpfe Sinn (S. 11–27). Frankfurt a. M.: Suhrkamp.

Barthes, R. (1990b [1982]). Rhetorik des Bildes. In R. Barthes (Hrsg.), Der entgegenkommende und der stumpfe Sinn (S. 28–46). Frankfurt a. M.: Suhrkamp.

Bateman, J. (2008). Multimodality and genre: A foundation for the systematic analysis of multimodal documents. London: Palgrave Macmillan.CrossRef

Bateman, J. (2011). The decomposability of semiotic modes. In K. L. O’Halloran & B. A. Smith (Hrsg.), Multimodal studies. Exploring issues and domains (S. 17–38). New York/London: Routledge.

Bateman, J. (2014). Text and image. A critical introduction to the visual/verbal divide. London/New York: Routledge.CrossRef

Bateman, J. (2016). Methodological and theoretical issues for the empirical investigation of multimodality. In N.-M. Klug & H. Stöckl (Hrsg.), Sprache im multimodalen Kontext/Language and Multimodality (S. 36–74). Berlin: de Gruyter.

Bateman, J., & Schmidt, K. (2012). Multimodal film analysis: How films mean. New York: Routledge.

Bateman, J., & Wildfeuer, J. (2014). A multimodal discourse theory of visual narrative. Journal of Pragmatics, 74, 180–208.CrossRef

Blum, J., & Bucher, H.-J. (1998). Die Zeitung: Ein Multimedium. Textdesign – ein Gestaltungskonzept für Text, Bild und Grafik. Konstanz: UVK.

Bucher, H.-J. (2007). Textdesign und Multimodalität. Zur Semantik und Pragmatik medialer Gestaltungsformen. In K. S. Roth & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 49–76). Konstanz: UVK.

Bucher, H.-J. (2010). Multimodalität – eine Universalie des Medienwandels: Problemstellungen und Theorien der Multimodalitätsforschung. In H.-J. Bucher, T. Gloning & K. Lehnen (Hrsg.), Neue Medien – Neue Formate. Ausdifferenzierung und Konvergenz in der Medienkommunikation (S. 41–79). Frankfurt a. M./New York: Campus.

Bucher, H.-J. (2011a). Multimodales Verstehen oder Rezeption als Interaktion. Theoretische und empirische Grundlagen einer systematischen Analyse der Multimodalität. In H. Dieckmannshenke, M. Klemm & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 123–156). Berlin: Erich Schmidt.

Bucher, H.-J. (2011b). „Man sieht, was man hört“ oder: Multimodales Verstehen als interaktionale Aneignung. Eine Blickaufzeichnungsstudie zur audiovisuellen Rezeption. In J. Schneider & H. Stöckl (Hrsg.), Medientheorien und Multimodalität. Ein TV-Werbespot – Sieben methodische Beschreibungsansätze (S. 109–150). Köln: Herbert von Halem.

Bucher, H.-J. (2012a). Intermodale Effekte in der audio-visuellen Kommunikation. Blickaufzeichnungsstudie zur Rezeption von zwei Werbespots. In H.-J. Bucher & P. Schumacher (Hrsg.), Interaktionale Rezeptionsforschung. Theorie und Methode der Blickaufzeichnung in der Medienforschung (S. 257–296). Wiesbaden: Springer.CrossRef

Bucher, H.-J. (2012b). Multimodalität – ein universelles Merkmal der Medienkommunikation. Zum Verhältnis von Medienangebot und Medienrezeption. In H.-J. Bucher & P. Schumacher (Hrsg.), Interaktionale Rezeptionsforschung. Theorie und Methode der Blickaufzeichnung in der Medienforschung (S. 51–82). Wiesbaden: Springer.CrossRef

Bucher, H.-J. (2013). Online-Diskurse als multimodale Netzwerk-Kommunikation. Plädoyer für eine Paradigmenerweiterung. In C. Fraas, S. Meier & C. Pentzold (Hrsg.), Online-Diskurse. Theorien und Methoden transmedialer Online-Diskursforschung (S. 57–101). Köln: Herbert von Halem.

Bucher, H.-J. (2016). Mehr als Text mit Bild. Zur Multimodalität der Illustrierten Zeitungen im 19. Jahrhundert. In N. Igl & J. Menzel (Hrsg.), Illustrierte Zeitschriften um 1900: Mediale Eigenlogik, Multimodalität und Metaisierung. (Reihe Medienwissenschaft) (S. 26–72). Bielefeld: transcript.

Bucher, H.-J., & Schumacher, P. (2006). The relevance of attention for selecting news content. An eye-tracking study on attention patterns in the reception of print- and online media. Communications, 31(3), 347–368.CrossRef

Coleman, R. (2010). Framing the pictures in our head. In P. D’Angelo & J. A. Kuypers (Hrsg.), Doing news framing analysis (S. 233–262). New York: Routledge.

Dobos, A. R., Orthia, L. A., & Lamberts, R. (2015). Does a picture tell a thousand words? The uses of digitally produced, multimodal pictures for communicating information about Alzheimer’s disease. Public Understanding of Science, 24(6), 712–730.CrossRef

Elleström, L. (2010). Media borders, multimodality and intermediality. Basingstoke: Palgrave Macmillan.CrossRef

Entman, R. M. (1993). Framing: Toward clarification of a fractured paradigm. Journal of Communication, 43(4), 51–58.CrossRef

Forceville, C. (2011). Pictorial runes in Tintin and the Picaros. Journal of Pragmatics, 43(3), 875–890.CrossRef

Forceville, C. (2014). Relevance theory as model for analysing visual and multimodal communication. In D. Machin (Hrsg.), Visual communication (S. 51–70). Berlin/Boston: de Gruyter.

Fritz, G. (2013). Dynamische Texttheorie. Linguistische Untersuchungen. Gießen: Gießener Elektronische Bibliothek.

Geise, S., & Lobinger, K. (Hrsg.). (2013). Visual Framing – Perspektiven und Herausforderungen der visuellen Kommunikationsforschung. Köln: Herbert von Halem.

Geise, S., & Rössler, P. (2012). Visuelle Inhaltsanalyse: Ein Vorschlag zur theoretischen Dimensionierung der Erfassung von Bildinhalten. Medien & Kommunikationswissenschaft, 60(3), 341–361.CrossRef

Goffman, E. (1977 [1974]). Rahmen-Analyse. Ein Versuch über die Organisation von Alltagserfahrungen. Frankfurt a. M.: Suhrkamp.

Grice, H. P. (1975). Logic and conversation. In P. Cole & J. L. Morgan (Hrsg.), Syntax and semantics (Speech acts, Bd. 3, S. 41–58). New York: Academic.

Grittmann, E., & Ammann, I. (2011). Quantitative Bildtypenanalyse. In T. Petersen & C. Schwender (Hrsg.), Die Entschlüsselung der Bilder. Methoden zur Erforschung visueller Kommunikation. Ein Handbuch (S. 163–178). Köln: Herbert von Halem.

Grittmann, E., & Lobinger, K. (2011). Quantitative Bildinhaltsanalyse. In T. Petersen & C. Schwender (Hrsg.), Die Entschlüsselung der Bilder. Methoden zur Erforschung visueller Kommunikation. Ein Handbuch (S. 145–162). Köln: Herbert von Halem.

Halliday, M. A. K. (1979). Language as social semiotic. The social interpretation of language and meaning. London: Edward Arnold.

Halliday, M. A. K. (2004). An introduction to functional grammar. London: Hodder Arnold.

Holly, W. (2006). Mit Worten sehen. Audiovisuelle Bedeutungskonstitution und Muster transkriptiver Logik in der Fernsehberichterstattung. Deutsche Sprache, 1–2, 135–150.

Holsanova, J. (2011). How we focus attention in picture viewing, picture description and mental imagery. In K. Sachs-Hombach & R. Totzke (Hrsg.), Bilder – Sehen – Denken. Zum Verhältnis von begrifflich-philosophischen und empirisch-psychologischen Ansätzen in der bildwissenschaftlichen Forschung (S. 291–313). Köln: Herbert von Halem.

Holsanova, J., Holmqvist, K., & Holmberg, N. (2008). Reading information graphics: The role of spatial contiguity and dual attentional guidance. Applied Cognitive Psychology, 23(9), 1215–1226.CrossRef

Itti, L., & Koch, C. (2000). A salience-based search mechanism for overt and covert shifts of visual attention. Vision Research, 40(2000), 1489–1509.CrossRef

Jewitt, C. (2009a). Introduction to multimodality. In C. Jewitt (Hrsg.), The Routledge handbook of multimodal analysis (S. 14–27). London: Routledge.

Jewitt, C. (2009b). Different approaches to multimodality. In C. Jewitt (Hrsg.), The Routledge handbook of multimodal analysis (S. 28–39). London: Routledge.

Keller, R. (1995). Zeichentheorie. Zu einer Theorie semiotischen Wissens. Tübingen/Basel: Francke.

Kepplinger, H. M. (1987). Darstellungseffekte. Experimentelle Untersuchungen zur Wirkung von Pressefotos und Fernsehfilmen. Freiburg/München: Karl Albert.

Knox, J. S. (2009). Multimodal discourse on online newspaper home pages: A social-semiotic perspective. Dissertation Department of Linguistics. Sydney: University of Sydney.

Kress, G. (2002). The multimodal landscape of communication. Medien-Journal, 26(4), 4–18.CrossRef

Kress, G. (2010). Multimodality. A social semiotic approach to contemporary communication. London/New York: Routledge.

Kress, G., & Van Leeuwen, T. (1996). Reading images. The grammar of visual design. New York: Routledge.

Kress, G., & van Leeuwen, T. (1998). Front pages. The critical analysis of newspaper layout. In A. Bell & P. Garrett (Hrsg.), Approaches to media discourse (S. 186–219). Oxford: Blackwell.

Kress, G., & van Leeuwen, T. (2001). Multimodal discourse. The modes and media of contemporary communication. London: Arnold.

Leeuwen, T. van. (1999). Speech, music, sound. London: Macmillan.

Leeuwen, T. van. (2005). Multimodality, genre and design. In S. Norris & R. H. Jones (Hrsg.), Discourse in action: Introducing mediated discourse analysis (S. 73–93). London: Routledge.

Lemke, J. L. (1998). Multiplying meaning: Visual and verbal semiotics in scientific text. In J. R. Martin & R. Veel (Hrsg.), Reading science. Critical and functional perspectives on discourses of science (S. 87–113). London: Routledge.

Lim, F. V. (2004). Developing an integrative multi-semiotic model. In K. L. O’Halloran (Hrsg.), Multimodal discourse analysis. Systemic functional perspectives. London/New York: Continuum.

Liu, Y., & O’Halloran, K. L. (2009). Intersemiotic texture: Analyzing cohesive devices between language and images. Social Semiotics, 19(4), 367–388.CrossRef

Lobinger, K., & Geise, S. (2013). ‚Does the frame remain the same?‘ Visual Framing und Multimodalität als methodische Herausforderung der Visuellen Kommunikationsforschung. In S. Geise & K. Lobinger (Hrsg.), Visual Framing – Perspektiven und Herausforderungen der visuellen Kommunikationsforschung (S. 332–357). Köln: Herbert von Halem.

Martinec, R., & Salway, A. (2005). A system for image-text relations in new (and old) media. Visual Communication, 4(3), 337–371.CrossRef

Martinec, R., & van Leeuwen, T. (2009). The language of new media design. Theory and practice. London/New York: Routledge.

Messaris, P., & Abraham, L. (2001). The role of images in framing news stories. In S. D. Reese, O. H. Gandy Jr. & A. E. Grant (Hrsg.), Framing public life. Perspectives on media and our understanding of the social world (S. 215–226). New York: Routledge.

Mitchell, W. J. T. (2005). There are no visual media. Journal of Visual Culture, 4(2), 257–266.CrossRef

Mitchell, W. T. J. (2009). Vier Grundbegriffe der Bildwissenschaft. In K. Sachs-Hombach (Hrsg.), Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic Turn (S. 319–327). Frankfurt a. M.: Suhrkamp.

Muckenhaupt, M. (1986). Text und Bild. Grundfragen der Beschreibung von Text-Bild-Kommunikationen aus sprachwissenschaftlicher Sicht. Tübingen: Narr.

Müller, M. G. (2001). Bilder – Visionen – Wirklichkeiten. Zur Bedeutung der Bildwissenschaft im 21. Jahrhundert. In M. G. Müller & T. Knieper (Hrsg.), Kommunikation visuell: Das Bild als Forschungsgegenstand – Grundlagen und Perspektive (S. 14–24). Köln: Herber von Halem.

Müller, M. G., & Geise, S. (2015). Grundlagen der Visuellen Kommunikation (2. Aufl.). Konstanz/München: UVK.

O’Halloran, K. L. (1999). Interdependence, interaction and metaphor in multisemiotic texts. Social Semiotics, 9(3), 317–354.CrossRef

O’Halloran, K. L. (2004). Multimodal discourse analysis. Systemic functional perspectives. Open linguistic series. London/New York: Continuum.

O’Halloran, K. L. (2008). Systemic functional-multimodal discourse analysis (SF-MDA): Constructing ideational meaning using language and visual imagery. Visual Communication, 7(4), 443–475.CrossRef

Panofsky, E. (1939/1955). Ikonografie und Ikonologie. In E. Kaemmerling (Hrsg.), Ikonografie und Ikonologie. Theorien – Entwicklungen – Probleme. Bildende Kunst als Zeichensystem (Bd. 1, S. 207–255). Köln: DuMont.

Pauwels, L. (2006). Visual cultures of science. Rethinking representational practices in knowledge building and science communication. London: University Press of New England.

Peirce, C. S. (1990). Semiotische Schriften. Frankfurt a. M.: Suhrkamp.

Rodriguez, L., & Dimitrova, D. V. (2011). The levels of visual framing. Journal of Visual Literacy, 30(1), 48–65.CrossRef

Sachs-Hombach, K. (2003). Das Bild als kommunikatives Medium. Elemente einer allgemeinen Bildwissenschaft. Köln: Herbert von Halem.

Scheufele, B. (2003). Frames – Framing – Framing-Effekte. Theoretische und methodische Grundlegung des Framing-Ansatzes sowie empirische Befunde zur Nachrichtenproduktion. Wiesbaden: Westdeutscher.

Schneider, J., & Stöckl, H. (Hrsg.). (2011). Medientheorien und Multimodalität. Ein TV-Spot – Sieben methodische Beschreibungsansätze. Köln: Herbert von Halem.

Scholz, O. R. (2004). Bild, Darstellung, Zeichen. Philosophische Theorien bildlicher Darstellung. Frankfurt a. M.: Klostermann.

Schröder, T. (2010). Die Bilder-Zeitung. Wie ein Textmedium zu einem Medium der visuellen Kommunikation wird. In H.-J. Bucher, T. Gloning & K. Lehnen (Hrsg.), Neue Medien – Neue Formate. Ausdifferenzierung und Konvergenz in der Medienkommunikation (S. 169–188). Frankfurt a. M./New York: Campus.

Sperber, D., & Wilson, D. (1986). Relevance. Communication and cognition. Cambridge: Harvard University Press.

Sperber, D., & Wilson, D. (2012). Introduction: Pragmatics. In D. Wilson & D. Sperber (Hrsg.), Meaning and relevance (S. 1–27). Cambridge: Cambridge University Press.

Thomas, M. (2014). Evidence and circularity in multimodal discourse analysis. Visual Communication, 13(2), 163–189.CrossRef

Tomasello, M. (2009). Die Ursprünge der menschlichen Kommunikation. Frankfurt a. M.: Suhrkamp.

Vreese, C. H. de. (2004). The effects of frames in political television news on issue interpretation and frame salience. Journalism and Mass Communication Quarterly, 81(1), 36–52.

Wittgenstein, L. (1977 [1958]). Philosophische Untersuchungen. Frankfurt a. M.: Suhrkamp.

Title: Multimodalität als Herausforderung für die Visuelle Kommunikationsforschung
Author: H.-J. Bucher
Publisher: Springer Fachmedien Wiesbaden
Book: Handbuch Visuelle Kommunikationsforschung
Print ISBN: 978-3-658-06507-2

Electronic ISBN: 978-3-658-06508-9

Copyright Year: 2019
DOI: https://doi.org/10.1007/978-3-658-06508-9_31