Oplæg om multimodalitet I v/Lisbeth

Oplæg om multimodalitet I v/Lisbeth

• Oplæg om multimodalitet I v/Lisbeth

• Oplæg om Kjeldsen/visuel retorik v. grp

• Oplæg om visuel komm. v/Rikke

• Oplæg om lyd på www v/Magnus & Esben

• Oplæg om multimodalitet II v/Lisbeth

• Øvelser: kort brainstorm eksamensopgave analyse af multimodalitet på web

9 strategier:

• 9 strategier:

• 1. Gør det synligt og simpelt
• 2. Vær illustrativ
• 3. Vælg en passende grafisk stilart
• 4. Skriv forståeligt og kortfattet
• 5. Skriv noget relevant
• 6. Vælg en passende skrivestil og genre
• 7. Gør grundstrukturen enkel
• 8. Vis informationen på rette tid og sted
• 9. Skab en god historie

• Kairotisk multimodalitet:

• ... rette modalitet til rette tid og sted

”Videnskab” der fokuserer på hvordan betydning skabes i et givet tegnsystem

• ”Videnskab” der fokuserer på hvordan betydning skabes i et givet tegnsystem

• Identificere ”tegn-enheder”

• Skel mellem ”signifier” og ”signified” (det der repræsenterer og hvad det repræsenterer), tegn og objekt //Saussure

• Peirce: symbol, indeks og ikon

Semiotisk fortolkningspraksis er kulturelt og socialt bestemt & præget af repræsentationelle paradigmer

• Semiotisk fortolkningspraksis er kulturelt og socialt bestemt & præget af repræsentationelle paradigmer

• Selvom tingene ”bare” er der, fortolker vi f.eks. relationer mellem genstande på billedet på bestemte måder (afstand, interaktion osv).

• Vores fortolkning er ”kulturlig”, ikke naturlig og åben.

• Hver ”modus” har sin udtryksform - og sin era. Visuel kommunikation dominerer i stigende grad over den verbale.

• (se f.eks. Kress & Van Leeuwen, 2001/2006: Reading Images)

semiotiske ressourcer (fremfor tegn)

• semiotiske ressourcer (fremfor tegn)

• semiotisk ressource ~ = modalitet:

• verbalsprog, billeder, grafik, film, lyd, musik, gestik, arkitektur (+ digital ”simulation”??)

• semiotiske ressourcer (fx verbalsprog) -> materiel form (fx print) > site of "fixing", hvor mening repræsenteres (bogsiden, skærmen) - alle påvirker hvordan vi opfatter det kommunikerede

• en multimodal betydningsteori fremhæver det situationelle og intentionelle (”aptnes”) og hermed også design (formgivning af passende udtryk, brug af aktuelle ressourcer) som vigtigt parameter

hvordan det enkelte element (modalitet) skaber mening (f.eks. analyse af et billedes retorik)

• hvordan det enkelte element (modalitet) skaber mening (f.eks. analyse af et billedes retorik)

• hvordan det står i relation til andre elementer (funktionel specialisering (tid/rum), tyngde (f.eks. er dette element den der er bærer af den væsentligste information?)

• hvordan de bindes sammen (kommunikationel interaktion, koherens: rytme, komposition, informationskobling, dialog)

• hvordan forskellige modaliteter tilsammen skaber den overordnede mening (et 3. udtryk)

Hvordan fungerer den sammensatte retoriske ytring i forhold til et bestemt formål?

• Hvordan fungerer den sammensatte retoriske ytring i forhold til et bestemt formål?

• Egner teksthelheden sig f.eks. til at skape tillid til ”tekstens” afsender, og til at overbevise og bevæge dens modtagere?

• Skaper de forskellige modaliter en retorisk synergieffekt, hvor argumentation og følelsesappel samvirker i en fortættet og fokuseret form?

• Eller representerer de forskellige ”tekstelementer” (modaliteter) i den givne retoriske ytring et budskab, som taler i flere retninger og måske modsiger sig selv?

• (Martin Engebretsen, introduktion til norsk lærebog om multimodal analyse, forthcoming)

http://www.playmusicmagazine.com/

• http://www.playmusicmagazine.com/

typiske modaliteter på web: skrift, fotografier, tegninger, forklarende figurer, typografi layout, levende bilder og simuleret 3D

• typiske modaliteter på web: skrift, fotografier, tegninger, forklarende figurer, typografi layout, levende bilder og simuleret 3D

• en modalitet indkapsler ofte en anden (”dominerende stemme”) jvf. videoeksempler

• næsten altid kombi af tekst/stilbilleder (el. tale og video)

• kombi af modaliteter kan forankre mening i ”et 3.udtryk”

• Fagerjord: Web-medier – Introduksjon til sjangre og uttrykksformer på nettet, 2006

Tekst indkapsler video:

• Tekst indkapsler video:

• Videoillustration (som et billede, fx Trekking Nepal)

• Skrevet introduktion (fx BBC news)

• Video-på-bestilling (kræver skriftmenuer, fx Tv2 Sputnik)

• Video med kapitler (fx National Geograpfic)

• Alternative versioner

• Video indkapsler tekst:

• Introduktion til tekstmateriale (appetizer, følelsesfremkalder, ”exordium”) (fx The Meatrix, 3F selvmord)

• Video står med fodnote (fx ”Commanding Heights på PBS)

Phil MacGregor:

• Phil MacGregor:

• Multimedier bruges, ”isoleret” fra teksten, dvs. mening opfattes ikke samlet

• ”Sensorisk” kløft/attention surplus

• Sammenstød mlm immediacy & hypermediacy

• Forventning om mulighed for handling skuffes

• sit-up vs. sit-back medier

• (jvf. Fagerjord/Liestøl: objektaktivitet, subjektaktivitet)

• Verbaltekst beskriver tidslige forhold, forløb over tid, kausalitet (”rytme”)

• Billedet beskriver rumlige forhold, betydningsvægt i kraft af f.eks. placering og størrelse (”komposition”)

• eller f.eks: billedet påkalder, skaber opmærksomhed teksten giver information, forklarer budskab

• Skrevet sprog som modalitet:

• fra abstrakt til konkret: symbolet mand --- din mentale konkretisering af ordet – ”received”

• - tekst opererer typisk med metaforer (lighed)

• Billedtegn - filmisk fortælling:

• fra konkret til abstrakt: en bestemt mand --- en mental repræsentation af mand i det hele taget, hvad han er symbol for – ”perceived”

• - billeder opererer typisk med metonymier (nærhed)

billedet fungerer i forhold til tekstens ”indhold”: understøttende, supplerende

• billedet fungerer i forhold til tekstens ”indhold”: understøttende, supplerende

• el. udvidende, kommenterende

• Roland Barthes: ”anchorage” ¨vs ”relay”

• Kress & Van Leewen: ”elaboration” vs ”extension”

• McCloud: ”illustration” vs ”samspil” (samt også paralel)

• Anne Løvland: redundans (gentagelse) af budskab gennem forskellige modaliteter er også en vigtig funktion i kommunikation, måske især til yngre aldersgrupper (Løvland, 2010, forthcoming)

Anders Fagerjord

• Anders Fagerjord

• blikfang

• illustration

• konnotation

• Lisbeth Thorlacius

• understøtter/kommunikerer sender-image

• understøtter funktionalitet (navigation osv)

• understøtter/skaber webgenre

• signalerer publikumsopfattelser (aktuelle trends i visuel aesthetics)

• ”The Role of Aesthetics in Webdesign”

• Aktivitetshandlinger: grafik (f.eks. knap) og farver (f.eks. linkfarve)

gode referencer til div. tekster om visuel retorik: http://www4.ncsu.edu/~vgallagh/VisualRhetoricGradSyllabus.pdf B. Phillips & E.F. Mcquarie: Beyond Visual Metaphor: A New Typology of Visual Metaphor in Advertising (2004)

• gode referencer til div. tekster om visuel retorik: http://www4.ncsu.edu/~vgallagh/VisualRhetoricGradSyllabus.pdf B. Phillips & E.F. Mcquarie: Beyond Visual Metaphor: A New Typology of Visual Metaphor in Advertising (2004)

• Jens F. Kjeldsen: ”Visual Argumentation in Scandinavian Political Advertising” (2007) Birdsell Y Groarke: Toward a Theory of Visual Argument (1996)

• god opsummering af farvers betydning: http://www.yoyo-creative.dk/start/hidden/FS-Lysdesign.htm

• gode referencer til div. tekster/sites om lyd: http://www.gamessound.com/links.htm

• gode multimedia sites: http://journalists.org/news/29726/Finalists-announced-for-2009-Online-Journalism-Awards.htm

• Generelt: http://delicious.com/klast/digitalrhetorics

PROCEDURAL RETORIK - SPILRETORIK

• PROCEDURAL RETORIK - SPILRETORIK

• Gæsteforelæser: Miguel Sicart

• Forberedelse: Læs tekster (Bogost, Consalvo og Dutton, Frasca) + spil spil! GRUPPE 9 FREMLÆGGER FRASCA-TEKST

Vi mødes til startoplæg 13.00 i auditoriet

• Vi mødes til startoplæg 13.00 i auditoriet

• Fælles brainstorm eksamensopgave (lægges på kursuswebsite)

• Gruppearbejde:

• multimodal analyse

• Plenum: - diskussion af analyser