Perception sonore – perception visuelle : quelle cohérence cognitive ?
Vendredi 13/02/2015 13H30 – 17h30 salle D040
Coordination de la séance : Jean-Marc Chouvel et Philippe Lalitte
Une des questions fondatrices de la revue musimediane était d’interroger l’apport du multimédia pour la pratique de l’analyse musicale. La synchronisation du signal acoustique et du message analytique, la possibilité de visualisation « simultanée » de divers types de représentations permettait a priori de rapprocher le message analytique de la perception sonore. Mais un message multimodal n’a pas la même implication cognitive qu’une écoute musicale aveugle, même si cette dernière peut aussi générer parfois une activité intérieure « imagée ». Certes, un concert est un « spectacle vivant », et l’auditeur veut « voir le pianiste jouer ». Mais que pouvons-nous savoir des bénéfices, ou des interférences, que la combinaison du visuel et du sonore impliquent pour la cognition ?
Kevin Dahan
Sur la question des représentations numériques pour l’analyse musicale
Il est possible de grouper les différentes stratégies de représentation de la musique développées pour l’analyse en deux familles : celles qui se basent sur une quantification et/ou une formalisation de divers aspects du message, et celles cherchant à mettre en avant des éléments plus qualitatifs, s’appuyant souvent sur le phénomène perceptif du sonore. Cette tendance, ancienne, est devenue plus complexe par l’apport de la technologie, et la facilité de traitement de l’information qu’elle procure. Les outils numériques appliqués à la musique, jusqu’aux avancées les plus récentes en apprentissage automatique et en recherche d’information, contribuent à enrichir les possibilités de représentations (textuelles, graphiques, sensorielles) à disposition de l’analyste. Face à la multiplicité des possibles, celui-ci se retrouve dans la position d’employer des représentations de plus en plus attrayantes, mais qui encapsulent des informations de plus en plus complexes – allant jusqu’à l’interprétation.
On questionnera alors les liens cognitifs qui façonnent dans un environnement numérique, la relation entre le message musical, ses manifestations, ses représentations et son analyse, particulièrement dans le cas des musiques sans support écrit préalable ; nous verrons ce qu’il est possible d’en tirer afin d’améliorer tant les stratégies de représentations que la compréhension des interactions entre un fait musical et son (ses) analyse(s) dans un contexte technologique.
Michel Imberty
De la figure au geste, de l’espace au temps
La notion de geste est souvent utilisée de manière métaphorique dans les discours sur la musique. Cet usage recouvre bien des ambiguïtés, tant sur le plan musical que sur le plan cognitif. Le geste part évidemment du corps, il est mouvement du corps ou d’une partie du corps qui se meut dans l’espace, mais aussi dans le temps. Il y a bien une forme spatiale du geste que je peux décrire, voire tracer sur le papier, mais cette forme ne peut se manifester que déployée dans le temps, elle n’a de réalité que dans le temps, celui de l’acte moteur qui l’engendre. Le geste est donc d’abord caractérisé par le profil temporel du mouvement qui en est le support. Mais le geste ne se réduit pas à ce mouvement, et d’ailleurs tout mouvement n’est pas geste. Le geste doit être défini comme un mouvement intentionnel plus ou moins complexe, orienté vers un but déterminé qui lui donne un sens individuel, social ou historique.
Les psychologues ont tenté de comprendre cette ambivalence du geste à travers les phénomènes d’imitation ou d’apprentissage. Les compositeurs ont eux aussi apporté leur contribution, et on essaiera d’articuler les deux points de vue en partant du livre de Salvatore Sciarrino dont le titre pose les termes mêmes de l’ambivalence espace-temps dans l’histoire de la musique. On se rendra compte que le terme de « figure » proposé par le compositeur est en réalité complètement imprégné de « formes temporelles » dont on pourra essayer de préciser les contours.
Jean-Michel Boucheix
Compréhension, mémoire et intégration cognitive multimodale : approche expérimentale et eye tracking
Analyser, comprendre c’est former une représentation unique ou cohérente du contenu présenté à partir d’un ensemble d’informations sensorielles multiples : texte, image, sons, et parfois information haptique. J’essaierai de montrer à partir des travaux récents en psychologie cognitive/expérimentale, et de mes propres recherche qui utilisent l’analyse du mouvement des yeux, les conditions d’une intégration sensorielle « efficace » à partir des modèles de la la mémoire de travail et de la cognition incarnée. Je centrerai l’exposé surtout sur l’intégration image-écrit.
Olivier Koechlin
Experiences et perspectives du multimedia interactif pour l’analyse musicale
Cette présentation propose une approche interactive de l’analyse musicale, à travers l’expérience de différentes réalisations multimedia menées depuis ces vingt dernières années.
On présentera d’abord Les Musicographies, une série de dix transcriptions graphiques réalisées en 1996 pour l’INA-GRM sur des musiques traditionnelles, improvisées ou contemporaines, explorant différents types de représentations (schématiques ou sonographiques, linéaires ou circulaires, etc.).
On présentera ensuite le Gamelan Mécanique, réalisé avec Kati Basset en 2004 pour la Cité de la Musique de Paris, qui permet de comprendre et de mettre en œuvre les mécanismes du répertoire de cet instrument-orchestre indonésien, grâce à un veritable simulateur interactif particulièrement réaliste.
On présentera enfin metaScore, un outil auteur pour la réalisation et la publication de documents d’analyse interactifs, développé depuis 2004 pour la Cité de la Musique de Paris, qui l’a utilisé pour le production de nombreux Guides d’écoute. Cet outil permet la synchronisation d’hypertexte et de graphismes animés avec l’écoute interactive d’une œuvre. Développé initialement en format shockwave, il est actuellement en cours de ré-écriture au format HTML5.
Ces trois exemples, illustrant des genres musicaux très divers, conduiront à une reflexion sur les questions de représentation du phénomène musical, d’anticipation dans les processus de lecture, de segmentation temporelle (pagination), et à proposer une méthodologie d’écriture et une ergonomie de consultation des documents d’analyse musicale interactive.