6. Le logiciel ReCollection
Le logiciel ReCollection a été élaboré autour de l'opéra interactif en forme ouverte Alma Sola, musique d'Alain Bonardi, livret de Christine Zeppenfeld [1]. Cette œuvre a été dès le départ conçue en collection d'une vingtaine de fragments d'opéra, agençables selon n'importe quel ordre (seuls le début et la fin sont imposés). Chaque représentation de l'œuvre voit le rôle principal, un Faust féminin, construire un parcours, c'est-à-dire une séquence de fragments lyriques puisés dans le réservoir que constitue la partition. Pour présenter l'œuvre sous forme de borne interactive, mais aussi donner à éprouver cette construction interactive d'une forme lyrique dans le temps, nous avons conçu et réalisé une maquette d'application multimédia, permettant le parcours dans Alma Sola.
Chaque objet de la collection numérique proposée représente un fragment d'opéra et est constitué d'une image, d'un son et d'un texte. Ces composantes correspondent à des fichiers classiques stockés sur disque (image bitmap, son wave et .txt). Les images de la collection sont des photographies du spectacle. Les sons sont des enregistrements de quelques secondes, comportant une phrase chantée, avec un ou plusieurs instruments en accompagnement. Enfin, les textes reprennent les phrases chantées. A ces fichiers sont associés des descripteurs spécifiques à chaque média ; dans le prototype actuel, seuls les fichiers sonores possèdent quelques descripteurs les caractérisant. Ils proviennent d'une analyse réalisée par un patch Max/MSP ad hoc, avec l’objet analyzer~ (moyennes et écart-types sur la fréquence fondamentale, du volume, de la brillance, de degré de bruit).
Le logiciel organise deux types d’espaces pour ces fragments d’opéra : une ou plusieurs réserve(s) et une ou plusieurs exposition(s).
Pour en revenir à notre image de la galerie artistique, les collections sont en général constituées d'un très grand nombre d'oeuvres. Cet excès est l’une des caractéristiques nécessaires à la définition d'une collection, comme nous l'avons vu. Lorsque l'on parcourt une réserve, on tombe sur des oeuvres une par une, plutôt aléatoirement, et l'on n'a aucune vue d'ensemble sur elles. Dans ce cas, le collectionneur n'a d'autre choix que de passer en revue les éléments un par un, jusqu'à ce qu’il trouve un objet intéressant. Dans les développements ultérieurs, il s'agira sans doute d'intégrer la notion de réserve visitable qui semble émerger dans les nouveaux usages : fortement en vogue dans les musées ou rénovations de musées actuels, les réserves visitables contestent cette distinction en présentant les réserves, certes en vrac, mais dans un vrac souvent organisé en types d'objets (cf. le Musée du Quai Branly à Paris).
Dans le logiciel, lorsque l'utilisateur visite la réserve, un seul objet est affiché. Lorsqu'il souhaite visionner un autre objet, celui-ci est sélectionné aléatoirement parmi les objets encore non parcourus de la réserve. Toutefois, pour aider l'utilisateur, un historique des cinq derniers objets affichés est accessible sur la gauche de l'écran. Il peut cliquer sur l'un d'eux pour l'afficher à nouveau.
Enfin, lorsqu'il trouve un objet intéressant, il peut le sortir de la réserve. Celui-ci est alors stocké en mémoire, dans une sorte de tas contenant les objets à transférer. Lorsque l'utilisateur retournera à l'exposition, ce tas sera affiché, et il pourra placer ce ou ces nouveaux objets selon ses envies. Sur la figure 1, un objet est affiché : on voit la photo, le texte en-dessous, et le son associé est joué automatiquement. Sur la gauche, on distingue l'historique récent de la visite. Puis, en haut à gauche trois carrés violets, dont celui du milieu violet clair. Cela indique que notre collection comporte trois réserves et que l'utilisateur se trouve actuellement dans la deuxième.
Fig. 1. Exemple de parcours de la réserve. Source : Benjamin Roadley.
Toute collection comporte au-moins une exposition, et à chaque instant au-moins un objet de la collection se trouve dans une de celles-ci.
Le logiciel ReCollection permet de constituer une exposition en important/exportant des objets depuis ou vers la réserve, puis de répartir ces objets dans un espace à deux dimensions et demi (x, y et échelle), inspiré du logiciel Pad++. L'exposition est aussi un lieu d'exploration, autonome ou guidée, qui sera fortement dépendante de la répartition spatiale des objets préalable.
Pour explorer l'exposition, l'utilisateur peut déplacer son point de vue horizontalement et verticalement, puis zoomer et dézoomer. Un mode de visite guidée permet de définir/suivre un chemin fixé parmi les objets.
La répartition des objets dans l'espace être automatique ou manuelle. Le système dispose les objets automatiquement i mplémente deux modes d’actions classificatrices : par similarité calculée, et par contiguïté « désirée ».
− La première méthode consiste à calculer les coordonnées spatiales de chaque objet de la collection, ainsi que sa couleur, en fonction des descripteurs sélectionnés par l'utilisateur. Par exemple (cf. figure 2), celui-ci pourra choisir d'affecter la hauteur moyenne à l'axe des abscisses, la brillance moyenne à l'axe des ordonnées, et l'écart-type du degré de bruit à la couleur. L'utilisateur peut aussi affecter un seul des axes, pour aligner les objets sur une droite. Cette fonction est directement inspirée du logiciel CataRT, mais, comme nous le verrons, le mode manuel peut venir compléter cette répartition automatique lorsque l'utilisateur n'est pas satisfait. Ce mode est celui de la similarité, relevant de l’aspect non-figural des collections.
Fig. 2. Exemple de similarité calculée dans le logiciel ReCollection. Source : Benjamin Roadley.
− La seconde méthode pour répartir automatiquement les objets consiste à permettre à l'utilisateur de sélectionner un échantillon de l'exposition. Une analyse est ensuite effectuée sur les descripteurs de ces objets, afin d'en tirer les traits caractéristiques, et de répartir tous les objets de la collection selon ces traits. Ce mode est celui de la contiguïté, relevant de l’aspect figural des collections. Ici, une analyse en composante principale calcule une nouvelle base dans l’espace des descripteurs, qui est généralisée à l’ensemble de la collection (cf. figure 3).
Fig. 3. Répartition induite à partir du choix d'un échantillon de fragments. Source : Benjamin Roadley.
A tout moment, l'usager peut également choisir les échantillons qu'il souhaite distinguer, dans une écoute exploratoire, identifier parmi les paramètres renseignés ceux qui lui semblent le mieux expliquer son choix, avant de demander au système de mettre en œuvre une classification à partir de ces déterminations particulières.
La vidéo ci-dessous récapitule les principaux aspects du logiciel ReCollection.
[1] Une analyse hypermédia de l'opéra Alma Sola est proposée dans le numéro 1 de la revue Musimédiane, accessible ici.