L’art des synesthètes – RAGEMAG

tumblr_static_ragemag-logo-1024p

hockney

 

L’art des synesthètes

Publié le 13 mai 2014 à 11:17 par Steve Silberman

« Comme de longs échos qui de loin se confondent, dans une ténébreuse et profonde unité, Vaste comme la nuit et comme la clarté, Les parfums, les couleurs et les sons se répondent. », ainsi Baudelaire décrivait-il la synesthésie dans son poème « Correspondances ». Mais cette figure n’est pas qu’un jeu poétique — elle peut aussi être affect psychologique : Nabokov, David Hockney ou encore Perry Hall mêlent naturellement couleur et son.

 

06A30 003

 

« J’ai ce don plutôt étrange de voir les lettres en couleur », a déclaré le romancier Vladimir Nabokov à un journaliste de la BBC en 1962. « C’est ce qu’on appelle l’audition colorée. Ça concernerait une personne sur mille. »

L’auteur russe de Lolita, Pale fire, et d’autres livres à l’humour exubérant a affirmé que, lorsqu’ il était enfant, il voyait le nombre 5 en rouge, et qu’il avait continué à percevoir des chiffres et des lettres ayant leurs propres nuances. Le journaliste demanda à Nabokov comment les initiales de son nom lui apparurent. Il répondit :

« V est un genre de rose pâle, transparent : je crois que le terme technique est rose quartz. C’est la couleur la plus évidente que je peux associer au V. Le N, en revanche, s’apparente à un gris-jaune, couleur avoine.

Quelque chose d’amusant se produisit : ma femme a aussi ce don de voir les lettres en couleur, mais les siennes sont complètement différentes. Nous avons peut-être deux ou trois couleurs en commun, le reste est bien distinct.

« Le long A de l’alphabet anglais… a pour moi la teinte d’un bois patiné, mais le A français évoque un ébène poli. »

Nous avons découvert un jour que mon fils, qui avait 10 ou 11 ans à l’époque, voyait aussi les lettres en couleur. Il disait naturellement : “Oh, ce n’est pas cette couleur-ci, c’est cette couleur-là”, etc. Puis nous lui avons demandé de nous lister ses couleurs, nous avons remarqué un cas particulier, une des lettres qu’il voyait violette-mauve était rose pour moi et bleue pour ma femme. C’était la lettre M. Donc, dans son cas, la combinaison de rose et bleu donne la couleur lila. Comme si les gènes peignaient une aquarelle. »

Audition colorée

« L’audition colorée » de Nabokov – un phénomène neurologique curieux connu sous le nom de synesthésie graphème-couleurs – a aussi trouvé sa place dans ses livres. Dans Bend Sinister, Adam Krug, le protagoniste, dit que le mot « loyauté » lui rappelle « une fourchette d’or étendue au soleil sur une douce surface de soie jaune pâle. »

Dans son autobiographie, Speak Memory, Nabokov se lance dans une virtuose rêverie synesthésique : « Le long A de l’alphabet anglais… a pour moi la teinte d’un bois patiné, mais le A français évoque un ébène poli. Dans les tons noirs, il y a aussi le G (caoutchouc vulcanisé) et le R (un chiffon de suie déchiré). Le N avoine, le L tel une nouille molle, et un miroir à main d’un ton ivoire cuit pour le O, qui se charge du blanc… Passons au groupe des bleus, il y a le X bleu acier, le Z orageux, et myrtille pour le H. Étant donnée l’interaction subtile entre les sons et les formes, je vois le Q aussi brun que le K, alors que le S n’a pas le bleu clair du C, mais un curieux mélange de bleu azur et de nacre. »
 

road_sledmere1997

 
Un des plaisirs à lire Nabokov est de déceler une profonde justesse dans le choix des mots (y compris dans l’anglais, qui était sa seconde langue) qui va au delà du talent de trouver le mot juste pour rendre sa prose cohérente a tous les niveaux : phonétique, orthographique, et sémiotique. Assurément l’écriture atypique, suggérée par son cerveau, a donné à Nabokov un avantage dans sa quête pour une unité complète.

Peu d’écrivains ont représenté cet étrange phénomène avec une telle obsession dans la précision, mais le don des sens multiples n’est apparemment pas aussi rare et bizarre que le croit Nabokov. Les recherches ont montré que même les chimpanzés associent les notes graves avec des couleurs foncées et les notes aiguës avec des couleurs plus claires. Dans un récent article de Psychogical Science, David Eagelman, du Baylor College Medicine affirme que cette capacité synesthésique suit une logique, le produit de multiples procédés d’excitation neuronale, d’inhibition et de taille d’un cerveau qui n’aurait plus l’intégralité de ses capacités premières, « tout arrive pour converger au même résultat, un assemblage insolite de connaissance et de perception ».

Une autre étude récente soulève la possibilité que nous sommes tous nés avec la capacité de diaphonie sensorielle qui diminue avec l’âge, et que notre réseau de neurones est simplifié pour une meilleure efficacité. Nabokov pense aussi que nous sommes tous nés synesthètes, mais la science n’ayant pas encore élaboré le concept de plasticité neuronale, il tient les « stupides parents » responsables de la perte du don lorsqu’ils disent à leurs enfants : « Ça n’a pas de sens, A n’est pas noir, B n’est pas marron, ne sois pas ridicule. »

« Le maître peintre et artiste numérique David Hockney s’appuie sur son habilité synesthésique pour créer des images hyper vives qui rayonnent, à la manière de la vision innocente d’un enfant. »

Cependant, détourner les pare-feux qui cloisonnent les sens pourrait s’avérer être une aptitude utile, que les parents pourraient enseigner aux enfants qui ne sont pas nés ainsi. Dans un ingénieux article, le chercheur Jon Brock de la Macquarie University, spécialiste en autisme, parle d’une étude rapportée par V. S. Ramachandran dans Neurocase, concernant un jeune homme atteint du syndrome d’Asperger, a qui l’on a demandé d’associer ses émotions avec des couleurs afin d’ améliorer sa perspicacité sociale. En grandissant, le jeune homme a appris à jauger le ressenti qu’il avait pour quelqu’un grâce à la couleur du halo autour de son visage.

Nabokov n’était pas le seul à mettre consciemment son talent au service de son art. Le maître peintre et artiste numérique David Hockney s’appuie sur son habilité synesthésique pour créer des images hyper vives qui rayonnent, à la manière de la vision innocente d’un enfant. Il expliqua à l’auteur David Burton, que lorsqu’il conçut un tableau représentant un arbre pour une production d’une œuvre de Maurice Ravel, au Metropolitan opera, il écouta la partie adéquate et « l’arbre se peignit lui même ».

Les artistes synesthètes

De même, le stretching jazz, le folk rock et la musique avant-gardiste de Duke Ellington, Syd Barrett, Alexander Sciabin, et Oliver Messaein, étaient apparemment stimulés par la perception bimodale de chacun des compositeurs. Dans son épique manifeste multi-volume, Traité de rythme, de couleur et d’ornithologie, Messiaen décrit les accords comme des roches bleues-violettes, tachetées de petits cubes gris, de cobalt bleu, un profond bleu de Prusse, mis en valeur par un peu de violet, or, rouge, rubis et des étoiles de mauve, noir et blanc.
 

hockney_yosemite

 
Pour une simple personne mono-sensorielle comme moi, il est difficile de lire ces explications sans ressentir (pomme verte amère ?) une pointe d’envie. Comment serait-ce de vivre dans un monde où tous les nombres premiers ont leur propre harmonie, où chaque lettre de l’alphabet s’associe à une odeur particulière (la senteur d’un L fraîchement blanchi, l’excessif parfum du J) et les Flamenco Sketches de Miles Davis (dans Kind of Blue, bien sûr) scintillent telle une aquarelle irisée au-dessus de la tête du serveur qui s’ennuie à la cafétéria locale ?

Désormais, le prolifique artiste pluri-média et écrivain Perry Hall, qui est né avec sa propre version du curieux talent de Nabokov, a développé une application iPhone/iPad nommée Sonified qui permet même à ceux ayant un faible spectre synesthésique, d’expérimenter la lumière, les couleurs et les mouvements se transformer en sons.

Je me suis d’abord intéressé au travail de Hall en voyant une série de troublantes vidéos HD réalisées en 2006 qu’il appelait Material study, présentant une légère danse sur une surface ferrofluide qui déferle et gonfle comme une sorte de lave protéenne. Durant sa convalescence due à la maladie de Lyme, Hall décida qu’il fallait laisser sa synesthésie être libre dans le vent, le dit-il tel quel. Lui et ses collaborateurs professionnels du numérique ont développé un logiciel qui détourne la luminosité et les couleurs fondamentales des cameras vidéos des iPhones et iPad (seulement les dernières générations comme iPhone 4, 4S et iPad 2 fonctionnent correctement) et les utilisent pour déclencher des échantillons stéréo venant d’une librairie de CD, créée pour l’occasion.

Lorsque Hall – qui aida a créer l’exubérante scène « painted world » dans le film What dreams may come, de 1998 avec Robin Williams – m’écrivait au sujet de Sonified dans un email, je savais que je devais l’essayer. Apres avoir téléchargé l’application sur App Store, j’embarquai dans le tramway de San Francisco, mis une paire d’écouteurs, et dirigeai la camera de mon téléphone vers la fenêtre — au moment où le tram passait une rangée de maisons victoriennes fraîchement repeintes, accélérant au travers de tiges de soleil et d’ombre en direction du tunnel.
 

111Three-Tree_2006367b

 
L’effet de la connexion audio-visuelle kinesthésique était profond, contre toute attente. Au lieu d’avoir le sentiment que Sonified imposait sa bande son numérique sur le monde, je sentis que j’accédais à une couche de la réalité qui nous est normalement cachée. C’etait comme prendre une petite dose de la pilule rouge de Morpheus dans Matrix.

Pour donner un avant-goût aux utilisateurs potentiels, Hall a mis en ligne des vidéos sur Youtube, ici et . Mais, cette façon d’expérimenter Sonified passe plutôt à coté du but. L’utilisation de l’application est excitante car Sonified répond aux nuances optiques en temps réel, tout en se déplaçant dans l’espace qui prend vie de nouvelle et surprenante façon.

La délicate palette acoustique peut paraître un peu New Age pour certains, mais le logiciel offre un bon aperçu de tout ce qu’on pourrait faire de plus avec ces puissantes plateformes multimédias dans nos poches. Sonified reprend le concept souvent banalement appliqué de la réalité augmentée (on nous avait promis une vision Terminator, et nous avons eu des QR codes à la place), mais à un pas de plus vers le départ radical du sensoriel « business as usual » que le pionnier multimédia du XVIIIe siècle William Blake a décrit dans The marriage of Heaven and Hell :

How do you know but ev’ry Bird that cuts the airy way,
Is an immense world of delight, clos’d by your senses five?

 

Hockney-more-felled-trees-near-woldgate-2008

 

Entretien avec Perry Hall, synesthète

J’ai demandé a Hall, qui vit dans l’ouest du Massachusetts, comment l’on vivait une balade quotidienne avec des sens naturellement accrus.

À quel moment avez vous découvert que vous voyiez le monde différemment de la plupart des gens ?

J’avais deux types de synesthésie à l’âge de 10 ans environ. La première était « l’audition colorée » quand les sons deviennent très visuels, et l’autre est une synesthésie un peu plus douce qui se rapproche plus de Sonified, dans laquelle les images, couleurs et espaces comme les paysages inspirent des tonalités, et sons. Les deux types sont engendrent beaucoup d’émotions, et définissent une beauté profonde qui m’oblige à composer ou créer des œuvres visuelles qui en sont la réflexion.

Quand je marche sur certains types de terrain — généralement ceux qui ont des grands espaces ou des intéractions entre la lumière et la couleur — ces tonalités deviennent présentes. C’est le plus souvent dans un environnement naturel, comme les plages, les paysages, ou des endroits ou la lumière peut s’étendre, et se dérouler avec cette espèce de pureté. Mais c’est toujours présent, en arrière plan. J’étais dans le pays de Galles ; dans un train le long le la mer d’Irlande, le paysage que Turner a capturé dans ses peintures. Je reçu beaucoup de sons en me déplaçant dans cet environnement.

« Les sons provenant de cet environnement rendent floue la distinction entre voir et entendre, ils ne font qu’un. Les dynamiques visuelles créent des dynamiques soniques – les deux sont liées, comme un miroir, avec les qualités visuelles d’un coté et les qualités auditives de l’autre. »

Je ressens une intense identification avec ces espaces, comme si la distance et la distinction entre l’environnement et moi s’effondrait, et je m’identifie au ciel ou au paysage et me sens perdu. Les sons provenant de cet environnement rendent floue la distinction entre voir et entendre, ils ne font qu’un. Les dynamiques visuelles créent des dynamiques soniques — les deux sont liées, comme un miroir, avec les qualités visuelles d’un coté et les qualités auditives de l’autre. Quand les lumières s’estompent, le son s’estompe, quand les lumières changent, augmentent ou diminuent, le son change de la même manière. Un circuit se crée entre voir et entendre, mais ce n’est pas voir et entendre – c’est quelque chose de différent, simplement une combinaison de deux sens dont on pense qu’ils sont séparés.

Qu’est-ce qui vous a donné envie d’essayer de rendre ces expériences possibles pour d’autres ?

Il y a dix huit mois, j’ai été diagnostiqué avec la maladie de Lyme, phase 2. J’étais malade depuis un an, j’ai eu une fièvre qui a duré 4 mois. Me retrouvant alité, en me demandant ce qui allait arriver me donna le temps de réfléchir. J’ai réalisé à quel point il était important pour moi de rendre ces étranges et formidables expériences accessible aux autres. J’ai eu l’idée de créer une « machine synesthésique » qui pouvait traduire la lumière et la couleur en sons. Je voulais mettre cette machine dans un appareil photo que tout le monde pouvait utiliser, au lieu de la mettre dans un musée. Je voulais que les gens puissent se balader en ville ou dans le désert, être au lit ou dans un train et avoir le même genre d’expérience que moi. Sachant que j’étais cloué au lit ; un ami me donna un iPhone pour m’occuper, et je compris que j’avais là tous les ingrédients nécessaires pour libérer la synesthésie au grand air.
 

davidhockney_mayblossom

 

Comment s’est passé le développement du logiciel ?

Premièrement, j’ai créé des documents — un ensemble de graphiques montrant une par une les relations entre les couleurs et un mixer audio. Vous constaterez que beaucoup d’artistes et penseurs , Pythagore, Platon, Aristote, Cardan ou Newton – faisaient des graphiques similaires, conçus de différents plans pour montrer les relations entre couleurs et sons. C’est un énorme sujet scientifique et historique. Pour ma part, c’était un peu plus simple — j’essayais juste de saisir les fonctionnalités d’une expérience que je vivais depuis toujours. En créant Sonified, je pouvais toujours me demander, « Est ce que cette couleur résonne bien comme ça ? Est ce que ce comportement audio-visuel est logique ? Est ce la réalité ? » Cela m’a aidé à rester sur le droit chemin.

Dès que j’ai repris des forces, j’ai remonté mes manches et enregistré 500 courts morceaux de musique. J’ai choisi ceux qui étaient les plus visuels et ceux qui fonctionnaient le mieux pour créer un vrai aperçu de ce qu’est la synesthésie.

« En général, plus quelque chose est foncé, plus le son est grave, plus c’est clair, plus le son est aigu. Bleu et violet sont les couleurs les plus graves pour moi, orange et jaune les plus aigues. »

Ce procédé s’est avéré très intéressant, sur un plan personnel. Quel son fait le rouge ? Le bleu ? Le vert ? Le noir ? La pure lumière blanche ? J’ai senti que je pourrais écrire une musique pour chaque couleur jusqu’à la fin de mes jours.

En général, plus quelque chose est foncé, plus le son est grave, plus c’est clair, plus le son est aigu. Bleu et violet sont les couleurs les plus graves pour moi, orange et jaune les plus aigues. Chaque élément visuel a aussi sa température, oranges, rouges et jaunes sont des couleurs chaudes. Alors que les verts et bleus sont plus froides. Chaque qualité visuelle ou couleur représente un timbre, une texture musicale, un pouls, une vague, une ambiance, et construisent des séries harmoniques. Comme emboiter ces harmonies sur une corde dans une variété de timbres, dans pleins de registres. Mais le plus important, c’est que vision et sonorité soient synchronisées, verrouillées, traduites dans une relation où leur comportement, proportion et dynamique sont équitables.

J’en suis venu à voir la synesthésie plus poétique que scientifique. Au lieu d’essayer de créer une application qui était comme un compteur Geiger, j’ai réalisé que c’était mieux d’essayer de créer quelque chose de plus proche d’une guitare — un instrument de musique, plus qu’un outil scientifique.

Lorsque quelque chose semblait subjectivement vrai, selon mon expérience synesthésique, je partais sur ça, en plus du fait que ça coïncidait avec un modèle existant de comment « la lumière s’identifie au son ».

Quels genres de retours avez vous eu des utilisateurs de Sonified ?

Juste le sourire de chaque personne quand ils mettent leurs écouteurs et commencent à bouger la caméra autour d’eux. Comment rater ça ? C’est ce qu’ils vivent tous les jours, voir et entendre. Ils le font juste d’une autre manière. Ils ressentent ce que je ressens. C’est la plus belle chose que je peux espérer — en tant qu’artiste et personne — que nous soyons tous connectés, partagions quelque chose dont nous faisions partie tout ce temps, mais ignorions jusqu’à présent.
 

111Three-Tree2_2006369b

 

Boîte noire

Mots-clés : , , , ,

 

À propos de l’auteur

Steve Silberman

Steve SilbermanJournaliste scientifique et culturel pour Wired et NeuroTribes.

One Comment

  1. Thierry BRUNET

    Désolé, j’ai surtout regardé les images.
    Les peintures de David Hockney sont très intéressantes, il arrive restituer ce flottement de la décision happé par l’intense cohérence de ce qu’il perçoit

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*