Comment L’intelligence Artificielle Nous Aide À Mieux Comprendre L’histoire De L’art Que Nous Pensions Déjà Bien Connaitre !
De l’identification d’œuvres d’art contestées à la reconstruction de chefs-d’œuvre perdus, l’intelligence artificielle enrichit notre manière d’interpréter notre patrimoine culturel.
Les couleurs de l’œuvre perdue de 1901 de Gustav Klimt, intitulée « Medicine », ont été retrouvées grâce à l’intelligence artificielle.
L’intelligence artificielle (IA), l’apprentissage automatique et la vision par ordinateur révolutionnent la recherche, de la médecine et de la biologie aux sciences de la Terre et de l’espace. Aujourd’hui, c’est au tour de l’histoire de l’art.
Pendant des décennies, les chercheurs en art traditionnellement formés ont été lents à adopter l’analyse computationnelle, la considérant comme trop limitée et simpliste. Cependant, comme je le décris dans mon livre “Pixels and Paintings”, sorti ce mois-ci, les algorithmes progressent rapidement, et des dizaines d’études prouvent maintenant la puissance de l’IA pour apporter un nouvel éclairage sur les peintures et dessins artistiques.
Par exemple, en analysant les coups de pinceau, la couleur et le style, les outils pilotés par l’IA révèlent comment la compréhension par les artistes de la science de l’optique les a aidés à représenter la lumière et la perspective. Les programmes récupèrent l’apparence d’œuvres perdues ou cachées et calculent même les “sens” de certaines peintures en identifiant des symboles, par exemple.
C’est un défi. Les œuvres d’art sont complexes sur le plan compositionnel et matériel, et sont imprégnées de significations humaines – nuances que les algorithmes peinent à comprendre.
La plupart des historiens de l’art s’appuient encore sur leur expertise individuelle pour évaluer visuellement les techniques des artistes, complétées par des travaux de laboratoire, de bibliothèque et de recherche pour déterminer les dates, les matériaux et la provenance. Pendant ce temps, les informaticiens trouvent plus facile d’analyser des photographies en 2D ou des images numériques que des couches de pigments à l’huile appliquées avec un pinceau ou un couteau à palette. Cependant, des collaborations émergent entre les informaticiens et les spécialistes de l’art.
Les premiers succès de cette “embarcation de connaissances assistée par ordinateur” se répartissent en trois catégories : l’automatisation des analyses “à l’œil nu”, le traitement des subtilités dans les images au-delà de ce qui est possible par la perception humaine normale, et l’introduction de nouvelles approches et catégories de questions dans la recherche artistique. Ces méthodes, en particulier lorsqu’elles sont améliorées par le traitement numérique de grandes quantités d’images et de textes sur l’art, commencent à autonomiser les spécialistes de l’art, tout comme les microscopes et les télescopes l’ont fait pour les biologistes et les astronomes.
Léonard de Vinci comprenait qu’un objet paraîtra lumineux là où la lumière le frappe perpendiculairement, et sombre là où les rayons tombent sous un angle oblique.
Analyse de vastes ensembles de données
Considérons la pose, une propriété importante que les portraitistes exploitent à des fins formelles, expressives et même métaphoriques. Certains artistes et mouvements artistiques préfèrent des poses spécifiques. Par exemple, pendant la période de la Renaissance aux XVe et XVIe siècles, les membres de la royauté, les dirigeants politiques et les personnes fiancées étaient souvent peints de profil pour transmettre la solennité et la clarté.
Les artistes primitifs, ceux qui n’ont pas reçu une formation artistique formelle, tels que le peintre français du XIXe siècle Henri Rousseau, ou ceux qui imitent délibérément une simplicité non formée, tels que l’artiste français Henri Matisse au début du XXe siècle, peignent souvent des gens ordinaires de face pour soutenir un style direct et naturel. Les poses inclinées ou basculées peuvent être puissantes : les maîtres japonais de l’ukiyo-e (« images du monde flottant »), un genre qui a prospéré du XVIIe au XIXe siècle, montraient souvent des acteurs de kabuki et des geishas dans des poses tordues ou contorsionnées, évoquant le drame, le dynamisme, le malaise ou la sensualité.
Grâce à des méthodes d’IA, les ordinateurs peuvent analyser de telles poses dans des dizaines de milliers de portraits en aussi peu qu’une heure, beaucoup plus rapidement qu’un spécialiste de l’art. Les réseaux neuronaux profonds, des systèmes d’apprentissage automatique qui imitent les réseaux neuronaux biologiques du cerveau, peuvent détecter les emplacements de points clés, tels que l’extrémité du nez ou les coins des yeux, dans une peinture. Ils peuvent ensuite déduire avec précision les angles de la pose d’un sujet autour de trois axes perpendiculaires pour des portraits réalistes et très stylisés.
Par exemple, plus tôt cette année, des chercheurs ont utilisé des réseaux neuronaux profonds pour analyser les poses et le genre à travers plus de 20 000 portraits, couvrant une grande diversité de périodes et de styles, afin d’aider les spécialistes de l’art à regrouper des œuvres par époque et mouvement artistique. Il y a eu quelques surprises — les inclinaisons des visages et des corps dans les autoportraits varient en fonction de la posture de l’artiste, et les algorithmes pouvaient déterminer si les autoportraits étaient réalisés par des droitiers ou des gauchers.
De manière similaire, les outils d’IA peuvent révéler les tendances dans les compositions de paysages, les palettes de couleurs, les coups de pinceau, la perspective, et bien plus encore à travers les grands mouvements artistiques. Les modèles sont les plus précis lorsqu’ils intègrent les connaissances d’un historien de l’art sur des facteurs tels que les normes sociales, les costumes et les styles artistiques. Élargir la perception
L’analyse artistique à vue d’œil peut varier en fonction de la façon dont différents chercheurs perçoivent une œuvre. Par exemple, l’éclairage est un élément expressif, depuis le contraste du clair-obscur exagéré (chiaroscuro) et le style sombre (ténébrisme) du peintre italien du XVIe siècle Caravage jusqu’à l’éclairage plat et graphique dans les œuvres du XXe siècle de l’artiste américain Alex Katz. De nombreuses expériences ont montré que même des observateurs attentifs sont médiocres pour estimer la direction générale ou les incohérences de l’éclairage dans une scène. C’est pourquoi l’œil humain est souvent trompé par des photographies trafiquées par le découpage et le collage d’une figure d’une image dans une autre, par exemple.
Les méthodes informatiques peuvent faire mieux. Par exemple, une source d’information sur l’éclairage est le motif de luminosité le long de la bordure extérieure (ou contour d’occultation) d’un objet, tel qu’un visage. Léonard de Vinci avait compris au XVe siècle que cette bordure serait lumineuse là où la lumière la frappe perpendiculairement, mais plus sombre là où la lumière la frappe à un angle vif. Alors qu’il utilisait son analyse optique pour améliorer sa peinture, les algorithmes de “forme à partir de l’ombrage” et de “contour d’occultation” utilisent cette règle à l’envers pour déduire la direction de l’éclairage à partir du motif de luminosité le long d’un contour.
Prenons l’exemple du tableau de 1665 de Johannes Vermeer, La Jeune Fille à la perle. L’analyse de l’éclairage prend en compte les reflets dans les yeux de la jeune fille, la réflexion provenant de la perle et l’ombre projetée par son nez et sur son visage. L’algorithme de contour d’occultation offre une compréhension plus complète de l’éclairage dans ce tableau, révélant la remarquable cohérence de Vermeer dans l’éclairage et prouvant que cette étude de personnage a été réalisée en présence d’un modèle (M. K. Johnson et al. Proc. SPIE 6810, 68100I ; 2008).
De manière similaire, les méthodes informatiques avancées peuvent détecter des incohérences délibérées dans l’éclairage dans des œuvres telles que celles du surréaliste belge du XXe siècle René Magritte. Elles ont également prouvé leur valeur en réfutant des théories, comme l’hypothèse audacieuse de l’artiste britannique David Hockney en 2000 selon laquelle certains peintres dès Jan van Eyck (environ 1390-1441) utilisaient secrètement des projections optiques pour leurs œuvres, un quart de millénaire plus tôt que ce que pensent la plupart des chercheurs sur l’utilisation de l’optique de cette manière (voir Nature 412, 860 ; 2001). L’analyse du contour d’occultation, l’analyse homographique (quantification des différences de formes tridimensionnelles à différentes tailles et angles de pose), le traçage optique des rayons et d’autres techniques informatiques ont systématiquement réfuté de manière beaucoup plus concluante la théorie de Hockney que les arguments avancés par d’autres chercheurs utilisant des méthodes traditionnelles de l’histoire de l’art.
Les algorithmes ont déduit la direction de l’éclairage dans le tableau La Jeune Fille à la perle (1665) de Johannes Vermeer à partir du bord lumineux du visage de la jeune fille.
Récupération du patrimoine culturel perdu
Les méthodes informatiques ont également permis de retrouver des attributs ou des parties manquantes d’œuvres incomplètes, tels que le style probable et les couleurs de peintures fantômes – des œuvres qui ont été peintes par-dessus et sont révélées ultérieurement par imagerie aux rayons X ou par rayonnement infrarouge – comme Two Wrestlers de Vincent van Gogh. Cette peinture, datant d’avant 1886, a été mentionnée par l’artiste dans une lettre mais considérée comme perdue jusqu’à sa découverte sous une autre en 2012.
Des réseaux neuronaux, formés sur des images et des données textuelles, ont également été utilisés pour retrouver les couleurs probables de parties de la peinture de plafond perdue de Gustav Klimt, Medicine (voir go.nature.com/47rx8c2). L’original, une représentation de l’entrelacement de la vie et de la mort offerte à l’Université de Vienne en 1901, a été perdu pendant la Seconde Guerre mondiale, lorsque le château dans lequel il était conservé pour des raisons de sécurité a été incendié par les nazis pour empêcher l’œuvre de tomber entre les mains des Alliés. Il ne reste que des esquisses préparatoires et des photographies.
Encore plus complexe a été la restauration numérique des parties manquantes de La Ronde de nuit de Rembrandt (1642) – qui avait été coupée pour s’adapter à un espace dans l’hôtel de ville d’Amsterdam – sur la base d’une copie contemporaine de Gerrit Lundens à l’huile sur un panneau de chêne. Les algorithmes ont appris comment la copie de Lundens divergeait légèrement de l’original de Rembrandt, et l’ont “corrigée” pour recréer les parties manquantes de l’original.
Pour exploiter pleinement la puissance de l’IA dans l’étude de l’art, nous aurons besoin des mêmes bases que dans d’autres domaines : l’accès à d’immenses ensembles de données et de puissance informatique. Les musées mettent de plus en plus d’images d’art et d’informations connexes en ligne, et un financement éclairé pourrait accélérer les efforts continus pour collecter et organiser de telles données à des fins de recherche.
Les chercheurs prévoient qu’un jour, une grande partie des informations enregistrées sur les œuvres d’art sera disponible pour le calcul – des images ultra-haute résolution de chaque œuvre majeure (et d’innombrables œuvres mineures), des images prises à l’aide du spectre électromagnétique étendu (rayons X, ultraviolets, infrarouges), des mesures chimiques et physiques des pigments, chaque mot écrit et chaque vidéo de conférence enregistrée sur l’art dans chaque langue. Après tout, des avancées en matière d’IA telles que le chatbot ChatGPT et le générateur d’images Dall-E ont été formées avec près d’un téraoctet de texte et près d’un milliard d’images du web, et des extensions en cours utiliseront des ensembles de données plusieurs fois plus importants.
Mais comment les chercheurs en art utiliseront-ils les outils computationnels existants et futurs ? Voici une suggestion. Rien que les œuvres d’art connues du seul canon occidental qui ont été perdues à cause du feu, des inondations, des tremblements de terre ou de la guerre rempliraient les murs de tous les musées publics du monde. Certaines d’entre elles, telles que L’Expulsion des Morisques (1627) de Diego Velázquez, étaient considérées comme le summum de la réalisation artistique avant d’être détruites. Des dizaines de milliers de peintures ont été perdues lors de la Seconde Guerre mondiale et le même nombre de chefs-d’œuvre chinois pendant la Révolution culturelle de Mao Zedong, pour n’en mentionner que deux. Le patrimoine culturel mondial est appauvri et incomplet par conséquent.
Le calcul permet aux historiens de l’art de considérer la tâche de récupération de l’apparence des œuvres d’art perdues comme un problème de recherche et d’intégration de l’information, où les données sur une œuvre perdue se trouvent dans des esquisses préparatoires survivantes, des copies par l’artiste et ses disciples, et des descriptions écrites. Les premiers pas hésitants dans la récupération d’œuvres perdues ont montré des promesses, bien que beaucoup de travail reste à faire.
La recherche en art s’est développée au fil des siècles grâce à l’introduction de nouveaux outils. La computation et l’IA semblent prêtes à être la prochaine étape dans l’aventure intellectuelle sans fin de comprendre et d’interpréter notre immense patrimoine culturel.
