Klassifizierung von Gemälden

Computer Vision Algorithmen analysieren Kunstwerke

Wenn man ein Gemälde untersucht, kann man in der Regel mehrere Folgerungen daraus ziehen. Zusätzlich zum Verständnis des Bildgegenstandes, ist man wahrscheinlich in der Lage, das Bild z.B. nach Epoche, Stil und Künstler zu klassifizieren. Aber kann auch ein Computeralgorithmus ein Gemälde gut genug verstehen, um diese Klassifizierungsaufgaben wie ein Mensch durchzuführen?

(Bild: ©Wikimedia Commons/Gemeinfrei (links) / ©Francis Bacon (rechts))

Bild 1: Ein Algorithmus ermittelte den Einfluss von Diego Velázquez Papstporträt ‚Innozenz X‘ (links) mit Francis Bacons ‚Study After Velázquez’s Portrait of Pope Innocent X‘ (rechts). (Bild: ©Wikimedia Commons/Gemeinfrei (links) / ©Francis Bacon (rechts))

Anzeige

Am Art and Artificial Intelligence Laboratory der Rutgers University in New Jersey sind verschiedene Forscher mithilfe von Matlab und einer Datenbank mit tausenden Gemälden aus den letzten sechs Jahrhunderten dieser Frage nachgegangen. Außerdem wurden noch zwei weitere Fragen über die Leistungsfähigkeit und Beschränkungen von KI-Algorithmen (Künstliche Intelligenz) erörtert: Können diese Algorithmen ermitteln, welche Gemälde den größten Einfluss auf nachfolgende Künstler hatten und die Kreativität eines Gemäldes messen, indem sie sich nur auf visuelle Merkmale stützen?

Extrahieren visueller Merkmale

Ziel war es, Algorithmen zu entwickeln, die in der Lage sind, große Gruppen von Gemälden nach ihrem Stil (Kubismus, Impressionismus, abstrakter Expressionismus, Barock…), Genre (Landschaftsmalerei, Porträt, Stillleben…) und Künstler zu klassifizieren. Eine Anforderung für diese Klassifizierung war die Fähigkeit, Farbe, Komposition, Textur, Perspektive, Motiv und andere visuelle Merkmale erkennen zu können. Eine zweite Anforderung war die Fähigkeit, die visuellen Merkmale auszuwählen, die die Ähnlichkeiten zwischen den Gemälden am besten verdeutlichten. Mithilfe von Matlab und der Image Processing Toolbox entwickelte man Algorithmen, um die visuellen Merkmale eines Gemäldes zu extrahieren. Der Merkmalextraktionsalgorithmus ist im Bereich Computer Vision gängige Praxis und lässt sich einfach implementieren. Die schwieriger zu bewältigende Aufgabe war es, die besten Techniken für maschinelles Lernen zu finden. Daher wurden Support Vector Machines (SVMs) und andere Klassifizierungsalgorithmen der Statistics and Machine Learning Toolbox getestet, um visuelle Merkmale zu ermitteln, die zur Klassifizierung des Stils nützlich sind. Danach setzte man in Matlab Techniken zum Erlernen von Abstandsmetriken an, um die einzelnen Merkmale zu gewichten und dadurch die Fähigkeit des Algorithmus, Gemälde zu klassifizieren, nochmals zu verbessern. Die Algorithmen konnten die Stile der Gemälde in der Datenbank mit einer Genauigkeit von 60% klassifizieren; bei einer Klassifizierung nach dem Zufallsprinzip wäre man nur auf eine Genauigkeit von 2% gekommen. Obwohl Kunsthistoriker diese Aufgabe mit einer weitaus höheren Genauigkeit als 60% durchführen können, liefert der Algorithmus eine höhere Leistung als eine durchschnittliche, nicht fachkundige Person.

Maschinelles Lernen deckt Kunsteinflüsse auf

Als die Algorithmen die Ähnlichkeiten zwischen Gemäldepaaren zuverlässig ermitteln konnten, stand die nächste Herausforderung an: mit maschinellem Lernen Einflüsse in der Kunst offenbaren. Die Hypothese war, dass visuelle Merkmale, die für die Klassifizierung des Stils (Problemstellung mit überwachtem Lernen) nützlich sind, auch dazu verwendet werden können, die Einflüsse zu bestimmen (Problemstellung mit unüberwachtem Lernen). Wenn Kunsthistoriker Theorien zu den Einflüssen in der Kunst entwickeln, stützen sie sich auf Informationen wie die Arbeitsweise und Reisen der Künstler und ob diese mit Zeitgenossen ausgebildet wurden. Die neuen Algorithmen verwendeten nur visuelle Elemente sowie Kompositionsdaten. Unter der Annahme, dass ein Algorithmus, der Objekte und Symbole des Gemäldes berücksichtigt, effektiver ist als ein Algorithmus, der sich auf Low-Level-Merkmale wie Farbe oder Textur stützt, setzte man Klassifizierungsalgorithmen ein, die auf Google Bildern trainiert wurden, bestimmte Objekte zu erkennen. Die Algorithmen wurden an über 1.700 Gemälden von 66 unterschiedlichen Künstlern aus eine Zeitspanne von 550 Jahren getestet. Der Algorithmus ermittelte auf Anhieb den Einfluss von Diego Velázquez’s Papstporträt ‚Innozenz X‘ auf Francis Bacons ‚Study After Velázquez’s Portrait of Pope Innocent X'(Bild 1). Die Ähnlichkeiten von Komposition und Motiv bei beiden Gemälden sind auch von Laien einfach zu erkennen, aber der Algorithmus hat auch Ergebnisse hervorgebracht, die Kunsthistoriker überraschten. Der Algorithmus erkannte beispielsweise ‚Bazilles Atelier in der Rue Condamine 9‘ des französischen Impressionisten Frédéric Bazille von 1870 als möglichen Einfluss auf Norman Rockwells ‚Shuffleton’s Barbershop‘, das 80 Jahre später entstand (Bild 2). Obwohl sich die beiden Gemälde auf den ersten Blick nicht ähneln, offenbaren sich bei genauerem Hinsehen Gemeinsamkeiten bei Komposition und Motiv, einschließlich der Öfen in der unteren rechten Ecke der beiden Gemälde, der Gruppe von drei Männern in der Mitte und den Sesseln und dreieckigen Flächen in der linken unteren Ecke. In dem entsprechenden Datensatz haben die Algorithmen 60% der 55 Einflüsse, die von Kunsthistorikern erkannt wurden, richtig bestimmt, was vermuten lässt, dass allein eine visuelle Ähnlichkeit ausreichend Informationen bietet, damit Algorithmen (und wahrscheinlich auch Personen) eine Vielzahl an Einflüssen bestimmen können.

Bild 2: Der gleiche Algorithmus fand auch Einflüsse bei Frédéric Bazilles 'Bazilles Atelier in der Rue Condamine 9' (links) mit Norman Rockwells 'Shuffleton's Barbershop' (rechts). Die gelben Kreise zeigen ähnliche Objekte an, die roten Linien die ähnliche Komposition und die blauen Rechtecke markieren ähnliche Strukturelemente. (Bild: ©Wikimedia Commons/gemeinfrei (links) / ©Norman Rockwell(rechts))

Bild 2: Der gleiche Algorithmus fand auch Einflüsse bei Frédéric Bazilles ‚Bazilles Atelier in der Rue Condamine 9‘ (links) mit Norman Rockwells ‚Shuffleton’s Barbershop‘ (rechts). Die gelben Kreise zeigen ähnliche Objekte an, die roten Linien die ähnliche Komposition und die blauen Rechtecke markieren ähnliche Strukturelemente. (Bild: ©Wikimedia Commons/gemeinfrei (links) / ©Norman Rockwell(rechts))

Klassifizierung von Gemälden
(Bild: ©Wikimedia Commons/gemeinfrei (links) / ©Francis Bacon (rechts))


Das könnte Sie auch interessieren

Wie können komplette 3D-Daten erfasst, interne Defekte in Gussteilen erkannt und sogar deren 3D-Koordinaten bestimmt werden? Das Unternehmen Carl Zeiss Industrielle Messtechnik GmbH hat ein informatives Video veröffentlicht, in dem die Inline-Prozessinspektion mit dem Zeiss VoluMax in der Leichtmetallgießerei am BMW-Produktionsstandort Landshut veranschaulicht wird.

Anzeige

Klassische Wärmebildkameras benötigen einen mechanischen Shutter, mithilfe dessen ca. alle 2 bis 3 Minuten Referenzdaten zur Kalibrierung der Wärmebilddarstellung und der Temperaturmessung aufgenommen werden. Jedoch erzeugt das Schließen des Shutters ein Geräusch und die Videoaufzeichnung ist während dieser Zeit unterbrochen. Daher hat Tamron nun ein Shutter-loses Wärmebildkameramodul auf Basis eines amorphen Silikonwärmebildsensors entwickelt. Dieser Sensor verfügt über eine exzellente Temperaturwiedergabe selbst wenn sich seine eigene Temperatur verändert.

www.tamron.eu

Der Industriescanner VTCIS ist in der Lage, im Druckbild fehlende Nozzles bei einer Auflösung von 1.200dpi automatisch zu detektieren. Da der CIS (Compact Image Sensor) nicht das komplette Bild einzieht, sondern nur bestimmte Bereiche scannt, wird die Datenverarbeitung vereinfacht und die Datenmenge deutlich reduziert. Außerdem garantiert die integrierte Flüssigkeitskühlung Farbstabilität über den gesamten Druckprozess hinweg und schließt Farbabweichungen aus. Dank einer Zeilenrate von bis zu 250kHz und einer Abtastgeschwindigkeit von bis zu 20m/s ist der Scanner für sehr schnell laufende Druckprozesse bestens geeignet.

www.tichawa.de

Die neuesten Versionen der 3D-Kameras für Lasertriangulation erreicht Triangulationsraten von bis zu 68kHz. Die Kamera basiert dabei auf einem 2/3″ Hochgeschwindigkeitssensor von Cmosis, der auch bei schwachen Lichtverhältnissen eine hervorragende Leistung erbringt. Als Schnittstelle verwendet die 3D05 das standardisierte GigEVision-Interface. Für eine einfache Integration und Synchronisierung besitzt die Kamera eine komplette, in die Kamera integrierte Drehgeberschnittstelle (RS422 und HTL). Das HTL-Interface ermöglicht dabei auch einen stabilen und effizienten Einsatz in der Schwerindustrie oder Bereichen mit starken elektrischen Störquellen.

www.photonfocus.com

Sensoren bis zu 1/1.2 und 1″ wurde die HF-XA-5M Objektivserie von Fujinon entwickelt. Die Objektive erreichen eine konstant hohe Auflösung von 5MP über das gesamte Bildfeld – bei einem Pixelabstand von 3,45µm. Dies gilt bei offener Blende ebenso wie bei verschiedenen Arbeitsabständen. Mit 29,5mm Außendurchmesser eignen sich die Objektive für platzkritische Anwendungen.

www.polytec.de

Die Messsoftware Wave ist für den hochpräzisen Wegmesssensor IDS3010. Damit können Messdaten in Echtzeit analysiert, verarbeitet und ausgewertet werden. Die Software verfügt über verschiedene Funktionen zur Visualisierung und Analyse von Daten, beispielsweise können die angezeigten Messdaten vergrößert/verkleinert werden oder die Datenvisualisierung kann gestoppt werden, um bestimmte Zeitbereiche zu analysieren. Außerdem ist eine Live Fast-Fourier-Transformation von Messwerten implementiert.

www.attocube.com

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige