Anzeige
Anzeige

Klassifizierung von Gemälden

Computer Vision Algorithmen analysieren Kunstwerke

Wenn man ein Gemälde untersucht, kann man in der Regel mehrere Folgerungen daraus ziehen. Zusätzlich zum Verständnis des Bildgegenstandes, ist man wahrscheinlich in der Lage, das Bild z.B. nach Epoche, Stil und Künstler zu klassifizieren. Aber kann auch ein Computeralgorithmus ein Gemälde gut genug verstehen, um diese Klassifizierungsaufgaben wie ein Mensch durchzuführen?

(Bild: ©Wikimedia Commons/Gemeinfrei (links) / ©Francis Bacon (rechts))

Bild 1: Ein Algorithmus ermittelte den Einfluss von Diego Velázquez Papstporträt ‚Innozenz X‘ (links) mit Francis Bacons ‚Study After Velázquez’s Portrait of Pope Innocent X‘ (rechts). (Bild: ©Wikimedia Commons/Gemeinfrei (links) / ©Francis Bacon (rechts))

Am Art and Artificial Intelligence Laboratory der Rutgers University in New Jersey sind verschiedene Forscher mithilfe von Matlab und einer Datenbank mit tausenden Gemälden aus den letzten sechs Jahrhunderten dieser Frage nachgegangen. Außerdem wurden noch zwei weitere Fragen über die Leistungsfähigkeit und Beschränkungen von KI-Algorithmen (Künstliche Intelligenz) erörtert: Können diese Algorithmen ermitteln, welche Gemälde den größten Einfluss auf nachfolgende Künstler hatten und die Kreativität eines Gemäldes messen, indem sie sich nur auf visuelle Merkmale stützen?

Extrahieren visueller Merkmale

Ziel war es, Algorithmen zu entwickeln, die in der Lage sind, große Gruppen von Gemälden nach ihrem Stil (Kubismus, Impressionismus, abstrakter Expressionismus, Barock…), Genre (Landschaftsmalerei, Porträt, Stillleben…) und Künstler zu klassifizieren. Eine Anforderung für diese Klassifizierung war die Fähigkeit, Farbe, Komposition, Textur, Perspektive, Motiv und andere visuelle Merkmale erkennen zu können. Eine zweite Anforderung war die Fähigkeit, die visuellen Merkmale auszuwählen, die die Ähnlichkeiten zwischen den Gemälden am besten verdeutlichten. Mithilfe von Matlab und der Image Processing Toolbox entwickelte man Algorithmen, um die visuellen Merkmale eines Gemäldes zu extrahieren. Der Merkmalextraktionsalgorithmus ist im Bereich Computer Vision gängige Praxis und lässt sich einfach implementieren. Die schwieriger zu bewältigende Aufgabe war es, die besten Techniken für maschinelles Lernen zu finden. Daher wurden Support Vector Machines (SVMs) und andere Klassifizierungsalgorithmen der Statistics and Machine Learning Toolbox getestet, um visuelle Merkmale zu ermitteln, die zur Klassifizierung des Stils nützlich sind. Danach setzte man in Matlab Techniken zum Erlernen von Abstandsmetriken an, um die einzelnen Merkmale zu gewichten und dadurch die Fähigkeit des Algorithmus, Gemälde zu klassifizieren, nochmals zu verbessern. Die Algorithmen konnten die Stile der Gemälde in der Datenbank mit einer Genauigkeit von 60% klassifizieren; bei einer Klassifizierung nach dem Zufallsprinzip wäre man nur auf eine Genauigkeit von 2% gekommen. Obwohl Kunsthistoriker diese Aufgabe mit einer weitaus höheren Genauigkeit als 60% durchführen können, liefert der Algorithmus eine höhere Leistung als eine durchschnittliche, nicht fachkundige Person.

Maschinelles Lernen deckt Kunsteinflüsse auf

Als die Algorithmen die Ähnlichkeiten zwischen Gemäldepaaren zuverlässig ermitteln konnten, stand die nächste Herausforderung an: mit maschinellem Lernen Einflüsse in der Kunst offenbaren. Die Hypothese war, dass visuelle Merkmale, die für die Klassifizierung des Stils (Problemstellung mit überwachtem Lernen) nützlich sind, auch dazu verwendet werden können, die Einflüsse zu bestimmen (Problemstellung mit unüberwachtem Lernen). Wenn Kunsthistoriker Theorien zu den Einflüssen in der Kunst entwickeln, stützen sie sich auf Informationen wie die Arbeitsweise und Reisen der Künstler und ob diese mit Zeitgenossen ausgebildet wurden. Die neuen Algorithmen verwendeten nur visuelle Elemente sowie Kompositionsdaten. Unter der Annahme, dass ein Algorithmus, der Objekte und Symbole des Gemäldes berücksichtigt, effektiver ist als ein Algorithmus, der sich auf Low-Level-Merkmale wie Farbe oder Textur stützt, setzte man Klassifizierungsalgorithmen ein, die auf Google Bildern trainiert wurden, bestimmte Objekte zu erkennen. Die Algorithmen wurden an über 1.700 Gemälden von 66 unterschiedlichen Künstlern aus eine Zeitspanne von 550 Jahren getestet. Der Algorithmus ermittelte auf Anhieb den Einfluss von Diego Velázquez’s Papstporträt ‚Innozenz X‘ auf Francis Bacons ‚Study After Velázquez’s Portrait of Pope Innocent X'(Bild 1). Die Ähnlichkeiten von Komposition und Motiv bei beiden Gemälden sind auch von Laien einfach zu erkennen, aber der Algorithmus hat auch Ergebnisse hervorgebracht, die Kunsthistoriker überraschten. Der Algorithmus erkannte beispielsweise ‚Bazilles Atelier in der Rue Condamine 9‘ des französischen Impressionisten Frédéric Bazille von 1870 als möglichen Einfluss auf Norman Rockwells ‚Shuffleton’s Barbershop‘, das 80 Jahre später entstand (Bild 2). Obwohl sich die beiden Gemälde auf den ersten Blick nicht ähneln, offenbaren sich bei genauerem Hinsehen Gemeinsamkeiten bei Komposition und Motiv, einschließlich der Öfen in der unteren rechten Ecke der beiden Gemälde, der Gruppe von drei Männern in der Mitte und den Sesseln und dreieckigen Flächen in der linken unteren Ecke. In dem entsprechenden Datensatz haben die Algorithmen 60% der 55 Einflüsse, die von Kunsthistorikern erkannt wurden, richtig bestimmt, was vermuten lässt, dass allein eine visuelle Ähnlichkeit ausreichend Informationen bietet, damit Algorithmen (und wahrscheinlich auch Personen) eine Vielzahl an Einflüssen bestimmen können.

Bild 2: Der gleiche Algorithmus fand auch Einflüsse bei Frédéric Bazilles 'Bazilles Atelier in der Rue Condamine 9' (links) mit Norman Rockwells 'Shuffleton's Barbershop' (rechts). Die gelben Kreise zeigen ähnliche Objekte an, die roten Linien die ähnliche Komposition und die blauen Rechtecke markieren ähnliche Strukturelemente. (Bild: ©Wikimedia Commons/gemeinfrei (links) / ©Norman Rockwell(rechts))

Bild 2: Der gleiche Algorithmus fand auch Einflüsse bei Frédéric Bazilles ‚Bazilles Atelier in der Rue Condamine 9‘ (links) mit Norman Rockwells ‚Shuffleton’s Barbershop‘ (rechts). Die gelben Kreise zeigen ähnliche Objekte an, die roten Linien die ähnliche Komposition und die blauen Rechtecke markieren ähnliche Strukturelemente. (Bild: ©Wikimedia Commons/gemeinfrei (links) / ©Norman Rockwell(rechts))

Anzeige

Empfehlungen der Redaktion

Das könnte Sie auch interessieren

Das Khronos Konsortium hat zwei Gruppen zur Standardisierung von neuronalen Netzwerken gegründet. Die eine Gruppe beschäftigt sich mit der Entwicklung eines unabhängigen API Standard File Formats für den Datenaustausch, während die andere sich der Topologie von Convolutional neuronalen Netzwerken widmet, um diese als OpenVX Grafiken darzustellen. ‣ weiterlesen

www.khronos.org

Anzeige

Die 71MP-CMOS-Kamera Machcam ist in zwei Versionen verfügbar: monochrom (71M) und in Farbe (71C). Das Format der Kamera ist 83x83x63,5mm. Die Kamera verfügt über einen Cmosis-Image-Sensor und eine USB-Schnittstelle. ‣ weiterlesen

www.sps-magazin.de

Anzeige

Ziel des mit fast 4Mio.E geförderten EU-Projekts Tulipp (Towards Ubiquitous Low-power Image Processing Platforms) ist es leistungsstarke und energieeffiziente Embedded-Systeme für komplexe Bildverarbeitungsanwendungen zu entwickeln. Das Projekt konzentriert sich auf die Entwicklung einer Referenzplattform für Bildverarbeitungssysteme. Dabei werden Richtlinien zur geeigneten Auswahl von Recheneinheiten und Kommunikationsinfrastrukturen für die Instanziierung der Plattform definiert, mit dem Ziel den Energieverbrauch, die Entwicklungskosten und die Produkteinführungszeit zu reduzieren.

www.thalesgroup.com

Anzeige

Auf einen Blick sieht die 3D-Kamera auf Basis der PMD-Technologie unterschiedlichste Gegenstände und Objekte in ihren räumlichen Dimensionen. Herzstück des Gerätes ist ein neuer Bild-Chip mit 23.000 Empfangselementen. Die Ausgabe erfolgt über Grauwert- und Distanzbild, die Auswertung ist mit marktüblichen Bibliotheken mühelos möglich. ‣ weiterlesen

www.ifm.com

Anzeige

Active Silicon bietet die FireBird Framegrabber Technologie nun auch im CompactPCI Format an. Die neue Karte arbeitet im erweiterten Temperaturbereich und ist für den Einsatz in anspruchsvollen Embedded Anwendungen geeignet. Die 4-spurige Gen2 Schnittstelle ist schnell genug, die volle Datenrate des CL-Interfaces zu nutzen. Die FireBird CL 3U cPCI Serial unterstützt die gleichzeitige Datenerfassung von zwei unabhängigen Base CL Kameras bzw. die Datenerfassung von einer Base, Medium, Full oder Deca Kamera.

www.activesilicon.co.uk

Anzeige

Eine neuartige Beleuchtungstechnologie versetzt Vision-Sensoren erstmals in die Lage, vertiefte oder erhabene Strukturen zuverlässig zu erfassen und auszuwerten. Abhilfe schafft die neue Multishot-Funktion, der Vision-Sensoren der Reihe Visor. ‣ weiterlesen

www.sensopart.de

Anzeige

Die hochauflösende 3D-Kameraserie 3DPixa wird um zwei Produkte erweitert. Die HR 5µm und die HR 2µm zeichnen sich durch eine verbesserte Bildqualität dank einer auf 3D-Anwendungen optimierten Optik aus. Damit werden stabilere und genauere 3D-Daten auch auf kritischen Oberflächen erzielt. Die Erfassungsbreite von ca.35mm und die Abtastgeschwindigkeit von bis zu 30kHz sorgen bei der HR 5µm für kurze Prüfzeiten bei Auflösungen von 5µm. Die HR 2µm ist für Anwendungen mit noch höheren Auflösungs- und Genauigkeitsanforderungen konzipiert und erreicht eine Abtastbreite von 16mm. Verbessert wurde auch das Zusammenspiel zwischen Kamera-Elektronik und Optik. Das Resultat ist eine höhere Bildschärfe an den Rändern.

www.chromasens.de

Anzeige

Der Multicolor CIS (Comapct Image Sensor) für die Qualitätskontrolle in der Druckindustrie ist der erste CIS mit umschaltbarer Auflösung (1200, 600 und 300dpi). Der kompakte Sensor lässt sich einfach in Druckmaschinen einbauen. ‣ weiterlesen

www.tichawa-vision.com

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige