Cultureel erfgoed analyseren en ontsluiten met artificiële intelligentie

Prof. Dr. Luc Steels van VUB en University Pompeu Fabra (Barcelona) presenteert de keynote speech, getiteld ‘Kan AI De betekenis van artistiek erfgoed helpen bewaren?’. Vervolgens zoomen we in op drie kunstvormen: schilderkunst, literatuur en muziek.

Modellen uit de artificiële intelligentie bieden omvangrijke mogelijkheden om ons cultureel erfgoed te analyseren en toegankelijk te maken. Het stelt erfgoedspecialisten in staat om grote hoeveelheden gegevens te verzamelen, te analyseren en te modelleren. Meer kenmerken van erfgoed kunnen daardoor bestudeerd worden, en het wordt ook beter toegankelijk. Deze studiedag biedt een eerste inzicht in de oneindige mogelijkheden van een nieuw instrument om cultureel erfgoed te onderzoeken.

Prof. Dr. Luc Steels van VUB en University Pompeu Fabra (Barcelona) presenteert de keynote speech, getiteld ‘Kan AI De betekenis van artistiek erfgoed helpen bewaren?’. Vervolgens zoomen we in op drie kunstvormen: schilderkunst, literatuur en muziek.

Modellen uit de artificiële intelligentie bieden omvangrijke mogelijkheden om ons cultureel erfgoed te analyseren en toegankelijk te maken. Het stelt erfgoedspecialisten in staat om grote hoeveelheden gegevens te verzamelen, te analyseren en te modelleren. Meer kenmerken van erfgoed kunnen daardoor bestudeerd worden, en het wordt ook beter toegankelijk. Deze studiedag biedt een eerste inzicht in de oneindige mogelijkheden van een nieuw instrument om cultureel erfgoed te onderzoeken.

Keynote door Prof. Dr. Luc Steels, Vrije Universiteit Brussel /University Pompeu Fabra, Barcelona

AI is meer dan data-analyse. Het reikt ook hulpmiddelen aan om kennis te formaliseren en te representeren, om analoge verbanden te leggen in zeer grote semantische netwerken, om taal te analyseren en te begrijpen, om het verloop van de geschiedenis te representeren en te helpen uitzoeken. In deze voordracht kijken we wat we met deze hulpmiddelen kunnen doen om de betekenis van kunstwerken te reconstrueren en te bewaren en om hiermee dan sleutels voor interpretatie aan te reiken voor hedendaagse kijkers. Het is inderdaad niet voldoende om bij de zorg voor erfgoed alleen fysieke objecten te bewaren. Kunstobjecten betekenen heel veel voor de makers en het publiek waarvoor ze bedoeld zijn. Maar de historische achtergronden, context, iconografie, stijlkenmerken en tijdsgeest die nodig zijn om een kunstwerk te ervaren en te begrijpen veranderen voortdurend.

Deze voordracht laat heel concreet zien hoe we toch de kennisstructuren en processen nodig voor de interpretatie van een kunstwerk met AI kunnen vatten, althans toch gedeeltelijk. Ik gebruik hiervoor een gevalsstudie van een recent werk van Luc Tuymans, namelijk ‘Secrets’. Luc Steels laat zien hoe het mogelijk is om met AI het visuele kijkproces en de semantische en historische achtergronden van dit werk te achterhalen en af te beelden.

Deze studie is gebeurd in het kader van een S+T+ARTS residentieprogramma opgezet door Gluon en Bozar waarbij een wetenschapper (Luc Steels) op bezoek gaat bij een kunstenaar (Luc Tuymans) en heeft geleid tot een recente tentoonstelling in Bozar.

Keynote door Prof. Dr. Luc Steels, Vrije Universiteit Brussel /University Pompeu Fabra, Barcelona

AI is meer dan data-analyse. Het reikt ook hulpmiddelen aan om kennis te formaliseren en te representeren, om analoge verbanden te leggen in zeer grote semantische netwerken, om taal te analyseren en te begrijpen, om het verloop van de geschiedenis te representeren en te helpen uitzoeken. In deze voordracht kijken we wat we met deze hulpmiddelen kunnen doen om de betekenis van kunstwerken te reconstrueren en te bewaren en om hiermee dan sleutels voor interpretatie aan te reiken voor hedendaagse kijkers. Het is inderdaad niet voldoende om bij de zorg voor erfgoed alleen fysieke objecten te bewaren. Kunstobjecten betekenen heel veel voor de makers en het publiek waarvoor ze bedoeld zijn. Maar de historische achtergronden, context, iconografie, stijlkenmerken en tijdsgeest die nodig zijn om een kunstwerk te ervaren en te begrijpen veranderen voortdurend.

Deze voordracht laat heel concreet zien hoe we toch de kennisstructuren en processen nodig voor de interpretatie van een kunstwerk met AI kunnen vatten, althans toch gedeeltelijk. Ik gebruik hiervoor een gevalsstudie van een recent werk van Luc Tuymans, namelijk ‘Secrets’. Luc Steels laat zien hoe het mogelijk is om met AI het visuele kijkproces en de semantische en historische achtergronden van dit werk te achterhalen en af te beelden.

Deze studie is gebeurd in het kader van een S+T+ARTS residentieprogramma opgezet door Gluon en Bozar waarbij een wetenschapper (Luc Steels) op bezoek gaat bij een kunstenaar (Luc Tuymans) en heeft geleid tot een recente tentoonstelling in Bozar.

Prof. Aleksandra Pizurica – Universiteit Gent

Information processing in support of art investigation is an emerging and rapidly growing cross-disciplinary field of research. Museums are now routinely digitizing their collections in multiple imaging modalities. Next to standard digital photographs, infrared and X-ray images, new sensing technologies are being developed and employed together with advanced techniques for analysing multimodal data. The progress in AI and particularly in deep learning opens up unprecedented possibilities for supporting technical study of art works, their conservation, and even presentation. AI-driven techniques are increasingly employed not only to authenticate artworks, but also to uncover their hidden details and connections to other works, to enhance viewing experience and to improve understanding of various layers of a masterpiece. In this talk we present our results in applying AI techniques to support the analysis and restoration of master paintings. The focus is on the Ghent Altarpiece and on the experience gained from a multidisciplinary collaboration in the framework of the recent major conservation campaign conducted on the Hubert and Jan Van Eyck’s masterpiece.

Prof. Aleksandra Pizurica – Universiteit Gent

Information processing in support of art investigation is an emerging and rapidly growing cross-disciplinary field of research. Museums are now routinely digitizing their collections in multiple imaging modalities. Next to standard digital photographs, infrared and X-ray images, new sensing technologies are being developed and employed together with advanced techniques for analysing multimodal data. The progress in AI and particularly in deep learning opens up unprecedented possibilities for supporting technical study of art works, their conservation, and even presentation. AI-driven techniques are increasingly employed not only to authenticate artworks, but also to uncover their hidden details and connections to other works, to enhance viewing experience and to improve understanding of various layers of a masterpiece. In this talk we present our results in applying AI techniques to support the analysis and restoration of master paintings. The focus is on the Ghent Altarpiece and on the experience gained from a multidisciplinary collaboration in the framework of the recent major conservation campaign conducted on the Hubert and Jan Van Eyck’s masterpiece.

Prof. Ann Dooms – Vrije Universiteit Brussel & Prof. Tan Lu– VUB/KBR Data Science Lab

In the last few years, great efforts have been made in the digitization of cultural heritage collections. In the Royal Library of Belgium, for example, a wide range of valuable original materials – including historical newspapers, manuscripts, maps, music scores, etc. – are being converted to images and made available to the wide public. (https://belgica.kbr.be/BELGICA/home-belgica.aspx). While the production of these images immediately benefits readers and researchers by offering easy (online) access to these materials, further processing of these images is still necessary. Especially for unlocking the rich text information contained in these images, which is important for study and research in fields such as digital humanities.

Indeed, as Ted Underwood once noted, “algorithmic mining of large electronic databases has been quietly central to the humanities for two decades”. This practice is called “search”, but according to Underwood this is a “deceptively modest name for a complex technology that has come to play an evidentiary role in scholarship”.

Despite being a fundamental (and very first) step for “searching” digitized collections, the automatic analysis of documents for content parsing has often been overlooked. As is clear from David and Ryan’s report “A research agenda for historical and multilingual optical character recognition”, new technological advances are still required to enable reliable and accurate processing of images of documents with different styles and complex content.

In this talk, some recent work on document analysis – from the perspective of both perceptual driven modelling for parsing contemporary documents with complex layouts, and that of applying deep learning for transcribing handwritten manuscripts – will be discussed. Both perspectives will be considered in the context of two initiatives: the CAPTCHA project from the DIMA research group of VUB, and the KBR Data Science Lab.

Prof. Ann Dooms – Vrije Universiteit Brussel & Prof. Tan Lu– VUB/KBR Data Science Lab

In the last few years, great efforts have been made in the digitization of cultural heritage collections. In the Royal Library of Belgium, for example, a wide range of valuable original materials – including historical newspapers, manuscripts, maps, music scores, etc. – are being converted to images and made available to the wide public. (https://belgica.kbr.be/BELGICA/home-belgica.aspx). While the production of these images immediately benefits readers and researchers by offering easy (online) access to these materials, further processing of these images is still necessary. Especially for unlocking the rich text information contained in these images, which is important for study and research in fields such as digital humanities.

Indeed, as Ted Underwood once noted, “algorithmic mining of large electronic databases has been quietly central to the humanities for two decades”. This practice is called “search”, but according to Underwood this is a “deceptively modest name for a complex technology that has come to play an evidentiary role in scholarship”.

Despite being a fundamental (and very first) step for “searching” digitized collections, the automatic analysis of documents for content parsing has often been overlooked. As is clear from David and Ryan’s report “A research agenda for historical and multilingual optical character recognition”, new technological advances are still required to enable reliable and accurate processing of images of documents with different styles and complex content.

In this talk, some recent work on document analysis – from the perspective of both perceptual driven modelling for parsing contemporary documents with complex layouts, and that of applying deep learning for transcribing handwritten manuscripts – will be discussed. Both perspectives will be considered in the context of two initiatives: the CAPTCHA project from the DIMA research group of VUB, and the KBR Data Science Lab.

Dr. Yoeri Uyttendaele – KU Leuven

Tijdens de Renaissance speelden Frans-Vlaamse componisten een cruciale rol bij het ontwikkelen van de polyfone muziek, ze verlegden er de grenzen van. Helaas, om de muziek te ontdekken die door onze voorvaderen geschreven werd, is er het obstakel dat we eerst een ondoorzichtige vroege notatie moeten interpreteren, en dat die vaak op oude en halfvergane documenten staat. Vanwege de notatiebarrière is het nodig om de oude naar de moderne notatie te transcriberen zodat de muziek toegankelijk wordt voor een bredere groep musicologen, musici en hun publiek. In deze presentatie keren we ons naar een interface voor kunstmatige intelligentie en muziekwetenschap om het vervelende annotatie- en digitaliseringsproces te verlichten en automatiseren. In het bijzonder onderzoeken we het gebruik van deep-learningmodellen voor objectherkenning en Natural Language Processing als een middel om muzieksymbolen en liedteksten van een pagina te lezen en om musicologen vervolgens te helpen bij het transcriptieproces.

Dr. Yoeri Uyttendaele – KU Leuven

Tijdens de Renaissance speelden Frans-Vlaamse componisten een cruciale rol bij het ontwikkelen van de polyfone muziek, ze verlegden er de grenzen van. Helaas, om de muziek te ontdekken die door onze voorvaderen geschreven werd, is er het obstakel dat we eerst een ondoorzichtige vroege notatie moeten interpreteren, en dat die vaak op oude en halfvergane documenten staat. Vanwege de notatiebarrière is het nodig om de oude naar de moderne notatie te transcriberen zodat de muziek toegankelijk wordt voor een bredere groep musicologen, musici en hun publiek. In deze presentatie keren we ons naar een interface voor kunstmatige intelligentie en muziekwetenschap om het vervelende annotatie- en digitaliseringsproces te verlichten en automatiseren. In het bijzonder onderzoeken we het gebruik van deep-learningmodellen voor objectherkenning en Natural Language Processing als een middel om muzieksymbolen en liedteksten van een pagina te lezen en om musicologen vervolgens te helpen bij het transcriptieproces.

Prof. Toon van Waterschoot – KU Leuven, ESAT-STADIUS

Historisch waardevolle gebouwen en ruimten bezitten vaak akoestische eigenschappen die een integrerend deel uitmaken van hun culturele erfgoedwaarde. De immateriële aard van geluid maakt het archiveren en conserveren van akoestiek echter tot een uitdagend probleem. In deze lezing zullen we een methodologie schetsen voor het meten, archiveren en reproduceren van de akoestiek van historisch relevante ruimtes. De methodologie bouwt voort op recente vooruitgang in data-gedreven modellering en signaalverwerking, zoals ruimte-tijd signaalanalyse en low-rank tensor decomposities. Een casestudy over kerkakoestiek met toepassingen in onderzoek naar oude muziek zal worden gepresenteerd.

Prof. Toon van Waterschoot – KU Leuven, ESAT-STADIUS

Historisch waardevolle gebouwen en ruimten bezitten vaak akoestische eigenschappen die een integrerend deel uitmaken van hun culturele erfgoedwaarde. De immateriële aard van geluid maakt het archiveren en conserveren van akoestiek echter tot een uitdagend probleem. In deze lezing zullen we een methodologie schetsen voor het meten, archiveren en reproduceren van de akoestiek van historisch relevante ruimtes. De methodologie bouwt voort op recente vooruitgang in data-gedreven modellering en signaalverwerking, zoals ruimte-tijd signaalanalyse en low-rank tensor decomposities. Een casestudy over kerkakoestiek met toepassingen in onderzoek naar oude muziek zal worden gepresenteerd.