Nieuw ERC Proof of Concept-project wil afbeeldingen automatisch interpreteren

Hoogleraar Computational Semantics and AI Yoad Winter heeft een ERC Proof of Concept-project toegekend gekregen. In het nieuwe project ontwikkelen hoofdonderzoeker Winter en medeonderzoekers Tejaswini Deoskar en Denis Paperno een automatisch captioningsysteem voor de vakgebieden geografie, geneeskunde en kunstgeschiedenis. Het project bouwt voort op de resultaten van het lopende promotieonderzoek van Sofia Nikiforova in het ROCKY ERC AdG-project.

ROCKY ERC AdG-project

In het ROCKY ERC AdG-project worden afbeeldingen uit de geografische beeldbank Geograph voorzien met automatisch gegenereerde bijschriften (captions). Dit kan doordat afbeeldingen worden verbonden aan een externe kennisbank. Zowel het beeldmateriaal als de externe informatie worden vervolgens ‘gelezen’ en ‘geïnterpreteerd’ door een convolutional neural network (CNN) voor beeldbegrip en een Transformer-network voor taalgeneratie.

Het nieuwe Proof of Concept-project

In de toekomst kan dit automatische captioningsysteem ook meer in het algemeen worden ingezet. Dit biedt kansen voor onder andere het eenvoudiger maken van geautomatiseerde hulp aan mensen met een visuele handicap en het terugvinden van informatie uit visuele gegevens. Om hiertoe te komen ontfermen de onderzoekers van het nieuwe Proof of Concept-project zich over schaalbaar maken van het ROCKY-captioningsysteem, zodat het toepasbaar wordt op grote datasets en voor meer gebruikers.

Het doel is om het systeem in te kunnen zetten in niet-geografische vakgebieden, waarin ook veel gebruik wordt gemaakt van beeldmateriaal dat een kennisintensieve interpretatie vereist. De gebieden geneeskunde en kunstgeschiedenis zullen de eerste zijn. Hiervoor creëert het project een multi-inzetbaar open-source-platform dat kosteneffectief kan worden aangepast aan de behoeften van verschillende nieuwe domeinen.