Promotie Sofia Nikiforova: Een nieuwe methode voor ‘image captioning’ met externe kennis

Op 5 april verdedigt Sofia Nikiforova haar proefschrift ‘Image Captioning with External Knowledge’ over het automatisch genereren van ‘captions’, beschrijvingen bij afbeeldingen.

Een volledig nieuwe methode

Systemen die geautomatiseerd beeldbeschrijvingen genereren worden al gebruikt. Er blijft echter een grote uitdaging bestaan. Tot nu toe hebben de systemen moeite met het integreren van informatie die niet uit de afbeelding kan worden afgeleid, zoals de context en gerelateerde wereldkennis. Om dit probleem onder handen te nemen ontwikkelde Nikiforova een nieuwe methode.

In het kort zoekt Nikiforova’s nieuwe methode eerst in externe bronnen: welke kennis hieruit is nuttig voor het beschrijven van een bepaalde afbeelding? Vervolgens wordt de opgehaalde kennis geïntegreerd in het beeldbeschrijvingsproces. Zo genereert de methode een beeldbeschrijving die verder kijkt dan puur het visuele.

De drie systemen

Op basis van deze algemene methode ontwikkelde Nikiforova drie automatische beeldbeschrijvingssystemen. Het eerste richt zich op verwijzingen naar de geografische context van afbeeldingen en het tweede op encyclopedische kennis over de afgebeelde geografische voorwerpen. Het derde systeem past de methode toe op afbeeldingen uit krantenartikelen met diverse (niet alleen geografische) scènes.

De uiteindelijke evaluatie van de drie systemen laat zien dat de methode die Nikiforova heeft ontwikkeld effectief is: haar methode gebruikt relevante externe kennis om informatieve en feitelijk juiste beeldbeschrijvingen te genereren.