Ons werk

MIME: MemoryBanks Interactive Metadata Extraction

In het kader van de Call voor de Creatieve Industrie, is TNO gestart met het project MIME (MemoryBanks Interactive Metadata Extraction). Hierin wordt onderzocht of het mogelijk is om de emoties, reacties en gesprekken van oudere kijkers tijdens het televisiekijken door middel van camera's en sensoren te registreren, maar ook automatisch te interpreteren en aan specifieke content te koppelen om nieuwe aanbevelingen aan de kijker te maken.

Dit onderzoek streeft ernaar om een overzicht te krijgen van de mogelijke methoden die kunnen worden ingezet voor het metadateren van content voor en door oudere kijkers op een leuke en plezierige wijze zonder dat hun sociale interactie wordt belemmerd. Er is bewust voor gekozen om in dit project met oudere kijkers samen te werken en naar hun interactie te kijken. Zij kunnen namelijk niet alleen zeer waardevolle metadata toevoegen aan historisch beeldmateriaal, maar ook kunnen ze profijt hebben van een systeem dat hen helpt oude herinneringen op te halen. Naast het metadateren van televisiemateriaal, wordt er in dit project daarom ook onderzoek gedaan naar het effect van Tv-beelden op ouderen. Kunnen Tv-beelden ouderen motiveren om meer te gaan bewegen? Wil men meer bewegen wanneer men beelden ziet van toen men jong was, of wanneer men leeftijdgenoten op TV ziet? Naast TNO hebben ook Ziggo en Noldus Information Technology B.V. een financiële bijdrage geleverd aan dit project.

'Content is king, but metadata rules'

Op het terrein van contentdiensten geldt: 'content is king, but metadata rules'. Immers: zonder metadata weten we niet waar de content over gaat en is deze dus niet te gebruiken. In dit project wordt onderzoek gedaan naar de metadatering van zowel bestaand televisiemateriaal, als materiaal dat de gebruikers zelf toevoegen. Het registreren en interpreteren van deze nieuwe metadata zorgt ervoor dat het totaalpakket aan metadata groter en betrouwbaarder wordt. Vervolgens kan de gemetadateerde content weer beter gevonden worden en worden opgenomen in aanbevelingen. Er ontstaat dan een "continue cirkel" van kijken, meten, annoteren en opnieuw aanbevelen.

Data toevoegen tijdens het Tv-kijken

In het project wordt onderzoek gedaan naar twee verschillende manieren van metadateren: reconstructie van nieuwe metadata door het analyseren van interactie tussen mensen onderling of tussen mensen en machines (mining user interaction) en door het leggen van verbindingen tussen nieuw toegevoegd en al bekeken materiaal (mining user uploads). Bij de eerste methode wordt met behulp van sensoren onderzocht hoe kijkers samen reageren op Tv-beelden. Daarbij wordt onderscheid gemaakt tussen spontane reacties ('lachen'), nieuwe aanvullingen ('dit is de Dappermarkt'), relevantie, waarderingen en correcties van oude metadata ('dát is niet de Jordaan'). Hierbij mag de methode om te metadateren de normale interactie niet hinderen. Bij de tweede methode wordt materiaal dat een kijker zelf toevoegt onderzocht op verbanden met materiaal dat de kijker eerder al een keer heeft gezien of heeft toegevoegd. Dit kunnen kruisverbanden zijn of materiaal dat de kijker erg interessant vindt.

Contact

Paul Valk

  • Sport and Media
  • Streaming Video
  • Live events
  • Fanexperience
  • Video analyses
E-mail

Wij gebruiken anonieme cookies om het gebruik van onze site te verbeteren.