Master Minds on Data Science – Personalization and content recommendation De Master Minds serie gaat van start met de vraag hoe content-aanbieders hun aanbod kunnen verrijken door slim gebruik te maken van eerder of elders verkregen (meta-)data over mediagebruik en het aanbod zelf. Deze verrijking wordt momenteel vooral gezocht in het personaliseren van content, waardoor tegemoet gekomen kan worden aan behoeftes van just in time, just in place content van hun doelgroep. Ook het doen van aanbevelingen is een populair middel hierbij. Kortom, hoe zorg je voor een goede user experience? In e-commerce (denk aan BOL.com, Amazon, TripAdvisor) is het inmiddels gebruikelijk dat gebruikers steeds meer maatwerk-aanbiedingen krijgen voorgeschoteld op basis van hun eigen of vergelijkbaar koopgedrag. Personalisatie en aanbevelingen zijn daarbij de sleutelwoorden, waarbij slimme algoritmes worden ingezet om dat maatwerk geautomatiseerd te kunnen leveren. De uitdaging bij ecommerce ligt in het nog slimmer maken van die algoritmes, zodat ook veel beter voorspeld kan worden welk aanbod nauw precies tot de hoogste conversie zal leiden. Bij pure mediacontent-aanbieders zien we de inzet van geautomatiseerde personalization & recommendation nog veel minder terug, terwijl media-aanbieders vergeleken met vroeger nog meer en harder moeten werken om de ‘eyeballs’ en loyaliteit van de mediagebruiker te behouden. De mediagebruiker stelt immers hogere eisen aan het aanbod. Dit geldt zeker voor nieuwsaanbieders. Omdat nieuws 24/7 via vele kanalen tot ons komt, moeten nieuwsaanbieders een meerwaarde creëren om tegemoet te komen aan die hogere eisen van hun publiek. In de eerste Master Mindsbijeenkomst vertelden Nu.nl en de NOS hoe ze dat doen, wat de ervaringen van de gebruikers zijn, en welke hulp ze daarbij hebben gehad van de wetenschap. Welke informatie en gedragsdata heb je nodig van je gebruikers en hoe kom je daaraan; hoe ga je om met privacy; wat moet je allemaal regelen op het gebied van authenticatie, autorisatie, user management en opslag, als je wilt personaliseren achter een login-ID? Wat is de beste methode van aanbevelen: collaborative of content based filtering, en welke eisen stellen die methodes aan de kwaliteit van je data? Maar ook: hoe zorg je als journalistiek maatschappelijk medium dat je gebruikers ook kunt blijven verrassen met nieuws waarnaar ze misschien niet actief zoeken, maar waarvan je ze wel op de hoogte wilt stellen vanuit je waakhondfunctie? Personalization & content recommendation Er zijn verschillende definities van het begrip personalisatie. Personalisatie, in economie, marketing of productie, is het op maat maken of personaliseren van producten en/of diensten, op basis van eigenschappen of voorkeuren van de gebruiker. Personalisatie vindt plaats door een gebruiker, die zelf een product of dienst configureert. Personalisatie in de informatica omvat een geheel van methoden en technieken om gebruikers informatie aan te bieden, die voor hen op maat gegenereerd wordt. Door het categoriseren van content en het onderscheiden en vastleggen van bezoekersprofielen, krijgt de bezoeker direct de voor hem-haar relevante informatie en aanbevelingen aangeboden. De online wereld telt een gigantische hoeveelheid websites, gebruikers en data en daar kunnen we iets mee, vindt Prof. dr. Maarten de Rijke. De Rijke is hoogleraar Informatieverwerking en Internet aan het Instituut voor Informatica van de Universiteit van Amsterdam. Hij is tevens directeur van Amsterdam Data Science. Hij houdt zich onder andere bezig met zelflerende en cognitieve zoekmachines. Wij moeten iets met die data, omdat dat gunstig is voor zowel de gebruiker als de producent. Wanneer de grote hoeveelheden data goed geordend raken, wordt er een overzicht
geschept dat o.a. ingezet kan worden om relevante aanbevelingen te kunnen leveren of relevante zoekvragen te beantwoorden aan de gebruiker. Door middel van technologische algoritmes en filters wordt dit mogelijk gemaakt. Martin Prins, Consultant Media and Network Services bij TNO, vertelt de stappen die ondernomen worden om content via aanbevelingssystemen te verbeteren. Een bedrijf heeft content en doet met behulp van bepaalde algoritmiek voorspellingen. Het bedrijf wil deze voorspellingen verbeteren en deze verbeterde voorspellingen presenteren aan de gebruiker. De gebruiker interacteert met deze content waardoor het systeem leert van de interactie en de impliciete feedback.
Voorspellen Door de grote hoeveelheid data zijn er over de jaren heen verschillende methodes ontstaan die zich richten op het ordenen van deze data. De Rijke vertelt dat eind jaren 80 het principe van het ‘learning to rank’ ontstond. Dit principe heeft zich door de jaren heen geëvolueerd. Aanvankelijk ordende men pointwise, waarbij er per item een score werd berekend. Dit werd gevolgd door pairwise, waarbij twee objecten met elkaar vergeleken werden om vervolgens de ‘beste’ uit te kiezen. De laatste paar jaar staan in het teken van listwise, waarbij het geheel geordend wordt. Deze geordende data kan ingezet worden om gedrag te voorspellen. De meest voorkomende filtersystemen om te voorspellen zijn: content-based filtering, collaborative filtering en popularity based filtering. Content-based filtering wordt toegepast om te zien wat een gebruiker in de voorafgaande periode heeft gedaan op bijvoorbeeld een website. Via welke website is de persoon op de site is beland, welke artikelen en producten heeft hij voorafgaand aan de sessie bekeken, en wat is zijn zoekgeschiedenis tot nu toe geweest? Collaborative filtering is het proces waarbij een persoonlijk profiel wordt opgebouwd van een gebruiker op basis van voorafgaand gedrag. Dit profiel wordt samengevoegd met andere gebruikersprofielen die een soortgelijk gedrag vertonen. Via kleine verschillen in het gedrag kunnen er aanbevelingen gedaan worden voor voorwerpen waar de gebruiker geïnteresseerd in zou kunnen zijn. Popularity based filtering is het proces waarbij de meest populaire voorwerpen aanbevolen worden, omdat die veel geconsumeerd worden. Deze filters worden geïntegreerd in een recommender system, die het scoren en voorspellen van producten voor gebruikers mogelijk maakt. Voorspellende algoritmes – Nu.nl Nu.nl wil graag de relevantie brengen aan de gebruiker. Dit doen ze niet alleen via content, maar ook via het product. Op het gebied van content vindt Jorik Dopmeijer, head of product bij Nu.nl, dat ze al aardig bezig zijn met het leveren van relevante aanbevelingen. Nu.nl kijkt naar locatie en moment en bracht deze twee elementen samen in de pilot NUGroningen. Nu.nl kon via hun databases bekijken wanneer en waar nieuws geconsumeerd werd. NUGroningen speelde hier op in door lokaal nieuws af te leveren aan de Groningse gebruiker, wat resulteerde in een positief
resultaat. Dit experiment is verder uitgegroeid en bestaat nu in 10 regio’s. De redactie van Nu.nl moet hier ook op inspelen. In plaats van nieuws te produceren gericht op de massa, gebeurt dit nu gericht op een bepaalde niche. De beschikbare tijd, wanneer mensen consumeren, speelt ook een rol bij de redactie. Hier speelt Nu.nl in op wat er in de nabije toekomst staat te gebeuren. In samenwerking met TNO heeft NU.nl NUgemist opgezet. Dit gepersonaliseerde aanbevelingssysteem laat zien wat de gebruiker in zijn vorige bezoek gemist heeft. Dit project had twee doelstellingen. Enerzijds de content bieden wat relevant is voor de gebruiker en anderzijds kijken naar de effecten die het heeft op het product van NU.nl. TNO Wat doet TNO? TNO is een onderzoeksinstituut dat zich tussen de wetenschap en praktijk in bevindt. TNO probeert de kennis toe te passen om zo een brug te slaan tussen de praktijk en de wetenschap, waardoor de mogelijkheid bestaat om te gaan innoveren. Martin Prins, Consultant Media and Network Services bij TNO, is bezig met projecten over gepersonaliseerde nieuwsaanbevelingen en gepersonaliseerde nieuwsuitzendingen. Hierbij wordt rekening gehouden met de interesses van de gebruiker. Op basis van eigen samengestelde categorieën en tijd kunnen gebruikers hun eigen uitzending samenstellen. TNO houdt zich ook bezig met aanbevelingen voor groepen en het koppensnellen voor video. Om deze personalisatie mogelijk te maken moet er gekeken worden naar hoe gebruikers interacteren met het systeem. Dit gebeurt door expliciete feedback, waarbij de gebruiker duidelijk laat weten dat wat hij leuk vindt, en door impliciete feedback. Wanneer gebruikers op iets klikken, dan zegt dat iets over de relevantie van een artikel of website. Scyfer Scyfer is een spin-off van de Universiteit van Amsterdam. Voor de NOS heeft Scyfer een recommendation engine gemaakt, een algoritme dat leert op basis van de interactie met de mensen op de website wat de gebruiker leuk vindt en wat voor een nieuws de gebruiker graag wil consumeren. Bij Scyfer proberen ze de technologie, die op academisch hoog niveau ontwikkeld wordt door Google en Facebook, in de praktijk te brengen. Scyfer is ontstaan door een competitie, waarvoor ze een algoritme had ontwikkeld die 21% beter scoorde dan de algoritmes van de concurrenten. Tijmen Blankevoort, co-founder van Scyfer, vertelt dat dat komt omdat de algoritmes vanuit de UvA en de wetenschappelijke wereld veel beter zijn dan die van de grote bedrijven in Nederland. Het algoritme kijkt naar welke artikelen gelezen worden en plaats deze in een matrix. Als een gebruiker een artikel heeft gelezen zet het algoritme een ‘1’ neer. Heeft de gebruiker het artikel gezien maar het niet gelezen dan verschijnt er een ‘0’ in de matrix. Een leeg vakje betekent dat de gebruiker het artikel niet heeft gezien. Het doel is om die lege plekken in de matrix te voorspellen en daarvan de score te bepalen. Wanneer deze informatie beschikbaar wordt, kunnen er relevante aanbevelingen gedaan worden. Scyfer heeft een algoritme gecreëerd op basis van de ideeën uit een paper van Agarwal en Chen uit 2011 over het Yahoo News Recommender systeem. Dit systeem maakt gebruik van een slimme combinatie tussen collaborative, content-based en popularity based filtering. Het systeem maakt aanbevelingen op basis van persoonlijke profielen. Het Scyfer recommender system beschrijft elk persoon en elk artikel in een set variabelen. Ook hier geldt dat het algoritme op basis van het gedrag van de gebruiker de matrix kan invullen. De kracht van dit algoritme is dat het rekening houdt met de veelzijdigheid van individuen en er voor zorgt dat de gebruiker niet belandt in een filter bubble. Serendipiteit is van groot belang vindt Blankevoort. Het recommender system genereert niet alleen scores, maar het vertelt ook hoe zeker hij is van deze scores. Bij onzekerheid geeft het algoritme meer explorerende aanbevelingen, zodat de gebruiker niet het gevoel krijgt dat hij in een hoekje wordt geduwd. Resultaten In februari 2015 werd het aanbevelingssysteem van Scyfer getraind op 100.000 gebruikers en haalde
daar 15 miljoen ratings uit. Het systeem ervaarde clicks als positief en homepage/views en niets gelezen als negatief. Het algoritme voorspelde veel beter dan de huidige recommender systems, die hun aanbevelingen genereren op basis van populariteit of willekeur. Ook de resultaten op Nu.nl waren positief. Aan de hand van de doelstellingen die waren gesteld, werd een onderzoeksvraag geformuleerd: “Hoe kunnen persoonlijke aanbevelingen geïmplementeerd worden binnen Nu.nl en wat is het effect op het gedrag van de gebruikers?” Gepersonaliseerde nieuwsaanbevelingen kunnen ervoor zorgen dat consumenten: 60% meer artikelen per sessie lezen, 4,5 keer zo vaak een mediaplatform bezoeken, en ruim 2,5 keer zoveel tijd op een mediaplatform spenderen. Deepfalls Wat duidelijk is geworden is dat nieuws persoonlijk is. De samenleving wordt steeds pluriformer en individueler, maar het nieuwsaanbod moet werken voor iedereen. Nieuws is ook context- en regioafhankelijk. Wanneer het nieuwsaanbod voldoet aan de voorkeuren van een individu dan creëer je meer engagement op een product of website. Maar hoe kunnen er voorspellingen en aanbevelingen gedaan worden op basis van gegevens, als er nog geen gegevens over de gebruiker beschikbaar zijn? Dit zogeheten cold start problem is op meerdere manieren op te bedwingen. Prins benoemt het gebruikmaken van een context based recommender, waarbij er gekeken wordt naar de context van de relatie met de gebruiker (tijd en locatie). De Rijke vertelt over randomizing, waarbij een algoritme af en toe een compleet willekeurige aanbeveling doet aan de gebruiker. Deze aanbeveling is niet gebaseerd op een persoonlijk profiel of op context. Vaak pakken deze aanbevelingen positief uit, maar ze brengen wel risico’s met zich mee. Hoe goed gaan al deze content recommendation en personalization systemen werken? De meeste feedback bestaat uit leerprocessen vanuit de impliciete feedback die gebruikers genereren vanuit hun online gedrag. De algoritmes, die de impliciete feedback meten, zijn nog niet in staat te vertellen op welke manier de gebruiker de content consumeert. Wanneer een gebruiker tien minuten lang een artikel open heeft staan op zijn tablet, weet het algoritme niet of de gebruiker actief aan het lezen is, of tussendoor het toilet aan het bezoeken is. Door middel van expliciete feedback kan hier wel verduidelijking in aangebracht worden, alleen vraagt het verkrijgen van expliciete feedback om actieve deelname van de gebruiker. Deze gebruiker heeft hier de bewust keuze om feedback te geven of niet. Hoe richt je onderzoek in? Er wordt volop online geëxperimenteerd met gebruikers. Veelal worden er A/B tests gedaan door bedrijven. De A/B-test is een marktonderzoekmethode die gehanteerd wordt om te onderzoeken wat de meest efficiënte van twee mogelijkheden is. Door gebruikers te verdelen in twee groepen, die elk een ander concept te gebruiken krijgen, kan er op basis van de onderzoeksresultaten beslist worden welke opzet, A of B, het gewenste doel het best benadert. Scyfer wil in de nabije toekomst alle data proberen aan elkaar te koppelen en hun aanbevelingssysteem draaiende krijgen op de NOS servers. Hierbij willen ze een A/B test doen op 1% van alle gebruikers. Het nadeel van een A/B test is niet alleen dat er geëxperimenteerd wordt met de gebruiker, maar ook dat er veel data nodig is om tot statisch validiteit te komen. Vanuit de wetenschap is er een ‘goedkopere’ manier bedacht, wat minder interactie vergt van de gebruiker om tot een conclusie te komen, namelijk interleaving. Interleaving heeft minder interacties nodig om tot dezelfde conclusie te komen. Hoe werkt het? Het idee is hetzelfde als een A/B test. De Rijke schetst een situatie: Er is systeem A, het huidige productiesysteem, en systeem B, het alternatief. Elke gebruiker krijgt dezelfde behandeling. Bij een zoekmachine gaat het als volgt: de gebruiker komt binnen en vult een zoekopdracht in. Deze opdracht wordt verstuurd naar systeem A en systeem B. Deze produceren geordende lijsten. Deze lijsten worden technologisch samengevoegd. Het gecombineerde resultaat wordt getoond. Met dit resultaat heeft de gebruiker interactie. Uiteindelijk kan er gekeken worden of de gebruiker op een zoekresultaat van systeem A of B heeft geklikt.
Het grote risico van persoonlijke aanbevelingen is dat de kans bestaat dat de gebruiker een negatieve ervaring kan krijgen. Een voorbeeld hiervan is de automatische aanvulling van vragen bij de Google Search Box. Deze aanvullingen komen voort uit de databanken. De Rijke noemt het voorbeeld van de zoekvraag “homo zijn…”. Deze aanvraag wordt automatisch ingevuld als “homo zijn is een ziekte”. De vraag is of je dit wel wilt. Ook houden zoekmachines alleen rekening met de dominante groep en niet met specifieke niches, wat te maken heeft met het popularity filter. De gebruikers stellen het niet altijd op prijs wanneer ze er achter komen dat de wetenschap met hen experimenteert. De vraag die hier uit volgt is of we zulke experimenten moeten blijven hanteren. Het door TNO opgezette NUgemist kan ook tot negatieve ervaringen leiden, want de gebruiker krijgt het gevoel alsof hij wordt gecontroleerd aangezien er hem verteld wordt wat hij nog niet heeft gelezen. Toekomst Er liggen nog enkele uitdagingen in het verschiet op het gebied van het creëren van recommender systems, waaronder de combinaties van meerdere contextvormen, naast locatie en tijd, om betere aanbevelingen te kunnen doen op het juiste moment. Zoals het meenemen van emoties als context en het veranderen van de interesses van gebruikers. Ook moet er gekeken worden naar data bescherming en privacy van gebruikers. Nu.nl wil de tools die ze nu hebben ontwikkeld in de nabije toekomst naar de Nu.nl app brengen, aangezien 80% van het totale bereik van Nu.nl de app gebruikt. Verwachting is dat ze begin 2016 producten hebben die ze live kunnen brengen in de app. Scyfer zal hun aanbevelingssysteem op de NOS-site implementeren met als doel het aantal clicks onderaan de pagina te verhogen. TNO heeft een nieuw project gestart met Media Distillery, waarbij ze gebruikers kunnen helpen de juiste video’s te vinden. De Rijke vertelt dat meer dan 80% van de Netflix consumpties van aanbevelingen af komen. Moet er gestreefd worden naar 100% en moeten we dat willen? Het bedrijf Eter9, wat zich kwalificeert als een Artifical Intelligence bedrijf, gaat een paar stappen verder. De gebruiker kan via de website van Eter9, wat bijzonder veel op Facebook lijkt, een account aanmaken. Als respons zal het algoritme het account van de gebruiker volgen. Eter9 leert over een langere periode van het impliciete gedrag van de gebruiker en kan dit toepassen in de toekomst. Hierdoor kan Eter9 na het overlijden van de gebruiker het digitale personage in stand blijven houden. Ondanks dat dit volslagen idioot is, volgens De Rijke, leert het systeem ons wel dat de mens veel regelmaat in zijn gedrag vertoont. En het is deze regelmaat die er voor zorgt dat recommender systemen met zekerheid goede aanbevelingen kunnen leveren. Afsluiting Wat is nou de toegevoegde waarde van data vanuit het perspectief van de gebruiker? Duidelijk is dat de kwaliteit van de data in de voorgelegde cases het succes van data science in de mediasector bepaalt. In de tweede bijeenkomst staan de eisen die gesteld worden aan de databronnen centraal. Multimedia datamining vereist het verzamelen van echt grote hoeveelheden data. De omvang van de gebruikte data is essentieel om goede voorspellingen en verrijkingen te kunnen toevoegen aan mediacontent. Multimedia datamining is alleen al noodzakelijk om de grote hoeveelheid eigen data die een content-aanbieder genereert te kunnen doorzoeken, nog los van de vraag of ze de data in wil zetten voor nieuwe of verrijkte personalisatiediensten.
