menu

Dr Ilya Markov, onderzoeker aan de Universiteit van Amsterdam, heeft een nieuwe methode ontwikkeld waarmee zoekmachines automatisch de kwaliteit van zoekresultaten kunnen meten. Hij presenteerde zijn onderzoek eerder deze maand tijdens de 23ste editie van de internationale conferentie “ACM Conference on Information and Knowledge Management” in Shanghai.

Directe antwoorden

Tegenwoordig toont de zoekmachine behalve de bekende “tien blauwe links” steeds vaker ook andere soort informatie, zoals afbeeldingen, plattegronden of informatie afkomstig van Wikipedia. Als je het weerbericht in Amsterdam wil weten, is het erg handig dat deze informatie prominent, als direct antwoord bovenaan de resultaten verschijnt. Zo heb je in één oogopslag de gewenste informatie, zonder dat je nog op een link hoeft te klikken. Voor de zoekmachine schept deze verbetering echter een lastig probleem, want die kan nu niet meer je klikgedrag analyseren: er zijn immers geen kliks meer.

Automatische kwaliteitsmetingen

De nieuwe methode van Markov meet automatisch de kwaliteit van zoekresultaten, ook bij resultaatpagina’s waarop niet geklikt hoeft te worden. De methode is gebaseerd op probabilistische modellen die het gedrag van gebruikers van zoekmachines nabootsen. Markov kan met deze modellen schattingen over de kwaliteit van de zoekmachineresultaten maken. Zijn experimentele uitkomsten laten zien dat zijn nieuwe meetinstrument 20% betrouwbaarder is dan alle bestaande automatische kwaliteitsmetingen.

Achtergrond

Het onderzoek van Markov werd uitgevoerd binnen het Informatica Instituut van de Universiteit van Amsterdam, onder leiding van Maarten de Rijke en in nauwe samenwerking met de Russische zoekmachine Yandex. Het onderzoek van Markov werd mogelijk gemaakt door de Swiss National Science Foundation (SNSF).

I. Markov, E. Kharitonov, V. Nikulin, P. Serdyukov, M. de Rijke en F. Crestani. Vertical-aware click model-based effectiveness metrics. In: CIKM 2014: 23rd ACM Conference on Information and Knowledge Management. November 2014, pagina 1867-1870.