Deze pagina beschrijft de werking van de A/B Koppentest pilot van het Regiolab.

NB. Dit is niet de gebruikershandleiding voor redacteuren van Omroep Gelderland. Die staat hier.

A/B Testen van koppen

Bij het A/B testen van koppen worden er twee verschillende koppen getoond, ieder aan 50% van de populatie van de website. Vervolgens wordt er gekeken welke kop het beste presteert. Dit bepalen als we voor beide koppen minimaal 250 gebruikers die op een kop geklikt hebben. Daarbij kijken we naar het totaal aantal gelezen artikelen. Gelezen artikelen berekenen we door het totaal aantal cliks op een artikel te vermenigvuldigen met het percentage gebruikers dat een artikel heeft uitgelezen.

NB. onderstaande beschrijving gaat er van uit dat een omroep gebruik maakt van het Regiogrid. Omroepen die dit niet doen kunnen contact opnemen met het Regiolab om te bespreken hoe een custom implementatie er uit zou kunnen zien.

Starten en beëindigen van experimenten

Als een omroep gebruik maakt van het Regiogrid kan Integrace de A/B test functionaliteit voor die omroep op de website activeren. Vanaf dat moment zal voor ieder artikel dat geladen worden gekeken worden of er een A/B experiment bestaat binnen het Regiolab platform. Het opstarten van een experiment gebeurt automatisch zodra binnen het regiolab cluster een artikel met twee verschillende koppen aangeboden wordt. Om dit voor elkaar te krijgen moet een omroep in de news.xml die naar Integrace gaat een extra kop aanbieden. Zie voor details AlternativeHeadlines in Regiogrid docs. Als er vervolgens een update van het artikelen gepubliceerd wordt zonder alternatieve headline wordt het experiment automatisch weer gestopt.

Integratie in CMS

In het CMS van een omroep moet dus de mogelijkheid gecreëerd worden om een alternatieve headline in te voeren bij een artikel. Omroepen zijn zelf verantwoordelijk voor het realiseren van de benodigde aanpassingen. Ter inspiratie staat hieronder beschreven hoe dit bij Omroep Gelderland ingebouwd is.

Invoeren titels

Bij een artikel kan een gebruiker een Internet kop A en een Internet kop B invoeren

Achter de koppen is er de optie om met een druk op de knop de koppen om te wisselen. Dit wordt gebruikt als een experiment handmatig beëindigt wordt en de B-kop beter presteert dan de A-kop. Wordt er namelijk op de knop [Stop A/B test] gedrukt dan wordt de B-kop verwijdert. Wordt het artikel vervolgens opgeslagen, gaat de A-kop naar het Regiogrid en blijft de B-kop leeft. Hiermee wordt dan ook het experiment beëindigt.

Via een icoon achter de titels kan een redacteur bij een artikel eenvoudig zien wat de tussenstand van het experiment is.

Automatische selectie best presterende kop

Meestal komt er echter geen handmatige actie van een redacteur aan te pas. We hebben bij Gelderland een script draaien dat monitort wanneer een experiment 100% compleet is en vervolgens automatisch de best presterende kop selecteert, het artikel in het CMS aanpast en opslaat. Als een experiment na 24 uur nog niet voldoende kliks (250 per kop) heeft ontvangen wordt het ook automatisch beëindigd, maar wordt de A-kop als winnaar geselecteerd, omdat er niet voldoende data is om een andere selectie te verantwoorden.

Dashboard

In het CMS kan een redacteur via het hamburgermenu een dashboard oproepen met alle A/B experimenten.

Standaard worden de lopende experimenten getoond maar er kan ook geschakeld worden naar een weergave van afgeronde experimenten.

Er is ook een dashboard beschikbaar dat gebruikt kan worden om op de redactie op een scherm te tonen. Deze toont iets minder informatie zodat het overzichtelijk blijft. -> Dashboard Monitor

Bovenstaande dashboards tonen experimenten tot 7 dagen terug in de tijd. Er is nog geen goede manier om alle experimenten te kunnen tonen. Voorlopig is er een work-around die alle experimenten van een bepaalde periode (max. 30 dagen) kan tonen. Hiervoor moet men wel in de query handmatig de datum van de periode aanpassen.