A/B testen met weinig verkeer: wat kun je wél concluderen

Waarom zijn twee extra aanvragen nog geen bewezen winnaar?

Een hoger aantal aanvragen is een waarneming, nog geen bewijs dat een campagnevariant beter werkt. Zeker bij kleine aantallen kan toeval een groot verschil in percentages veroorzaken.

Fictief voorbeeld: een zakelijke dienstverlener verdeelt 400 bezoekers willekeurig over twee landingspagina’s. Alleen de kop verschilt. Variant A krijgt vier aanvragen uit 200 bezoekers; variant B krijgt er zes uit 200. De conversie stijgt op papier van 2% naar 3%: een relatieve verbetering van 50%, maar slechts twee extra aanvragen.

Dat klinkt overtuigender dan het is. Met deze aantallen is het verschil te onzeker om B tot bewezen winnaar uit te roepen. Bovendien weet je nog niet of die zes aanvragen passen bij je dienstverlening.

De juiste conclusie is: B scoort in deze steekproef hoger, maar het werkelijke effect is nog onzeker. Dat is iets anders dan zeggen dat beide varianten even goed zijn.

Wanneer is een A/B-test met weinig verkeer haalbaar?

Een A/B-test is haalbaar als je binnen een bruikbare periode genoeg deelnemers kunt verzamelen om een zakelijk relevant verschil te detecteren. Er bestaat geen universele bezoekersgrens: die hangt af van je uitgangsconversie, het gewenste effect en je onderzoeksopzet.

Welke vier getallen bepaal je vooraf?

• Uitgangsconversie: welk aandeel van de relevante bezoekers vraagt nu bijvoorbeeld een gesprek aan? Gebruik een representatieve periode en een betrouwbare meting.

• Minimaal relevant effect: welke verbetering rechtvaardigt de investering? Van 2% naar 3% is één procentpunt extra, oftewel 50% relatieve groei.

• Statistische power: de kans dat je test een vooraf gekozen effect detecteert als dat werkelijk bestaat. Bij 80% power kan een test dat effect dus nog steeds missen.

• Significantieniveau: de vooraf gekozen grens voor het risico op een fout-positieve uitkomst onder de nulhypothese. Bij een correct uitgevoerde toets wordt hiervoor vaak 5% gekozen.

Hoe kleiner het verschil dat je wilt kunnen aantonen, hoe groter doorgaans de benodigde steekproef. Meer AI-varianten maken dat probleem niet kleiner: ze verdelen het verkeer verder en vragen om correctie voor meerdere vergelijkingen.

Hoe vertaal je een steekproef naar een looptijd?

Indicatief rekenvoorbeeld, geen bedrijfsbenchmark: om een verschil van 2% naar 3% te detecteren, kom je bij een tweezijdige vergelijking van twee proporties, 5% significantieniveau, 80% power en gelijke verdeling uit op ongeveer 4.000 onafhankelijke deelnemers per variant, afgerond naar boven. Dit is een normale benadering zonder aanvullende correcties.

Samen vraagt dat ongeveer 8.000 deelnemers. Met 500 geschikte, meetbare nieuwe deelnemers per maand duurt de instroom alleen al circa zestien maanden. Niet al je websiteverkeer doet mee: iemand moet de testpagina bereiken, correct worden toegewezen en meetbaar zijn. Herhaalbezoeken zijn geen nieuwe onafhankelijke deelnemers.

Over zo’n lange periode kunnen aanbod, markt en bezoekersmix veranderen. Een test kan dan rekenkundig mogelijk zijn, maar praktisch ongeschikt. Gebruik een steekproefcalculator zoals die van Evan Miller en laat de definitieve opzet controleren door iemand met expertise in experimentontwerp.

Waarom moet je de beslisregel vooraf vastleggen?

Bij een klassieke test met vaste steekproef mag je niet telkens opnieuw toetsen en stoppen zodra de uitslag gunstig lijkt. Daarmee vergroot je het risico op een schijnwinnaar.

Evan Miller schrijft in How Not To Run an A/B Test: “Decide on a sample size in advance”. Zijn advies: bepaal de steekproef vooraf en wacht de afgesproken test af voordat je de significantie als beslisbasis gebruikt.

Een sequentiële methode kan tussentijdse beslissingen toestaan, maar alleen met passende rekenregels. Ook zo’n methode creëert geen extra bezoekers.

Kan AI een betrouwbare winnaar van een A/B-test voorspellen?

Een voorkeur van ChatGPT voor kop B is geen betrouwbare vaststelling dat B meer klanten oplevert. Een model beoordeelt tekst op basis van patronen en instructies; het observeert daarmee niet het gedrag van jouw kopers.

Generatieve AI kan wel nuttig voorwerk doen:

• hypotheses formuleren op basis van vastgelegde klantproblemen;

• tekstvarianten maken die één duidelijke aanname onderzoeken;

• onduidelijke formuleringen of ontbrekende informatie signaleren;

• geanonimiseerde interviewnotities ordenen;

• helpen controleren welke conclusies de meetgegevens wel en niet ondersteunen.

Laat AI bij elke analyse onderscheid maken tussen waarneming, interpretatie en ontbrekend bewijs. Controleer berekeningen met geschikte statistische software en voer geen herleidbare klantgegevens in zonder passende afspraken.

Gesimuleerde klanten kunnen ideeën opleveren, maar zijn geen echte testdeelnemers. Duizend antwoorden van een model zijn niet gelijk aan duizend onafhankelijke reacties uit je doelgroep. Een voorspelling wordt pas bruikbaar als je de voorspellende waarde apart toetst aan werkelijk gedrag in een relevante context.

Wat kun je onderzoeken als je te weinig bezoekers hebt?

Begin bij concrete gebruiksproblemen met echte klanten of prospects wanneer een kwantitatieve test niet haalbaar is. Kwalitatief onderzoek kan verklaren waar mensen vastlopen, maar bewijst geen procentuele conversiewinst.

Geef een deelnemer bijvoorbeeld de opdracht: ‘Onderzoek of deze dienst past bij jouw bedrijf en zoek uit wat een eerste gesprek inhoudt.’ Observeer waar diegene twijfelt, terugklikt of informatie mist. Vraag pas daarna door; stuur niet meteen naar jouw favoriete oplossing.

Een aantoonbaar kapot formulier hoef je niet te laten staan totdat een A/B-test voldoende bewijs oplevert. Herstel de fout, controleer de werking en documenteer waarom je ingrijpt. Presenteer een stijging na de reparatie niet automatisch als causaal bewezen effect: er kan ondertussen meer zijn veranderd.

Ook nog niets aanpassen is een geldige keuze wanneer het probleem onduidelijk is en een wijziging veel risico of kosten meebrengt.

Wat zet je op een bruikbaar experimentenblad?

Een experimentenblad maakt vooraf duidelijk wat je onderzoekt en wanneer je genoeg weet. Onderstaand invulmodel is een werkdocument, geen gevalideerd onderzoeksinstrument.

Leg voor B2B-leadkwaliteit bijvoorbeeld vast: passend bedrijfsprofiel, een concrete behoefte en acceptatie door sales. Beoordeel aanvragen uit beide varianten op dezelfde manier en geef ze evenveel opvolgtijd. Bij lange verkoopcycli kunnen recente leads nog niet eerlijk op omzet worden vergeleken.

Kies bij de eindbeoordeling uit drie routes:

• Doorvoeren: het vooraf afgesproken bewijscriterium is gehaald, het effect is zakelijk relevant en er zijn geen onaanvaardbare nadelen voor leadkwaliteit.

• Stoppen en A behouden: B veroorzaakt duidelijke schade of biedt onvoldoende zakelijke reden om over te stappen.

• Verder onderzoeken: de uitkomst is onzeker, de steekproef is niet gehaald of de kwaliteitsgegevens zijn nog te onrijp.

Rapporteer daarbij het geschatte verschil én een passend onzekerheidsinterval. ‘Niet significant’ betekent niet automatisch ‘geen effect’. Verleng een teleurstellende test ook niet achteraf alleen om alsnog een winnaar te vinden.

Waarom moet je eerst de juiste mensen bereiken?

Meer bezoekers helpen alleen als ze passen bij de doelgroep waarover je een beslissing wilt nemen. Goedkoop, irrelevant verkeer kan de teller verhogen zonder bruikbare informatie over je B2B-markt op te leveren.

Onderzoek daarom gerichte distributie via bijvoorbeeld nieuwsbrieven en zakelijke media. Leg vooraf vast welke beslissers je wilt bereiken, welke boodschap aansluit en hoe je herkomst en leadkwaliteit volgt. Verdeel nieuwe instroom binnen dezelfde test willekeurig over A en B; vergelijk niet zomaar een nieuwsbriefcampagne deze maand met banners volgende maand.

In Business Network biedt een platform waar ondernemers expertise delen, relaties opbouwen en samenwerken. Voor gerichte zakelijke zichtbaarheid zijn onder meer nieuwsbriefplaatsingen en online banners beschikbaar. Wil je onderzoeken welke inzet past bij jouw doelgroep? Bekijk onze losse producten.

Dat is een distributiekeuze, geen belofte van conversiewinst. De volgorde blijft: bereik relevante mensen, onderzoek hun problemen en vergelijk varianten pas wanneer je voldoende bewijs kunt verzamelen.