Emerce Conversion & Analytics Event 2025: mijn inzichten

Afgelopen 10 april 2025 was ik aanwezig bij het ‘Emerce Conversion & Analytics’ event 2025. Een dag vol inspiratie en inzichten, maar ook kritische kanttekeningen bij het gehypete AI en server-side tracking. Ik deel graag mijn inzichten met je!

Experimentation with AI: No hype, just a supernova!

Na de introductie in de grote zaal aan het begin van de dag liep de zaal bijna compleet leeg richting deze ‘AI voor CRO’ sessie van Nils Stotz, Product Manager bij Zalando. Dit maakte weer even duidelijk waar de interesse van iedereen op dit moment (terecht) ligt: AI, dit keer voor conversieoptimalisatie (CRO).

Niels zijn tip voor het organiseren van een “Prompting Party” – Een idee van PWC – was leuk en praktisch toepasbaar. Verder bleef de sessie helaas behoorlijk theoretisch zonder veel concrete toepassingen.

Nils behandelde een aantal thema’s v.w.b. AI binnen CRO:

• Risico van over-reliance op AI: dit vond ik een interessante gedachtegang. Wanneer computers ons precies vertellen wat we moeten doen, daalt onze intrinsieke motivatie. En dit heeft op zijn beurt grote impact op onze oordeelsvorming en dus de kwaliteit die we leveren.
• Toekomst CRO professionals: professionals zullen zich onder andere door het argument hierboven meer moeten richten op management en leiderschap, omdat AI veel operationele en tactische taken overneemt.
• Experimenten op alle gebruikers vs kleinere segmenten: op dit moment voeren we vrijwel altijd experimenten uit op alle websitebezoekers met een traditionele A/B test: twee groepen van 50%. Dit heeft veel voordelen, maar ook één groot nadeel.
  Mocht je variant een ‘winnaar’ zijn, dan zitten er toch verliezers tussen. Andersom geldt ook dat er winnaars zitten tussen een verliezende variant. Dit zijn kleinere segmenten die zonder AI moeilijk te managen zijn. AI maakt het mogelijk om deze automatisch te herkennen, erop te testen en de ervaring direct op deze kleinere segmenten af te stemmen.
  De terechte vraag en uitdaging die Nils ons voorlegde bij deze aanpak is alleen: hoe ver ga je met dit segmenteren en hoe manage je het geheel? Als je een andere ervaring ‘serveert’ voor mensen uit de stad vs dorpen, voor mannen vs vrouwen en voor mensen van 25-35 jaar en 65+, hoe weet je dan nog wie welke website ervaring heeft gehad? Hoe zorg je voor een consistente merkervaring over tijd voor al deze segmenten? En is de uplift in conversieratio groot genoeg om de risico’s en het extra werk wat je hebt aan debuggen, onderhoud, etc te verantwoorden? Terechte vragen, waar in de nabije toekomst steeds betere antwoorden op gaan komen uit directe praktijkervaringen.
• Synthetic users: AI maakt het mogelijk om gebruikersonderzoek te doen met synthetische (neppe dus) gebruikers. Voor bedrijven met beperkte data biedt dit nieuwe concept mogelijkheden. Ik weet nog niet helemaal wat ik van dit concept moet denken. Persoonlijk heb ik al vaak ervaren hoe waardevol het is om het gesprek aan te gaan met je klanten. Niet alleen voor de directe output die je van ze ontvangt, maar ook voor de relatie en indirecte signalen. Ik zou het dus zeker niet adviseren aan klanten die nog nooit zelf met een klant van vlees en bloed gesproken hebben.

Finding the right frequency – mixing research for maximum impact

In deze presentatie nam Desiree van der Horst van Loop Earplugs ons mee door het 6V-model van CRO agency Online Dialogue. Een mooi, makkelijk te onthouden framework voor CRO onderzoek. In de foto hierboven zie je waar de 6 V’s voor staan. Desiree komt van Online Dialogue af en gebruikt dit model om het CRO onderzoek bij Loop Earplugs mee te structureren. 

AI voor superefficiënt CRO onderzoek
Desiree liet zien hoe AI effectief kan worden ingezet voor CRO deskresearch, met de Deep Research functionaliteit die nu bijna alle AI modellen aanbieden. Ik gebruik deze ook erg veel en voor mij persoonlijk levert deze functionaliteit me tot zover de grootste tijdswinst op. Ik gebruik het niet alleen voor CRO research, maar ook voor bijvoorbeeld het doen van breder marktonderoek en het schrijven van marketingplannen. Heb je daar nog niet mee geexperimenteerd? Give it a go!

De saga van de homepage slider
Desiree deelde vooral een leuke ‘saga’ over homepage sliders die bij haar bedrijf Loop Earplugs na meer dan 15 A/B testen tegen alle best practices in toch beter bleken te presteren.
Toen de vraag in de zaal gesteld werd op welke metrics ze had getest, gaf ze aan dat ze op verschillende metrics hebben getest (CTR, add to cart, sales) maar dat er niet één primair / doorslaggevend was.
Dit vond ik minder sterk aan het verhaal. Ik ben van mening dat je geen absolute winnaar kunt bepalen als je meerdere metrics meet die onderling kunnen conflicteren.
Een voorbeeld: ik kan de add-to-cart rate heel makkelijk enorm verhogen door een incentive te geven voor een add-to-cart, maar verhoog daarmee de drop-off van add-to-cart naar checkout enorm.

AI voor CRO: inspiratie uit de praktijk

Joost Baalbergen – CRO consultant bij Online Dialogue – maakte de verwachtingen op basis van de titel waar en gaf wat mij betreft de meest waardevolle sessie van de dag. Geen theoretisch ge**l, maar praktische voorbeelden van hoe AI kan worden toegepast binnen hun eigen 6V-model.

Hier komen de praktische adviezen van Joost:

• Sla data en inzichten centraal op: Volgens Joost ligt de beperking van AI op dit moment nog in het combineren van alle 6V’s en het extraheren van de meest impactvolle inzichten uit al deze data en context. Om dit zo goed mogelijk te doen is het cruciaal om alle inzichten uit de 6V-aanpak digtiaal en centraal te documenteren en op te slaan met tools als Airtable, Notion of NotebookLM.
• Voice of customer analyse: AI is enorm sterk in het snel verwerken van klantreviews om thema’s, pijnpunten en behoeften te identificeren. Deze inzichten kunnen vervolgens worden gebruikt om bijvoorbeeld USP’s te formuleren in de eigen taal van je klanten. Tip van Joost: wees wel voorzichtig met quotes: ChatGPT verzint er gerust een paar bij.
• Klantinterviews: het houden van klantinterviews is super waardevol, maar ook tijdrovend en dus duur. Ook hier kan AI een belangrijke rol in efficiëntie spelen. Joost liet een tool zien waarmee je op schaal en geautomatiseerd onderzoek kunt verrichten met behulp van een chatbot via WhatsApp. Ook noemde hij Conveo, die videogesprekken met AI-bots mogelijk maakt.
  Persoonlijk vind ik niet dat je al je kwalitatieve onderzoek uit moet besteden aan AI, want praten met je klanten levert je meer op dan alleen hun output. Maar ik ga zeker testen met deze methoden als aanvulling op échte gesprekken met je klanten.
• A/B testen en webanalyse: VWO copilot geeft een eerste kijk in AI voor A/B testen, door automatisch inzichten uit data te extraheren en aanbevelingen te doen voor hypothesen, tests en oplossingen. Hij kan zelfs A/B-tests maken, publiceren en analyseren. Microsoft Clarity Copilot maakt het mogelijk om tijdrovende sessie-opnames geautomatiseerd te analyseren. Zeg maar vaarwel tegen uren handmatig sessieopnames ‘bingen’.
• Literatuurstudie: Voor wetenschappelijk literatuuronderzoek adviseerde Joost de tool Consensus, met filteropties voor toptijdschriften, meta-analyses en meer. Deze kende ik al en dit is ook mijn go-to tool voor literatuuronderzoek.
• AI als superstagiair: voorlopig blijft de optimale aanpak volgens Joost mens én AI samen in plaats van AI alleen. Zoals Joost het verwoordde: “AI is als een super-stagiair die nooit ziek wordt.”

De conclusie: AI kan het ultieme doel van CRO research – het beter begrijpen van je klanten – niet vervangen. AI begrijpt in de kern namelijk helemaal niets. En daarbij: het zijn jouw klanten, niet die van AI. De AI geeft helemaal niets om jouw klanten, jij wel (hoop ik).
AI zal uiteindelijk traditionele CRO zoals we dat nu kennen voor een groot deel vervangen, maar het begrijpen van de pijnpunten en behoeften van je klanten zal altijd waardevol blijven. Focus je CRO research dan ook op het ontwikkelen van duurzame kennis over klantgedrag.

Server-Side Tracking met Simo Ahava

Erg leuk om de tracking legend Simo Ahava himself eens live te zien spreken. Helaas had hij geen goed nieuws. Ondanks alle hallelujah omtrent server-side tracking, ging Simo in op de problemen die er zijn met server-side tracking (SST). Niet zo erg als er ook oplossingen zouden zijn, maar die zijn er volgens hem niet. Lekker dan!

1. Transparantieproblemen (het “Vegas-probleem”): Met server-side tracking is er beperkt inzicht in wat naar andere platformen wordt verzonden. Client-side tracking vanuit browsers biedt veel meer transparantie, terwijl servers geen responses geven.

2. Controle: server-side tracking leveranciers vermarkten ‘controle’ en ‘meer data’ als een groot pluspunt van server-side tracking, maar dit is niet helemaal waar. Deze controle wordt volgens Simo uitgehold door verschillende factoren zoals regelgeving, data hoarding (onnodig veel data verzamelen), verbeterde preventie van browser-tracking die SST-setups kunnen identificeren, toenemende complexiteit van de Google Tag en de moeilijk aantoonbare ROAS/ROI van een SST-implementatie. Simo heeft nog geen business case gezien waarbij het meten van een extra 10-20% via SST voldoende bedrijfswaarde oplevert om het omzeilen van gebruikersvoorkeuren te rechtvaardigen.

3. Gebruikers: Simo staat achter de gebruikers en vindt dat zij keuzevrijheid en controle moeten hebben en houden als het gaat over hun eigen data. Server-side tracking maakt dit moeilijker dan client-side tracking. 

Simo waarschuwde ons aan het begin van zijn praatje al dat ook hij geen oplossing heeft voor deze drie fundamentele uitdagingen van server-side tracking. De enige raad die hij kon geven was: “Don’t be a dick”. Probeer te doen wat juist en ethisch te verantwoorden is.

Alternatives for A/B-testing: how it can improve your CXO program

Olf Koekoek van CRO agency ClickValue behandelde in zijn sessie twee alternatieve CRO methoden voor A/B testen: user testing en causal impact analysis. Er zijn namelijk meer bedrijven die niet kunnen A/B testen dan wel, vanwege te weinig bezoekers.

User testing is een waardevolle kwalitatieve methode waarmee je valide inzichten op kunt doen over je gebruikers en klanten. Het grootste nadeel is dat het geen harde, kwantitatieve data oplevert over de impact op je website performance.

Causal impact analysis is een slimme methode waarbij je de periode voor een verandering vergelijkt met een periode na de verandering. In plaats van alleen vóór en na te vergelijken, kijkt deze methode wat er waarschijnlijk was gebeurd zonder de verandering (de ‘counterfactual’) en vergelijkt dat met wat er echt gebeurde. Het is een slimme variant van een simpele Pre/Post test. Grote voordeel van deze methode is dat je niet de hoge bezoekersaantallen nodig hebt als bij een A/B test, maar het wel de harde performance data levert.

Na de sessie stelde ik een vraag over de betrouwbaarheid van een causal impact analysis als je tracking in het verleden niet op orde was of onlangs veel is veranderd. Olof antwoorde daarop dat de causal impact analysis alleen effectief is met goede en consistente data- en tracking kwaliteit in het verleden.

Conclusie: de causal impact analysis is een mooie second best kwantitatieve CRO methode wanneer er niet genoeg data is voor A/B-testen. Eén voorwaarde; kwalitatieve en consistente tracking / dataverzameling in het verleden.