Het nieuws staat er vol mee. Cloudrekeningen die verdubbelen, licenties die stilletjes duurder worden, datacenterinvesteringen die de begroting van een middelgroot land benaderen. De uitgaven aan AI zijn inmiddels zo zichtbaar geworden dat ze zelf nieuws zijn. Over de opbrengsten hoor je een stuk minder.
Dat verklaart waarschijnlijk waarom ik tijdens lezingen en masterclasses tegenwoordig bijna altijd dezelfde vraag krijg. Niet of AI gaat werken… ook niet wat het met onze banen doet. Maar: hoe berekenen we nou wat het ons eigenlijk oplevert?
Mijn antwoord… dat bevalt zelden :). Want je gaat dit in mijn optiek nooit precies kunnen berekenen. Niet omdat je controller tekortschiet… maar omdat de vraag zelf gewoon niet klopt. Er wordt gedaan alsof AI een machine is die je aanschaft, in een hoek van de fabriek zet en waarvan je telt hoeveel extra producten eruit rollen. Alleen is AI tegelijk software, infrastructuur, opleiding, procesverandering en soms een verkapte reorganisatie. Wie doet alsof je dat netjes uit elkaar kunt trekken presenteert geen meting, maar een verhaal met cijfers erin.
Voor alle duidelijkheid: ik hoor de laatste tijd ook steeds vaker het tegenovergestelde geluid, dat het effect van AI helemaal nooit meetbaar zou zijn. Dat is inmiddels aantoonbaar onjuist en wat mij betreft net zo lui.
Zodra je de werkelijkheid klein genoeg maakt is het effect namelijk uitstekend te meten. Erik Brynjolfsson, Danielle Li en Lindsey Raymond volgden 5172 medewerkers van een klantenservice en zagen het aantal opgeloste vragen per uur met 15% stijgen. In een experiment in Science waren 453 professionals met ChatGPT ongeveer 40% sneller op schrijftaken, met werk dat 18% beter werd beoordeeld.
Gecontroleerde experimenten, met controlegroep, net zoals je een reguliere medicijn test. Hoe grillig het is lieten Harvard-onderzoekers juist weer mooi zien bij consultants. Binnen het gebied waarin het model sterk was gingen snelheid én kwaliteit omhoog, net daarbuiten nam de kans op fouten juist toe. Hetzelfde hulpmiddel, twee tegengestelde uitkomsten.
Het onderzoek wat mij het langst is bijgebleven komt van METR. Zestien ervaren softwareontwikkelaars werkten aan 246 echte taken in hun eigen code. Vooraf verwachtten ze 24% tijdwinst. In werkelijkheid deden ze er 19% langer over. En achteraf dachten ze nog steeds dat AI hen sneller had gemaakt.
Professionals dus, aan hun eigen werk, die na afloop niet eens de richting van het effect wisten. Daarmee is elke rendementsberekening die op zelfrapportage leunt in mijn optiek waardeloos… en dat is nou net waar de meeste op leunen.
Zodra je de blik verbreedt van taak naar organisatie verdampt die zekerheid. Het scherpste bewijs komt uit een studie onder bijna zesduizend bestuurders in vier landen. Meer dan 70% van de bedrijven gebruikte AI, 89% van de bestuurders zag in 3 jaar tijd geen merkbaar effect op de productiviteit, met een gemiddelde gerapporteerde winst van 0,29%. Voor de komende drie jaar verwachtten diezelfde mensen wél 1,4% winst. Inderdaad….nul gemeten, hoop voor later. Het is de economische versie van volgende week beginnen met sporten.
Goldman Sachs vond dit voorjaar evenmin een betekenisvolle relatie tussen AI gebruik en productiviteit op economiebreed niveau, terwijl een recordaantal van 70% van de directies van de grote bedrijven er wel over spraken op de kwartaalcalls. Wat de bank wél zag was een winst van rond de 30%, maar alleen bij 2 scherp afgebakende toepassingen.
Inderdaad; je ziet steeds hetzelfde patroon: hoe smaller de vraag, hoe helderder het antwoord. McKinsey komt tot 88% van de organisaties die AI ergens gebruiken tegenover 39% die enige impact op het bedrijfsresultaat ziet, en van de 4454 topbestuurders die PwC ondervroeg zag 56% noch omzetstijging noch kostendaling.
Wat ik het opvallendst vind is dat het scherpste materiaal niet van sceptici komt. Deloitte ondervroeg vorig najaar 1854 bestuurders in 14 landen en publiceerde er een rapport over met een hoofdstuk getiteld: waarom rendement moeilijk te meten is.
De redenen die bestuurders daar zelf noemen zijn precies de redenen waarom de vraag onbeantwoordbaar is. Veel opbrengsten zijn immaterieel, versnipperde systemen maken een voor-en-na-meting onmogelijk…. en de technologie verandert sneller dan de meetmethode. Het zwaarste punt komt als laatste: AI wordt vrijwel nooit alleen ingevoerd. Er lopen altijd datakwaliteitsprojecten, procesherontwerp en rolwijzigingen doorheen. Een bestuurder uit de energiesector zei het onbedoeld poëtisch. Ze konden hooguit een ruwe schatting maken, omdat de winst uit AI niet te scheiden viel van de winst uit al het andere.
Het zijn dus niet de critici die zeggen dat het niet te meten valt. Dat schrijft de partij op die de meetopdrachten factureert 🙂
Twee dingen ontbreken trouwens vrijwel altijd… en allebei duwen ze het cijfer de verkeerde kant op. Onderzoekers van BetterUp en Stanford doopten het eerste workslop. Van 1150 werknemers had 41% in een maand tijd AI-output ontvangen die er verzorgd uitzag maar het werk geen millimeter verder bracht… met gemiddeld bijna twee uur herstelwerk per keer. Het mechanisme boeit me meer dan het bedrag: de tijdwinst valt bij de afzender, de kosten vallen bij de ontvanger…. en geen enkel dashboard registreert die verplaatsing.
Aan de andere kant staat wat Wharton-hoogleraar Ethan Mollick secret cyborgs noemt. Medewerkers die hun AI-gebruik stilhouden… soms omdat het formeel niet mag, vaker omdat goed werk aan waarde verliest zodra iedereen weet dat er een model aan te pas kwam. MIT vond 90% van de werknemers met persoonlijke AI-tools tegenover 40% van de bedrijven met een officieel abonnement. Wie het bedrijfsbrede effect meet, meet dus de verkeerde helft.
Duizend collega’s met een licentie is geen rendement. Twintig minuten tijdwinst per persoon evenmin. Wanneer iemand drie uur per week bespaart maar dezelfde uren blijft werken is er boekhoudkundig niets veranderd. Die tijd kan naar beter werk gaan, naar meer klanten, of gewoon naar wat meer lucht in de agenda. Dat laatste heeft echte waarde, alleen niet in euro’s.
Daarbij komt dat vrijwel niemand een geloofwaardig alternatief scenario heeft. Wat zou er zijn gebeurd zónder AI? De omzet van dit jaar naast die van vorig jaar leggen zegt weinig, want prijzen, personeel, concurrentie en de economie veranderden ook. Zonder dat scenario meet je geen rendement, maar vertel je achteraf een aannemelijk verhaal.
Cynisch wil ik hier niet eindigen, want dat zou onterecht zijn. AI werkt, het bewijs daarvoor is solide, het laat zich alleen bijzonder slecht optellen. Vraag daarom niet wat AI het bedrijf oplevert. Vraag of de afhandeltijd van dít type klantvraag daalt, zonder dat de klanttevredenheid of het foutpercentage verslechtert, vergeleken met een groep die de tool niet gebruikt. Daar horen een nulmeting bij, een gefaseerde uitrol, de volledige kosten inclusief toezicht en correctiewerk en een vooraf vastgelegde uitkomst. Het geldbedrag komt daarna, nooit ervoor.
De echte reden dat organisaties hier moeite mee hebben is naar mijn idee trouwens niet technisch. Een eerlijke meting kan uitwijzen dat het project niet werkt. Zolang je gebruikersaantallen rapporteert hoef je dat nooit te weten. Tot iemand in de raad van commissarissen wél doorvraagt, en dan sta je er alsnog. Tijdwinst is nog geen rendement. Dat verschil scherp houden scheelt een hoop schijnprecisie.
Jan Scheele werkt dertien jaar op het snijvlak van deep tech, strategie en leiderschap. Als keynote spreker en dagvoorzitter maakt hij technologie tastbaar voor boardrooms, directieteams en grote podia, zonder de complexiteit te versimpelen of te verbergen achter buzzwords.
Zijn achtergrond ligt in het bouwen. Als CEO van een technologie scale-up, oprichter van meerdere techbedrijven en organisator van meer dan vijftig TED-events wereldwijd zag hij van dichtbij hoe technologische keuzes doorwerken in strategie, governance en cultuur. Vanuit zijn betrokkenheid bij het World Economic Forum en de BCNL Foundation kijkt hij daarbij niet alleen naar wat technisch mogelijk is, maar ook naar wat bestuurlijk houdbaar en maatschappelijk wenselijk is.
Hij publiceerde vijf boeken, waarvan twee Amazon-bestsellers, en schrijft wekelijks over AI, blockchain en de organisatorische gevolgen van deep tech. Zijn blogs bereikten inmiddels meer dan twee miljoen lezers.
