Gisteren ging Digitaal Nederland gedeeltelijk uit. MijnOverheid, DigiD en de site van de Tweede Kamer gingen tijdelijk offline vanwege een lek in PHP. Om vier uur ‘s middags waren er al patches, en tegen de avond kwamen de eerste websites weer terug. Tot nu toe is er weinig gebeurd.
Precies daar zit het gevaar. Rond de millenniumwisseling werd veel geld besteed aan de millenniumbug. Op 1 januari 2000 gebeurde er vrijwel niets, en velen vonden dat het allemaal overdreven was. Dat was de verkeerde conclusie. Er gebeurde niets omdat mensen het probleem op tijd zagen. Na woensdag is het risico dat dezelfde fout herhaald wordt. Het viel mee. Het viel mee omdat het probleem zichtbaar was. De echte problemen die de komende jaren zullen komen, zijn niet zichtbaar.
Een systeem dat foutloos werkt
Nederland weet hoe stil falen eruitziet. Bij de toeslagenaffaire ging geen enkele website uit. Er was geen storing, geen lek, geen alarm. Een risicomodel van de Belastingdienst, dat onder andere nationaliteit meewoog, hielp jarenlang te bepalen welke ouders verdacht werden. Het systeem deed wat het moest doen. Voor duizenden gezinnen had het een verwoestend resultaat. In januari 2021 trad het kabinet af.
Datzelfde falen wordt nu opgeschaald met AI. Een model dat foutloopt, gaat niet op zwart. Het blijft vriendelijke antwoorden geven. Vroeger had je een overheid nodig met een eigen systeem voor zo’n probleem. Nu kan elke organisatie haar eigen versie bouwen. In een paar uur, zonder dat iemand het merkt.
Hoe afwijking normaal wordt
Wie wil begrijpen hoe dat gebeurt, moet teruggaan naar de Challenger-ramp van 1986. Socioloog Diane Vaughan liet later zien dat NASA de schade aan de afdichtingsringen al eerder had gezien. Elke keer ging het goed, dus elke keer werd de schade iets acceptabeler. Ze noemde dit de normalisering van afwijking. De avond voor de lancering waarschuwde ingenieur Roger Boisjoly dat de kou de ringen fataal kon worden. Hij werd niet gehoord.
Met AI gebeurt dit sneller dan we gewend zijn. Het model verzint een bron, iemand verbetert het, er gebeurt niets ergs. De tiende keer controleert niemand meer. Charles Perrow schreef al lang geleden dat ongelukken in complexe en strak gekoppelde systemen geen uitzondering zijn, maar een normale eigenschap. AI-agents die op elkaars output bouwen, vormen precies zo’n systeem.
Oefenen met een toekomst die nog niet bestaat
Wat moet je als leider doen? Voorspellen lukt niet. Maar je kunt doen wat Shell in de jaren zeventig deed. Pierre Wack en zijn team schreef scenario’s, waaronder een plotselinge oliecrisis. Niet om de toekomst te raden, maar om het management er alvast in te laten lopen. Toen de crisis van 1973 kwam, herkende Shell haar sneller dan de concurrentie.
Hetzelfde werkt voor AI. Ga met je bestuur om tafel en begin met deze zin: het is 2029 en onze AI zit al drie jaar structureel fout. Hoe is dat gebeurd? Wie had het kunnen zien? Waarom hebben we niet geluisterd?
Die laatste vraag is het belangrijkst. Bij stil falen kleurt geen dashboard rood. De enige sensor is een mens die zegt: dit klopt niet. Challenger had die mens. Wat ontbrak was een leidinggevende die luisterde. De belangrijkste maatstaf voor bestuurders is daarom niet hoeveel processen op AI draaien, maar hoe snel twijfel van de werkvloer de top bereikt. Wat er daarna gebeurt, zegt alles over je leiderschap.
Gisteren ging het licht uit en zag iedereen dat het donker was. De volgende keer blijft het licht branden en staan alleen de meubels op een andere plek. Organisaties die dat overleven, hebben niet de beste technologie. Ze hebben mensen die het opmerken. Ze hebben leiders die hen geloven.
Jan Scheele werkt dertien jaar op het snijvlak van deep tech, strategie en leiderschap. Als keynote spreker, dagvoorzitter en adviseur maakt hij technologie tastbaar voor boardrooms, directieteams en grote podia, zonder de complexiteit te versimpelen of te verbergen achter buzzwords.
Zijn achtergrond ligt in het bouwen. Als CEO van een technologie scale-up, oprichter van meerdere techbedrijven en organisator van meer dan vijftig TED-events wereldwijd zag hij van dichtbij hoe technologische keuzes doorwerken in strategie, governance en cultuur. Vanuit zijn betrokkenheid bij het World Economic Forum en de BCNL Foundation kijkt hij daarbij niet alleen naar wat technisch mogelijk is, maar ook naar wat bestuurlijk houdbaar en maatschappelijk wenselijk is.
Hij publiceerde vijf boeken, waarvan twee Amazon-bestsellers, en schrijft wekelijks over AI, blockchain en de organisatorische gevolgen van deep tech. Zijn blogs bereikten inmiddels meer dan twee miljoen lezers.