Ik had een controle gebouwd die keek of mijn systemen niet stiekem uit elkaar liepen. Hij meldde drie keer achter elkaar dat alles in orde was.
Hij kon zijn eigen invoer niet lezen.
Het bestand met de lijst van te controleren onderdelen was beschadigd. In plaats van te melden dat hij niets kon lezen, maakte de controle er stilletjes een lege lijst van. Nul onderdelen te controleren, nul problemen gevonden, groen.
Een controle die altijd groen is, is geen controle. Dat is de fout waar dit stuk over gaat, en hij is niet technisch. Hij zit in elk bedrijf, in vormen die niemand een controle noemt.
De vorm die je wel herkent
Een collega die elke offerte nakijkt voordat hij de deur uitgaat. Al drie jaar. Heeft er nooit één tegengehouden.
Is dat een controle?
Op papier wel. Er staat een stap in het proces, er is een verantwoordelijke, en die kost je een half uur per offerte. In de praktijk is het een handtekening. Je weet niet of hij de fouten niet ziet, of dat er geen fouten zijn, en je hebt geen enkele manier om dat te onderscheiden.
Dezelfde vorm, andere jas:
- Een leveranciersaudit die al vier jaar geen bevindingen oplevert
- Een AI die je teksten controleert en alles goedkeurt
- Een functioneringsgesprek waar iedereen "voldoet aan de verwachting" scoort
- Een dashboard dat altijd groen staat
In elk van die gevallen betaal je voor de controle, en krijg je er geen informatie voor terug. Erger nog: je krijgt vertrouwen terug. En vertrouwen zonder informatie is precies het gevaarlijke product.
Waarom vals groen duurder is dan vals alarm
Er zijn twee manieren waarop een controle fout kan zitten.
Hij kan alarm slaan terwijl er niets aan de hand is. Vervelend, kost tijd, en je ziet het meteen: je onderzoekt het, vindt niets, en je weet dat de controle overgevoelig staat. Zelfcorrigerend.
Of hij kan groen melden terwijl er wel iets aan de hand is. Dan gebeurt er niets. Niemand onderzoekt het, want er is geen aanleiding. De controle bevestigt precies wat je al hoopte.
Die tweede fout heeft geen natuurlijke correctie. Hij blijft bestaan tot iemand er langs een andere weg tegenaan loopt, en dan is de vraag hoe lang het al zo was. Bij mij was dat drie ronden. Ik heb ook een geval gehad waarbij het drie weken duurde: een terechte beveiligingsmaatregel had een proces stilgelegd, de foutmelding werd weggegooid, en het resultaat was stilte in plaats van een storing.
Voor een MKB-bedrijf is de vertaling recht toe recht aan. De duurste controle is niet degene die te vaak aan de bel trekt. Het is degene die je geruststelt terwijl er iets mis is.
De ene teller die het verraadt
Er is één meting die dit onderscheid maakt, en vrijwel niemand houdt hem bij.
Hoe vaak heeft deze controle iets tegengehouden?
Niet hoe vaak hij is uitgevoerd. Niet hoeveel tijd hij kost. Hoe vaak hij tot een andere uitkomst heeft geleid dan wanneer hij er niet was geweest.
Staat die teller na een kwartaal op nul, dan zijn er precies drie mogelijkheden:
- Er is werkelijk niets misgegaan in dat kwartaal.
- De controle kijkt naar het verkeerde.
- De controle is stuk en meldt groen omdat hij niets meet.
Optie 1 is denkbaar en zeldzaam. Het punt is niet dat het antwoord altijd 2 of 3 is. Het punt is dat je zonder die teller niet kunt weten welke van de drie het is, en dat je dus een controle hebt waarvan de waarde onbepaald is.
Dat is de hele ingreep. Eén getal per controle, één keer per kwartaal bekeken. Het kost je vijf minuten en het is het verschil tussen een controle en een ritueel.
Waar het bij AI harder bijt
Alles hierboven geldt zonder AI. Met AI wordt het scherper, om twee redenen.
De eerste: een AI zegt zelden nee. Taalmodellen zijn getraind om behulpzaam te zijn. Vraag je er een om te controleren of een tekst klopt, dan is de kans groot dat je een genuanceerd "ja, met een paar suggesties" krijgt, ongeacht de kwaliteit. Dat leest als een grondige controle en het is er geen.
Ik heb dat zelf gemeten in een eigen beoordelingsstap: die gaf op vrijwel alles dezelfde uitkomst. Een veld dat altijd hetzelfde antwoord geeft, onderscheidt niets, en dan kun je het net zo goed weglaten. Je zou zeggen dat je dat merkt. Je merkt het niet, want de uitkomst is elke keer plausibel.
De tweede: een AI die AI controleert, deelt de blinde vlekken. Als hetzelfde soort systeem het werk doet en het nakijkt, mist de tweede stap wat de eerste ook miste. Dat is geen kwestie van een beter model. Het is een structureel probleem met de opzet.
De praktische regel die daaruit volgt, en die ik in elk klantsysteem toepas: splits je controle in twee soorten.
Voor alles wat objectief te bepalen is, gebruik geen AI. Klopt het bedrag met de calculatie, staat het verplichte veld erin, valt de datum binnen de looptijd, is de klantnaam correct gespeld. Dat zijn regels die kloppen of niet kloppen. Een regel kun je niet overtuigen, en dat is precies de eigenschap die je zoekt.
Voor alles wat een oordeel vraagt (leest dit prettig, is de toon passend, ontbreekt er iets), gebruik AI als hulpmiddel en een mens als beslisser.
Die splitsing maakt je controle meetbaar. Het harde deel geeft een teller die je kunt volgen. Het zachte deel geeft suggesties waar iemand iets mee doet. Wat je vermijdt is het middengebied: een AI die een oordeel geeft dat als een beslissing wordt behandeld.
Lees ook: AI Act op 2 augustus: wat ingaat, en wat is uitgesteld
Het geval dat me het meest leerde
Ik testte of mijn kostenberekening de modelnamen herkende die daadwerkelijk worden opgeslagen. Alles kwam leeg terug. Ook de namen waarvan ik zeker wist dat ze erin stonden.
Mijn eerste conclusie was dat de hele berekening stuk was.
Het lag aan mijn test. Ik gaf de gegevens in de verkeerde vorm door, dus de opzoeking faalde op alles, inclusief mijn eigen controlegeval.
Dat mijn controlegeval óók faalde, was het signaal dat het aan mij lag. Als een meting op alles hetzelfde antwoord geeft, inclusief het geval waarvan je zeker weet dat het moet slagen, dan meet je jezelf en niet je systeem.
Sindsdien zit er in elke meting die ik bouw één geval waarvan ik weet dat het moet slagen en één waarvan ik weet dat het moet falen. Als beide hetzelfde antwoord geven, weet ik binnen tien seconden dat ik naar mijn eigen fout kijk.
Overigens zat er onder mijn eigen fout wél een echt probleem: de opzoeking kende de namen die zij verwachtte, en geen enkele naam die daadwerkelijk werd opgeslagen. Andere schrijfwijze, andere voorvoegsels. 1.377 verwerkte opdrachten zonder kostentoerekening, stil.
Dat is de tweede les. Een kapotte controle verbergt vaak een echt probleem, en je vindt dat probleem pas als je de controle eerst repareert.
Wat je deze week kunt doen
Drie stappen, samen een half uur.
Stap 1. Maak een lijst van elke controlestap in je bedrijf. De offertecontrole, de vier-ogen-check, de leveranciersaudit, het AI-nakijkmoment, de maandelijkse cijferreview. Alles waar iemand of iets kijkt voordat er iets doorgaat.
Stap 2. Zet bij elke stap één getal: hoe vaak heeft dit in het afgelopen kwartaal tot een andere uitkomst geleid? Vraag het aan degene die het doet. Vaak weten ze het antwoord meteen, en vaak is het antwoord nul.
Stap 3. Voor elke nul: bepaal welke van de drie mogelijkheden het is. Er ging niets mis, er wordt naar het verkeerde gekeken, of de controle werkt niet. Dat gesprek van tien minuten levert meer op dan een nieuw kwaliteitshandboek.
Wat je daarna doet, hangt af van het antwoord. Maar je weet het dan, en dat is het punt.
De kern
Een controle die op alles hetzelfde antwoord geeft, onderscheidt niets. Of dat een audittool is die groen meldt zonder te kunnen lezen, een AI die alles goedkeurt, of een collega die al drie jaar geen offerte heeft tegengehouden: het mechanisme is identiek en de consequentie ook.
Je betaalt voor zekerheid en je krijgt een gevoel.
De vraag die dat blootlegt is er één, en hij past op een briefje naast elke controle in je bedrijf: wat zou deze controle melden als er echt iets grondig mis was?
Is het antwoord "hetzelfde als nu", dan is het geen controle.
Wil je die vraag een keer serieus door je eigen AI-processen halen, dan is dat precies wat ik doe voor MKB-bedrijven die AI inzetten.