Op 14 oktober trainde ik een AI-model op mijn Mac mini. Het basismodel was Qwen3.5-9B, een open model van Alibaba.
Pas daarna las ik dat Microsoft op 9 oktober Decision-1 had uitgebracht.
Dat is gebouwd op hetzelfde basismodel. Ik gebruikte de 4-bitversie, Microsoft waarschijnlijk niet.
Decision-1 is een beslismodel. Het schrijft geen tekst. Het kiest uit vaste antwoorden en geeft bij elke keuze een kans.
Microsoft verhuurt het in zijn cloud. Mijn versie draait op een Mac mini op mijn bureau. Dezelfde basis, twee routes.
Voor een MKB-bedrijf is de vraag welke route past. De techniek is daarbij niet het belangrijkste.
Het gaat om je data, de snelheid die je nodig hebt en wie het model mag veranderen.
Wat een beslismodel voor je bedrijf doet
Een beslismodel beantwoordt steeds dezelfde soort vraag. Is deze mail een klacht? Moet een mens dit ticket oppakken? Hoort deze lead bij de warme groep?
Het antwoord is een keuze uit de opties die jij opgeeft, met een kans erbij. Een gewoon taalmodel schrijft een verhaal. Een beslismodel zet een vinkje.
Daardoor kan het niet buiten de opties antwoorden. Een verkeerde keuze blijft wel mogelijk. Dat het formaat klopt, zegt niets over het antwoord.
Welke toepassingen hierbij passen, beschreef ik in beslismodellen als Jev: waar ze werken en waar niet.
Wat Microsoft levert met Decision-1
Microsoft kondigde Decision-1 op 9 oktober aan. Het bedrijf heeft Qwen3.5-9B bijgetraind op openbare datasets en eigen synthetische data.
Hoe dat bijtrainen precies ging, schrijft Microsoft niet. Je kunt het model ook niet downloaden.
Het draait alleen in Azure. In de aankondiging heet het een public preview.
De prijs is $0,042 per miljoen tokens die je erin stopt. De uitvoer is gratis.
Dat is precies wat TypeSafe vraagt voor Jev, het beslismodel waarmee deze categorie begon.
Het model leest tot 32.768 tokens, de stukjes waarin een model tekst opknipt. Het geeft geen uitleg bij een keuze. Alleen de keuze en de kans.
Microsoft schrijft er zelf een grens bij. Gebruik het model niet als enige beslisser over mensen.
Microsoft noemt krediet, werk, wonen, zorg en juridische zaken.
En Microsoft gaat het model herbouwen op andere basismodellen, waaronder eigen modellen en die van OpenAI.
Wat je vandaag huurt, is over een tijd dus een ander model.
De cijfers van Microsoft en wat ze meten
Microsoft noemt 83,5 procent nauwkeurigheid over 36 benchmarks, samen bijna 150.000 vragen.
De 83,5 procent staat alleen in een grafiek, niet in de tekst van de aankondiging.
De namen van de benchmarks zijn niet gepubliceerd. Hoe de 83,5 procent is gemiddeld ook niet. Dat maakt het getal lastig te vergelijken met iets anders.
De snelheid is 85 milliseconden per beslissing. Microsoft mat dat in dezelfde Azure-regio. Een onafhankelijke meting via internet kwam uit op 459 milliseconden.
Er is ook tegenbewijs. Red Hat vergeleek begin oktober beslismodellen als Jev met gewone taalmodellen als beoordelaar, op veiligheidstoetsen.
Ze vonden de beslismodellen niet sneller, goedkoper of beter. Decision-1 zat er nog niet bij. Alles was in het Engels.
Wat mijn eigen versie deed
Mijn toets bestaat uit 150 moeilijke Nederlandse teksten, verzonnen voor deze toets: klachtmails, zoekvragen en stukjes uit salesgesprekken.
Daarin zitten 200 keuzevragen.
Het ongetrainde 9B-model maakte er 20 fouten op. Na het bijtrainen waren dat er 9. Dat verschil is statistisch overtuigend.
Jev maakte er 12, de beslis-API van OpenAI 6. Een verschil met een van beide kon ik niet aantonen. Mijn model zit ertussenin.
Het trainen duurde bijna vier uur op 900 voorbeelden die ik al had. Het model gebruikte ruim 13 van de 24 GB geheugen. Per vraag kost het anderhalve seconde.
Wat ik niet kan zeggen, is of mijn model beter of slechter is dan Decision-1.
Ik heb Decision-1 niet gemeten. Mijn 200 vragen zijn ook niet de 36 benchmarks van Microsoft.
Voor allebei geldt hetzelfde. De partij die het model bouwde, deed de meting.
Hoe ik mijn training opzette en wat er eerst misging, lees je in fine-tuning van een klein AI-model.
📖 Lees ook: 400x goedkoper met Jev: wat een beslismodel per beslissing kost tegen een realistisch alternatief
Huren of zelf bouwen
Een gehuurd beslismodel is snel en vraagt geen onderhoud. Je stuurt een vraag en krijgt een keuze terug. Voor veel bedrijven is dat genoeg.
Je data gaat daarbij naar Microsoft. Het kabinet erkende op 5 oktober, in antwoorden op Kamervragen, dat de Amerikaanse CLOUD Act kan botsen met de AVG.
Ook als de data in een Europees datacenter staat.
Gaat het om klantmails met persoonsgegevens, dan hoort die vraag in je DPIA. Het antwoord kan prima zijn. Het moet wel gesteld zijn.
Het tweede punt is verandering. Microsoft bouwt volgende versies op andere modellen.
Leg dus vast welke versie je gebruikt en toets opnieuw voordat je overstapt.
Een eigen model verandert pas als jij het verandert. Dat is rust. Het betekent ook dat jij het onderhoud doet en een toetsset bijhoudt.
Dan de snelheid. Anderhalve seconde per vraag is genoeg om 's nachts duizend mails te sorteren. Voor een chat die direct moet antwoorden, is het te traag.
Wat een eigen model op een Mac mini per beslissing kost, rekende ik uit in AI lokaal draaien als beslismodel.
Wat ik een MKB-bedrijf zou aanraden
- Begin bij de beslissing, niet bij het model. Welke vraag, hoe vaak per dag en hoe snel moet het antwoord er zijn.
- Meet op je eigen voorbeelden. Verzamel 100 tot 200 gevallen met het goede antwoord. Een benchmark van de leverancier gaat niet over jouw mails.
- Kies de plek op basis van je data. Zitten er persoonsgegevens in, kijk dan eerst waar het model draait en onder welk recht.
- Laat beslissingen over mensen bij een mens. Ook Microsoft schrijft dat voor zijn eigen model voor.
Veelgestelde vragen
Waar je begint
Welke beslissingen in jouw bedrijf zich lenen voor een beslismodel, zoek ik graag met je uit. Net als de vraag of huren of zelf bouwen past. Lees op mijn pagina als AI-consultant hoe ik dat aanpak.