"90 procent goedkoper." Dat stond op 7 oktober boven veel berichten over Claude Haiku 5.5, het nieuwe kleine model van Anthropic.
Het klopt, op de prijslijst. Ik rekende het door op mijn eigen meting van 9 oktober. De korting is groot, alleen niet overal 90 procent. En van alles wat het model terugschreef, was ruim 80 procent denkwerk.
Wat Claude Haiku 5.5 is
Haiku is het kleinste en goedkoopste model van Anthropic. Je gebruikt het voor werk dat vaak gebeurt en weinig denkkracht vraagt: berichten sorteren, korte samenvattingen, een antwoord in een vaste vorm.
De nieuwe versie kost 0,10 dollar per miljoen tokens invoer en 0,50 dollar per miljoen tokens uitvoer. Een token is een stukje tekst van een paar letters. De vorige versie kostte 1 en 5 dollar. Op de prijslijst is dat precies 90 procent korting.
Er staan drie dingen bij in de kleine lettertjes. Alle drie verschuiven ze de rekensom.
De drempel van 100.000 tokens
De lage prijs geldt alleen als je vraag korter is dan 100.000 tokens. Dat is grofweg een boek van 200 pagina's.
Daarboven betaal je vijf keer zoveel: 0,50 dollar invoer en 2,50 dollar uitvoer. Anthropic telt per vraag en alles wat je meestuurt telt mee. Ook de stukken die uit het geheugen van de vorige vraag komen.
Voor een losse mail of een kort document maakt dat niets uit. In mijn test was de langste vraag 3.607 tokens.
Het wordt anders bij werk met veel context. Mijn eigen code-reviewers krijgen wijzigingen tot 800.000 tekens te lezen. Dat is ruim meer dan 100.000 tokens. Bij zulke grote wijzigingen zou Haiku 5.5 boven de drempel zitten. Dan halveert de prijs per token ten opzichte van Haiku 4.5. Dat is 50 procent korting in plaats van 90. Zo'n vraag paste overigens niet eens in Haiku 4.5: dat model stopt bij 200.000 tokens.
De nieuwe teller
Haiku 5.5 telt tekst anders dan zijn voorganger. Anthropic schrijft zelf dat het model daardoor "slightly more tokens per task" gebruikt.
Simon Willison, een developer die nieuwe modellen nauwkeurig bijhoudt, mat op een lange tekst ongeveer 25 procent meer tokens. Hij noemt het een verborgen prijsverhoging.
Dezelfde brief kost dus meer tokens dan vroeger. De prijs per token daalde. Het aantal tokens steeg: Anthropic's eigen documentatie noemt ongeveer 30 procent.
Het denkwerk dat standaard aan staat
Dit is het deel dat de kop niet laat zien.
Haiku 5.5 denkt standaard eerst na voordat het antwoordt. Uitzetten kan. Dat moet je wel zelf instellen. En je betaalt het denkwerk als uitvoer.
Ik liet het model op 9 oktober 450 Nederlandse testteksten indelen: klachtmails, zoekopdrachten en fragmenten uit verkoopgesprekken. Per tekst drie of vier vragen, op de laagste effort-stand, met het denkwerk aan zoals het standaard staat.
Het antwoord zelf was gemiddeld 41 tokens lang: de categorie, de score en het ja of nee. Het denkwerk ervoor was gemiddeld 176 tokens. Van alle uitvoer die ik betaalde, was 81 procent denkwerk. Bij 33 van de 450 teksten sloeg het model het denken over.
De volledige test kostte 0,10 dollar. Daarvan ging 4 cent naar denkwerk waarvan ik hooguit een samenvatting zie.
Mijn rekensom
Dezelfde tokens tegen de prijzen van Haiku 4.5 zouden 1,01 dollar kosten. Tegen die vergelijking klopt de 90 procent precies.
Maar die vergelijking is te gunstig. Haiku 4.5 hoefde niet na te denken: het kon direct de 41 tokens antwoord geven. En het telde dezelfde tekst als minder tokens.
Ik reken daarom ook met alleen het antwoord als uitvoer. Dan komt dezelfde test op Haiku 4.5 op ongeveer 0,62 dollar en is Haiku 5.5 ongeveer 84 procent goedkoper. Daarbij neem ik aan dat het aantal invoertokens gelijk blijft. Met de oude teller lag dat aantal lager. Dan zakt het verschil richting 80 procent.
Andersom kan ook. Ik zette het denkwerk daarna uit en liet dezelfde 450 teksten opnieuw indelen. De rekening zakte van 10 naar 6 cent. Dan zit je weer op 87 tot 90 procent korting. Elk antwoord kwam ook drie keer zo snel terug.
Alleen zat het model er toen vaker naast: 26 keer op 600 keuzevragen, tegen 15 keer met denkwerk. Die extra meting heb ik pas na de eerste uitslag toegevoegd. Zie het als een sterke aanwijzing, niet als bewijs.
Anthropic schat zelf dat Haiku 5.5 gemiddeld ongeveer 75 procent goedkoper uitvalt dan 4.5. Dat ligt dichter bij mijn uitkomst dan bij de kop.
Het blijft een flinke daling. Alleen is hij gemeten tegen het vorige model van Anthropic. Dat is de vraag die ik bij elke korting stel: goedkoper dan wat?
Goedkoper dan wat er al draaide?
Twee weken geleden testte ik dezelfde 450 teksten met Jev, een model dat alleen beslissingen geeft en geen tekst schrijft. Ik schreef toen over de 400 keer goedkoper van Jev en kwam uit op een besparing van 147 dollar per jaar.
Op dezelfde test kostte Jev 2 cent. Haiku 5.5 kostte 10 cent. Tegen een beslismodel is Haiku dus vijf keer zo duur. Met het denkwerk uit is het drie keer.
Het maakte wel minder fouten. Op 600 keuzevragen zat Haiku er 15 keer naast, Jev 41 keer. Op de moeilijkste vragen was het verschil niet aantoonbaar. En de testteksten zijn door een Claude-model geschreven, wat Haiku kan bevoordelen. Het volledige verslag staat in het Engels in Jev vs OpenAI's Decisions API vs Claude Haiku 5.5.
Kosten en kwaliteit wijzen hier dus twee kanten op. Welke zwaarder weegt, hangt af van wat een fout je kost.
Drie vragen voordat je overstapt
- Hoe lang zijn jouw vragen? Onder de 100.000 tokens geldt de lage prijs. Stuur je hele dossiers of lange code mee? Reken dan met vijf keer zoveel.
- Hoeveel schrijft het model terug? Bij korte antwoorden is het denkwerk het grootste deel van je rekening. Meet het op tien echte voorbeelden, met het denkwerk aan en uit, voordat je een begroting maakt.
- Wat kost een fout? Bij een goedkope en zichtbare fout wint een beslismodel op prijs. Bij een dure fout kan het meer waard zijn om iets meer per keer te betalen.
Een Claude Max- of Team-abonnement geeft sinds 7 oktober ook maandelijks API-tegoed. Haiku 5.5 valt daaronder. Wat dat tegoed wel en niet dekt, lees je in mijn uitleg in het Engels.
Wil je weten wat AI in jouw processen echt kost voordat je iets inbouwt? Zo pak ik dat aan bij bedrijven die AI inzetten.