Kern: Microsoft en Hugging Face beschrijven hoe ThinkingBox uitvoerbare controles van de uiteindelijke databasetoestand als beloning worden gebruikt bij het nab trainen van agents. In hun experiment met Qwen3.8-27B steeg de gemiddelde succeskans, terwijl vooral de herhaalbaarheid toenam.
Feitenmatrix
| Claim | Wat staat er in de primaire bron? | Nuance |
|---|---|---|
| Wat is ThinkingBox? | Een benchmark met 507 taken waarin een agent aan een echte backend werkt; daarna wordt gecontroleerd wat er werkelijk in de database veranderde. | De bron beschrijft uitvoerbare terminal-state-checks, niet alleen toolgebruik. |
| Wat veranderde na training? | Na 50 GRPO-stappen steeg Qwen3.8-27B van 51,70% naar 60,78% pass@1 en van 38 naar 107 taken die in alle twintig geregistreerde pogingen slaagden. | Dit zijn de gerapporteerde resultaten van het beschreven experiment. |
| Was er ook een nadeel? | Pass@20 daalde van 453 (89,35%) naar 446 (87,97%): de minstens-één-keer-dekking werd iets kleiner. | De bron vat het patroon samen als meer herhaalbaarheid, niet als bredere dekking. |
| Hoe moet de kostenclaim worden gelezen? | De bron noemt een geschatte campagnekost van 925,80 naar 855,58 dollar en 8,00 dollar per dependable task na fine-tuning. | Dezelfde bron zegt dat dit een vergelijkingsindex voor serving is, geen factuur of cloudrekening. |
Meer herhaalbaarheid, iets minder dekking
ThinkingBox beoordeelt niet primair welke toolaanroepen een agent deed, maar of de backend aan het einde in de verwachte toestand verkeert. Dat maakt een uitvoerbare controle van de eindtoestand bruikbaar als beloningssignaal voor trainingstaken.
Voor het experiment selecteerden de auteurs een vaste trainingspool met zogenoemde offline policy-relative difficulty: taken werden één keer beoordeeld vanuit het basismodel en daarna niet opnieuw geselecteerd tijdens de training. Qwen3.8-27B werd 50 GRPO-stappen gefinetuned.
De belangrijkste verschuiving zat in de herhaalbaarheid. Het aandeel taken dat in alle twintig pogingen slaagde, ging van 38 naar 107. Tegelijk steeg pass@1 van 51,70% naar 60,78%, maar daalde pass@20 licht van 453 naar 446 taken. De bron beschrijft het resultaat daarom als scherper en consistenter, niet simpelweg als breder.
Wat deze cijfers niet bewijzen
De testset bestond volgens de bron uit 507 taken en was bedoeld als out-of-distribution-evaluatie: domeinen, databases en de meeste MCP-tools waren niet in de RL-training gebruikt. Dat ondersteunt de beschreven evaluatieopzet, maar maakt de resultaten niet automatisch representatief voor iedere productieomgeving.
Ook de kostenvergelijking moet beperkt worden gelezen. De bedragen zijn volgens de bron een geschatte serving-index en geen factuur of cloudrekening; trainings- en policy-probe-kosten voor het samenstellen van de dataset zijn uitgesloten.
Bron
Microsoft en Hugging Face: “Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox”. Oorspronkelijk gepubliceerd op 22 oktober 2026.