Onderzoekers van Dharma AI beschrijven VocabX, een aanpak om de woordenschat van een klein taalmodel af te stemmen op één domein. In een productiegrader voor Portugese essays rapporteren zij een gemeten daling van de inferentiekosten met 77%, zonder het basismodel te wijzigen.
De winst komt volgens de auteurs niet alleen door minder tokens. VocabX combineert domeinspecifieke subwoordsegmentatie met macro’s en verkleint daarmee ook de uitvoerlaag: in hun grader ging die van ongeveer 152.000 naar circa 65.000 rijen. Dat is een leveranciersclaim uit een artikel over een paper die nog in beoordeling is; de genoemde cijfers kunnen vóór publicatie veranderen.
De relevantie voor kleine modellen zit vooral in generatie. Volgens de bron is een gegenereerde token in de gemeten grader 7,4 keer duurder dan een gelezen token, al varieert die verhouding met hardware, batchgrootte en contextlengte.