AI onder de motorkap: mixture of experts
Gebruik je AI, dan heb je misschien wel eens gehoord van de term mixture of experts (MoE). Het is een slimme manier om een taalmodel efficiënt op te bouwen. In deze blog vertel ik je er meer over.
In juli 2025 verscheen het AI-model Kimi K2. Dit open weight-model bevat één biljoen gewichten (de kleine getalletjes waarin het zijn kennis opslaat) maar schakelt er per stap slechts 32 miljard in. Je krijgt dus de kracht van een reusachtig model tegen de rekenkosten van een veel kleiner exemplaar. Dat komt doordat Kimi is gebouwd als een Mixture of Experts-model (MoE).
Wat betekent mixture of experts in de praktijk?
Bij een dense model, zoals Chat GPT 3.5 is altijd het volledige netwerk actief, ongeacht wat je vraagt. Dat noemen we een dense model: het activeert meteen al zijn digitale ‘hersencellen’. Bij een mixture of experts-model werkt het anders. Daar bestaat het model uit tientallen kleine deelmodellen: de “experts”. Per opdracht worden alleen de meest relevante experts geactiveerd.
Zo heeft het model Kimi K2, 384 experts en activeert het per vraag slechts 8 experts. Je kunt het vergelijken met een bedrijf met allerlei specialisten. Stel, je hebt een vraag over belasting. Dan krijg je alleen de boekhouder te spreken, niet het hele team. Dat maakt het systeem sneller en goedkoper.
Wanneer je Kimi K2 een opdracht geeft (zoals een vraag, een tekst of een analyse), bepaalt een intern routermechanisme welke 8 experts van die 384 op dat moment het meest relevant zijn. Alleen die 8 worden ingeschakeld. De andere 376 blijven op dat moment inactief. Je krijgt dus de capaciteiten van een extreem groot model, met de rekenkosten van een veel kleiner model.
Maar wat betekenen die ‘experts’ nu precies?
Het taalmodel bevat natuurlijk niet écht experts. Technisch gezien zijn het sub-netwerken die tijdens het trainen op bepaalde patronen extra gevoelig zijn geworden, bijvoorbeeld:
- omzetting tussen talen
- juridisch of zakelijk jargon
- code, tabellen, wiskundige notatie
Deze specialisaties ontstaan vanzelf; niemand labelt vooraf “dit wordt de belastingexpert”. Voor het gemak kun je ze wel zo zien: een pool van gespecialiseerde AI-profielen.
Mixture of experts is een slimme manier om grote AI-modellen werkbaar en betaalbaar te maken.
Kimi K2 is een Mixture of Experts-model (MoE)
Helpt het om in je prompt de expert te benoemen?
Heeft het zin om in je prompt te zeggen “Je bent een jurist” of “Je bent een marketeer”? Het antwoord is genuanceerd:
- Je kunt niet direct bepalen welke experts worden geactiveerd. De router beslist dat op basis van de inhoud.
- Door vakspecifieke taal te gebruiken (bijv. “analyseer dit contract op AVG-risico’s”) stuur je de router indirect, omdat het model herkent dat bepaalde kennis nodig is.
- Het benoemen van een expertrol (“je bent een fiscalist”) helpt vooral om de stijl van het antwoord te sturen, niet de onderliggende routing.
Kortom: een rol benoemen helpt vooral voor context en tone of voice, maar beïnvloedt de techniek achter de schermen niet rechtstreeks.
Mixture of experts is vooral interessant voor toepassingen waarbij je krachtig AI-gedrag wilt combineren met kostenbewust gebruik. Zeker met modellen als Kimi K2 wordt deze techniek ook praktisch toepasbaar voor kleinere bedrijven en ontwikkelaars.
Wil je weten of een MoE-model past bij jouw AI-doelstellingen? AIMonnik.nl helpt je graag met onafhankelijke uitleg en praktisch advies. Neem contact op voor meer informatie.
