Factchecking van een reasoning-model met hulp van een reasoning-model
Bij AI is er altijd een risico op hallucinaties. Dit betekent dat het model feiten kan verzinnen of onnauwkeurige informatie als waarheid kan presenteren. Ook de nieuwste reasoning-modellen kunnen hallucineren. Dit geldt zelfs wanneer je een onderzoek laat uitvoeren met het DeepSeek Reasoning Model of het Deep Research-model van OpenAI.
Maar je kunt een reasoning-model ook slim gebruiken om een ander model te laten controleren, oftewel factchecking om hallucinaties op te sporen. Voordat ik dat laat zien, eerst iets meer over reasoning-modellen en hallucinaties.
Wat zijn reasoning-modellen?
AI-modellen kunnen grofweg in twee categorieën worden verdeeld: generatieve modellen en reasoning-modellen.
1. Generatieve AI
Generatieve AI is ontworpen om mensachtige tekst te genereren. Het model voorspelt het meest waarschijnlijke volgende woord op basis van patronen in de data waarmee het is getraind. Dit werkt uitstekend voor creatieve en informatieve content, maar kan ook leiden tot hallucinaties, waarbij het model goed klinkende, maar onjuiste informatie produceert.
2. Reasoning AI
Reasoning AI is ontwikkeld om logisch redeneren en kritisch denken toe te passen op bestaande informatie. Dit type model kan informatie analyseren, bronnen controleren en inconsistenties opsporen, waardoor het beter in staat is om fouten en hallucinaties te identificeren.
Reasoning model DeepSeek aan het werk
Waarom ontstaan hallucinaties?
Hallucinaties in AI ontstaan door verschillende factoren:
- Gebrek aan kennis
AI-modellen hebben niet altijd directe toegang tot real-time data of feitelijke kennis. Ze werken op basis van de trainingsdata waarmee ze zijn gevoed. - Patroonherkenning zonder begrip
AI voorspelt woorden en zinnen op basis van patronen, zonder daadwerkelijk te begrijpen wat waar of onwaar is. - Gebrek aan factchecking
Generatieve AI-modellen verifiëren hun output niet automatisch tegen betrouwbare bronnen, tenzij daar expliciet om wordt gevraagd.
Bij reasoning-modellen ligt de nadruk juist op logische evaluatie. Ze proberen feiten te toetsen aan andere bronnen en zoeken naar inconsistenties, waardoor hallucinaties verminderd kunnen worden. Maar ook reasoning-modellen kunnen nog steeds verzonnen informatie produceren. Je moet dus ook bij reasoning-modellen kritisch blijven!
Totale onzin in de tekst: verzonnen cijfers en feiten
AI-gebaseerde factchecking in de praktijk
Als je een onderzoek hebt uitgevoerd met een reasoning-model, is het slim om kritisch naar de output te kijken. Daarvoor kun je een ander reasoning-model gebruiken, zoals Grok 3. In de video zie je mijn experiment met DeepSeek en Grok 3. Eerst heb ik DeepSeek een onderzoek laten doen. Daarna heb ik de onderzoeksresultaten laten controleren met DeepSearch van het reasoning-model Grok 3.
Hiervoor heb ik de volgende prompt gebruikt:
“Kan je dit artikel over de Nederlandse WOZ aub controleren op feitelijke juistheid en aangeven of alles waar is?”
Met deze prompt analyseerde Grok 3 het artikel en gaf het een uitgebreide beoordeling op basis van feitelijke juistheid. Hierdoor werd snel duidelijk dat bepaalde informatie absoluut moest worden gecontroleerd. Het model zag niet alle onjuistheden, dus extra controle blijft nodig, maar het scheelt wel veel werk.
Handige prompts voor AI-factchecking
Wil je zelf een reasoning-model inzetten om informatie te controleren? Probeer dan een van de volgende prompts:
- Controleer dit artikel op feitelijke juistheid en geef een beoordeling per alinea.
- Vergelijk de informatie in deze tekst met betrouwbare bronnen en geef aan waar er discrepanties zijn.
- Welke delen van dit artikel kunnen feitelijke onjuistheden bevatten? Geef onderbouwde feedback.
- Geef een samenvatting van de feitelijke informatie en wijs op mogelijke hallucinaties in de tekst.
Ofwel: AI, wees ermee vertrouwd, maar vertrouw het nooit!
Lees ook:
