Klein model, zorgvuldige pipeline

In meer dan 30 versies en 16 blinde beoordelingsronden steeg het kleine model van 0,647 naar 0,846 op een gewogen gouden checklist (0,879 wanneer een verifier zonder referentie de beste van drie uitvoeringen selecteert). De frontierreferentie scoorde 0,782. Bij blinde beoordeling door een LLM-supervisor waren de twee bij deze steekproefomvang niet van elkaar te onderscheiden: het gemiddelde gepaarde verschil was +0,05 (SD 0,49). Dezelfde, ongewijzigde referentiesamenvatting kreeg van die supervisor in 13 ronden scores tussen 3,50 en 4,03. De ruis van de beoordelaar bleek daarmee op zichzelf ook een bevinding.

Inhoud

We gebruikten zo'n taak als testomgeving: een gestructureerde samenvatting die een CGT-therapeut in ongeveer drie minuten vóór een sessie kan lezen. De samenvatting bevat kernopvattingen met sessieaantallen, regels, terugkerende vertekeningen, typische ABC-episodes, getoetste voorspellingen, de vorige sessie en punten die de therapeut tijdens de sessie van vandaag mogelijk wil bespreken. Tegen sessie 20 omvat het materiaal ongeveer 130.000 woorden.

Deze taak leent zich voor een methodologische vraag omdat ze een bekende structuur heeft (het cognitieve model van Beck), een natuurlijke vorm van verifieerbaar bewijs (de letterlijke woorden van de patiënt) en verschillende valkuilen: een opvatting die aanvankelijk door de therapeut is verwoord, of een metafoor die geen uitspraak over de dood is.

Twee synthetische patiënten

Beide patiënten zijn gegenereerd met onze gelaagde methode voor synthetische patiënten (eerst een profielblad, therapeutisch verloop, sessieplan en stemgids; daarna sessies die één voor één zijn gegenereerd als ASR-achtige transcripties). Anita: 20 sessies, 131.498 woorden, CGT in de stijl van J. Beck. Markus: 12 sessies, 83.978 woorden, met een therapeut die deels met schematherapie werkt, waardoor de samenvatting het materiaal terug moet vertalen naar CGT-termen. Voor elke patiënt is onafhankelijk een gouden referentie opgesteld op basis van een volledige lezing van de transcripties. Er zijn geen gegevens van echte patiënten gebruikt.

De beste van drie, zonder het antwoord te zien

Verschillen tussen uitvoeringen binnen één versie waren vaak groter dan verschillen tussen versies. Daarom draait de pipeline op samenvattingsniveau drie keer en selecteert een verifier één uitvoering: die neemt de 20 meest saillante zinnen van de patiënt en vraagt de classifier of elk daarvan in de samenvatting is terug te vinden. De verifier ziet nooit de gouden referentie of de checklist.

• Twee maatstaven. Een gouden checklist met 25 gewogen uitspraken per ijkpunt, beoordeeld door de classifier, en een blinde beoordeling door een LLM-supervisor uit een andere modelfamilie, die zeven criteria scoort op een schaal van 1–5.
• Een vast anker. De supervisor ziet ook altijd één ongewijzigde frontierreferentie, voorzien van een willekeurige letter, zodat de eigen drift van de beoordelaar in elke ronde wordt gemeten.
• Één wijziging tegelijk. Fouten die in alle drie uitvoeringen voorkomen en de bezwaren van de supervisor sturen één gerichte wijziging per ronde, op basis van een literatuurzoektocht.
• Een vaste stopregel. Twee opeenvolgende ronden zonder verbetering beëindigen de cyclus. Die stopte bij v28.
• Een vast kostenplafond. Binnen de pipeline mag geen model worden gebruikt dat duurder is dan het kleine model of de classifier.

Inhoudsdekking: de gouden checklist

Het kleine model begon ruim onder de referentie (0,647 versus 0,782), haalde die in bij v25 en bereikte 0,846 bij v28. Alle drie uitvoeringen van v28 (0,818, 0,842, 0,879) liggen boven de referentie. Twee latere versies verbeterden niet ten opzichte van v28 en de cyclus stopte.

	Anita, vóór S13	Anita, vóór S20	Markus, vóór S12
v28, gemiddelde van 3 uitvoeringen	0,963	0,800	0,776
v28, beste van 3 (verifier)	0,963	0,836	0,836
GPT-5.5-referentie (1 uitvoering)	0,963	0,655	0,727

Gemiddelden over ijkpunten: v28 0,846 · beste van 3 0,879 · referentie 0,782.

Blinde beoordeling: binnen de ruis van de beoordelaar

In de laatste ronden scoorden de beste versie van het kleine model en de referentie 3,77 versus 3,87 (R28) en 3,77 versus 3,57 (R29). Over zes paren uit dezelfde ronde waren de verschillen −0,4, +0,2, −0,1, −0,5, +0,9, +0,2: gemiddelde +0,05, SD 0,49. Geen van beide systemen haalde het beoogde gemiddelde van 4,0 van de supervisor. Per criterium lag v28 hoger voor het verloop van sessies en kalibratie, lager voor nauwkeurigheid (overeenstemming met de gouden referentie) en citaten, en gelijk voor CGT-niveaus.

Kosten

Een samenvatting met v28 kost ongeveer USD 0,03 voor het schrijven van de secties en neemt 2,5–3 minuten in beslag; een samenvatting met selectie van de beste van 3 kost ongeveer USD 0,11. Het verwerken van een nieuwe sessie kost ongeveer USD 0,07 extra, grotendeels voor de classifier die elke zin doorloopt. Tegen catalogusprijzen kost de frontierreferentie ongeveer 19 keer zoveel als één samenvatting met v28. Voor het hele project is USD 5,57 aan tokens van het kleine model gebruikt.

Wat hielp en wat niet

Drie zaken hielpen: fouten herstellen in deterministische code die door de supervisor waren gevonden, een hoge instelling voor redeneerinspanning voor de schrijvers van de secties (de hoogste instelling kostte meer en scoorde lager), en de voorgestelde agenda, de voorspellingstabel en de meest recente risicogerelateerde uitspraak naar code verplaatsen. Verschillende aannemelijke toevoegingen pakten ongunstig uit: drie concepten samenvoegen, een door code opgelegde tijdlijn van opvattingen, saillantieaanwijzingen met een herstelstap voor de dekking en zelfrevisie op basis van een beoordelingsrubriek. Elk daarvan voegde een generatiestap toe waarin een klein model informatie kan verliezen of vervormen. Elke wijziging die werk bij het model weghaalde, of uitvoer selecteerde zonder die te herschrijven, was veilig.

De selectie door de verifier verbeterde de checklistscore voor zeven van de acht versies; voor v28 van 0,846 naar 0,879, dicht bij het orakel (0,885). Omdat de verifier en de beoordelaar van de checklist dezelfde classifier zijn, kan een deel van deze winst de gedeelde voorkeuren weerspiegelen.

Wat moeilijk bleef

Het aantal aanhoudende fouten daalde tussen v22 en v28 van 25 naar 15 van de 164 gewichtseenheden. Wat overblijft zijn de subtielste oordelen binnen het cognitieve model: de toestand van een opvatting nadat die opnieuw is geactiveerd, bereiken van opvattingen die ophouden vóór het meest recente materiaal en beperkingen op de reikwijdte. Uitspraken over risico vormden het moeilijkste onderdeel: zowel het missen van een recente uitspraak als het omzetten van een metafoor, een oefening of een emotionele beoordeling in een signaal werd bestraft. Het beste ontwerp behield alleen de meest recente letterlijke uitspraak en de sessie waarin de therapeut er voor het laatst rechtstreeks naar had gevraagd, en liet elke interpretatie aan de therapeut over.

In 13 ronden kreeg de identieke referentiesamenvatting een gemiddelde rondescore van 3,71 met SD 0,18 en een bereik van 3,50–4,03 op een schaal van 1–5. Voor afzonderlijke criteria liep de SD op tot 0,46, ook voor citaten die scriptmatig waren geverifieerd en elke keer identiek waren. Die ruis is ongeveer even groot als de volledige verbetering die de cyclus op dezelfde schaal opleverde.

• Alleen synthetische gegevens. Twee synthetische patiënten, drie ijkpunten, drie uitvoeringen per versie. Alleen beschrijvende statistieken, geen significantietoetsen. Overdraagbaarheid naar andere taken en naar echt materiaal wordt beargumenteerd, niet aangetoond.
• Uitsluitend modelevaluatie. Er namen bewust geen clinici of andere menselijke beoordelaars deel. Scores beschrijven de overeenstemming met een gouden checklist en het oordeel van een LLM-supervisor, niet de klinische kwaliteit, veiligheid of enig effect op therapie.
• Afgesteld op de evaluatieset. Alle versies zijn ontwikkeld aan de hand van dezelfde ijkpunten en beoordelaars, waardoor de eindscores optimistisch zijn. Een achtergehouden patiënt zou de juiste test zijn.
• Niet te onderscheiden betekent niet beter. Bij blinde beoordeling waren het kleine model en de frontierreferentie bij deze steekproefomvang niet van elkaar te onderscheiden; de verschillen vallen binnen de eigen ruis van de beoordelaar.
• Gedeelde classifier. De beoordelaar van de checklist, de zinscanner en de verifier zijn hetzelfde model.
• Een bescheiden referentie. De frontierreferentie is één eerdere, niet-geoptimaliseerde run van de pipeline met GPT-5.5, niet een frontierpipeline die met dezelfde cyclus is geoptimaliseerd.

Inhoud van de ZIP

• paper/: het artikel als PDF
• figures/: negen figuren plus de onderliggende cijfers
• scores/gold_checklists.json: 3 × 25 gewogen uitspraken
• scores/checklist_results.json: kansen per item voor 198 beoordeelde samenvattingen
• scores/blind_review_R28.json, R29: zeven criteria, oordelen en bezwaren, met lettercodes
• example-briefs/: drie definitieve v28-samenvattingen (in het Pools, net als de transcripties)

Niet inbegrepen: synthetische transcripties, prompts en code. Deze zijn op verzoek bij de auteurs verkrijgbaar voor onderzoeksgebruik.

Citeren

@misc{glowacki2026smallmodel,
  title  = {Small Model, Careful Pipeline: An Autoresearch Method for Closing the Gap to Frontier LLMs on Long, Multi-Document Summarisation},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and G{\l}owacki, Bohdan and Cylwik, Ewa},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support},
  url    = {https://aitherapy.support/research/small-model-careful-pipeline/}
}