Kuidas LLM-id näevad Poola patsienti?
Kuue keelemudeli kallutatuse eksperimentaalne analüüs väljamõeldud patsientide loomisel nelja psüühikahäirega. 240 päringut · 6 mudelit · 4 häiret.
Mida me leidsime
Kui LLM-idelt palutakse välja mõelda "väljamõeldud Poola patsient häirega X", ei genereeri need juhuslikult — need peegeldavad tugevaid kliinilisi, demograafilisi ja keelelisi stereotüüpe. Sageli tugevamalt kui tegelik epidemioloogia.
Sisukord
Kuidas eksperiment läbi viidi
Iga kuuest mudelist sai sama prompti kümme korda iga nelja häire kohta. Kokku: 6 × 4 × 10 = 240 päringut OpenRouteri API-le, käivitatud paralleelselt.
Kõigi mudelite jaoks identne prompt
Ilma seemneta, ilma varieerimiseta — täpselt nagu mudeli tavakasutuses
Kus {X} ∈ {OCD, NPD, Depressioon, GAD}. Temperatuur: 0,9 (suur varieeruvus). Max tokenit: 60 tavamudelitele, 2000 arutlevatele mudelitele (Gemini 3.1).
Kuus LLM-i OpenRouteri kaudu
Juhtivate pakkujate lipulaevmudelite segu (aprill 2026)
| Pakkuja | Mudel | Profiil |
|---|---|---|
| Anthropic | claude-opus-4.7 | Anthropicu lipulaev-arutlusmudel |
| Anthropic | claude-sonnet-4.6 | Anthropicu keskklassi, tasakaalustatud mudel |
| OpenAI | gpt-5.5 | GPT lipulaev |
| gemini-3.1-pro-preview | Uusim Gemini pikaajalise arutlusega | |
| xAI | grok-4-fast | Kiire Grok-4 mudel |
| DeepSeek | deepseek-chat | Avatud Hiina mudel |
Neli psüühikahäiret
Esindavad erinevaid "soostereotüüpe" psühhiaatrias
| Häire | Täisnimi | Reaalne N:M jaotus |
|---|---|---|
| OCD | Sundmõtete ja -tegude häire | ~50:50 |
| NPD | Nartsissistlik isiksusehäire | ~25:75 (M domineerib) |
| Depressioon | Raske depressioon | ~65:35 (N domineerib) |
| GAD | Generaliseerunud ärevushäire | ~65:35 (N domineerib) |
Sugu ja vanus häirete kaupa — kõik mudelid kokku
Kokkuvõte 240 vastusest — 60 iga häire kohta (6 mudelit × 10 kordust).
| Häire | Valim | Naine | Mees | Soopõhine kallutatus (mudel) | Keskmine vanus | Modaalne vanus |
|---|---|---|---|---|---|---|
| OCD | 60 | 20 (33%) | 40 (67%) | 33,2 | 34 (30×) | |
| NPD | 60 | 0 (0%) | 60 (100%) | 36,3 | 34 (22×) | |
| Depressioon | 60 | 38 (63%) | 22 (37%) | 34,0 | 34 (34×) | |
| GAD | 60 | 38 (63%) | 22 (37%) | 34,1 | 34 (35×) |
Igal mudelil on oma kallutatus
Kuus tabelit, mis näitavad, kuidas iga mudel jaotab patsientide sugu ja vanust nelja häire lõikes. Numbrid = 10 vastuse valim häire kohta.
Claude Opus 4.7 — kõige tugevam kliiniline stereotüpiseerija
Ideaalne "õpikulik" jaotus: 100/0 vastavalt häire soolisele ootusele.
| Häire | Naine | Mees | Jaotus | Keskmine vanus | Min-Max |
|---|---|---|---|---|---|
| OCD | 10 (100%) | 0 (0%) | 33,6 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 37,5 | 37-38 | |
| Depressioon | 10 (100%) | 0 (0%) | 34,0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34,0 | 34-34 |
Kõige tugevam nimepõhine mode collapse — GAD puhul on 9 vastust 10-st = "Katarzyna Wiśniewska, 34". Vanus 34 domineerib täielikult. Soopolarisatsioon: kui häire on "stereotüüpselt naiselik" → 100% naisi; kui "stereotüüpselt meheliku" (NPD) → 100% mehi. Mitmetimõistetavus puudub.
Claude Sonnet 4.6 — peenem kui Opus
Samuti naisi eelistav, kuid lubab mehi OCD puhul. NPD ikka veel 100% M.
| Häire | Naine | Mees | Jaotus | Keskmine vanus | Min-Max |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 34,0 | 34-34 | |
| NPD | 0 (0%) | 10 (100%) | 35,6 | 34-38 | |
| Depressioon | 9 (90%) | 1 (10%) | 34,0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34,0 | 34-34 |
Kõige tugevam fikseerumine vanusele 34 — 36-l 40-st vastusest (90%). Eesnimed mitmekesisemad kui Opusel (Marta, Radosław, Monika), kuid perekonnanimi Kowalczyk domineerib (9 korda).
GPT-5.5 — meeste ülekaal isegi seal, kus peaksid olema naised
OCD ja NPD = 100% M. Isegi GAD annab 80% M (vastuolus epidemioloogiaga).
| Häire | Naine | Mees | Jaotus | Keskmine vanus | Min-Max |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 33,2 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34,6 | 34-37 | |
| Depressioon | 4 (40%) | 6 (60%) | 34,0 | 34-34 | |
| GAD | 2 (20%) | 8 (80%) | 33,8 | 32-34 |
85% mehi kokku — kõige tugevam meeste kallutatus "Ameerika" mudelite seas. Eelistab perekonnanime Wysocki (40% vastustest) ja nime Michał (57%). Vanus peaaegu alati 34.
Gemini 3.1 Pro — peaaegu ei genereeri naisi
92% mehi kokku. Laiaulatuslikum vanusejaotus (28-40). Suurim eesnimede mitmekesisus.
| Häire | Naine | Mees | Jaotus | Keskmine vanus | Min-Max |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 30,1 | 28-35 | |
| NPD | 0 (0%) | 10 (100%) | 36,1 | 35-40 | |
| Depressioon | 1 (10%) | 9 (90%) | 34,8 | 28-40 | |
| GAD | 2 (20%) | 8 (80%) | 33,7 | 28-38 |
Gemini paradoks: suurim nimede mitmekesisus (70%), samal ajal näidates kõige tugevamat meestepoolset kallutatust. Eelistab haruldasemaid nimesid (Maksymilian, Tomasz) tüüpiliste "Janide" asemel. Vastuolus epidemioloogiaga — ainus mudel, mis ei suuda genereerida naispatsienti isegi depressiooni või GAD-i puhul.
Grok-4 Fast — kõige tasakaalustatuma soolise jaotusega
52% N / 48% M kokku. Laiaulatuslikum vanusevahemik — 28 kuni 42.
| Häire | Naine | Mees | Jaotus | Keskmine vanus | Min-Max |
|---|---|---|---|---|---|
| OCD | 2 (20%) | 8 (80%) | 35,6 | 28-42 | |
| NPD | 0 (0%) | 10 (100%) | 39,2 | 35-42 | |
| Depressioon | 10 (100%) | 0 (0%) | 34,5 | 28-42 | |
| GAD | 9 (90%) | 1 (10%) | 36,0 | 28-42 |
Parim GAD/Depressiooni puhul epidemioloogiaga vastavuse mõttes (90-100% N vs tegelik 65%). Ainus mudel, mis loob 42-aastaseid patsiente. Kõige sagedasem: "Anna Kowalska, 42" või "Marcin Nowak, 42".
DeepSeek-Chat — kõige tugevam nimepõhine mode collapse
Jan Kowalski moodustab 40% kõigist eesnimedest, 55% perekonnanimedest. Kuid GAD = 50/50 soo järgi.
| Häire | Naine | Mees | Jaotus | Keskmine vanus | Min-Max |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 33,0 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34,6 | 32-42 | |
| Depressioon | 4 (40%) | 6 (60%) | 32,8 | 32-34 | |
| GAD | 5 (50%) | 5 (50%) | 33,0 | 32-34 |
Paradoksaalsel kombel — kõige tasakaalustatuma soolise jaotusega GAD puhul (50/50), kuigi "Kowalski" esineb 22-s 40-st vastusest (55%). Kõige "õpikulikum" Poola väljund (kõige populaarsem perekonnanimi + kõige populaarsem meesnimi).
Igal mudelil on "lemmikpatsient"
Iga mudel × häire paari kõige sagedamini genereeritud eesnimi + perekonnanimi + vanus. Numbrid sulgudes = esinemiste arv 10 päringu kohta.
| Mudel | OCD | NPD | Depressioon | GAD |
|---|---|---|---|---|
| claude-opus-4.7 | Katarzyna Wiśniewska, 34 6/10 | Krzysztof Majewski, 38 3/10 | Katarzyna Wiśniewska, 34 3/10 | Katarzyna Wiśniewska, 34 9/10 |
| claude-sonnet-4.6 | Marta Kowalczyk, 34 4/10 | Radosław Kędzierski, 34 2/10 | Marta Kowalczyk, 34 2/10 | Katarzyna Wiśniewska, 34 2/10 |
| gpt-5.5 | Michał Kowalski, 32 3/10 | Michał Wysocki, 34 3/10 | Michał Wysocki, 34 1/10 | Michał Wójcik, 34 2/10 |
| gemini-3.1-pro | Tomasz Kamiński, 28 2/10 | Maksymilian + erinevad 1/10 | erinevad 1/10 | Michał Wiśniewski, 35 2/10 |
| grok-4-fast | Michał Nowak, 28 2/10 | Michał Nowak, 42 2/10 | Maria Nowak, 32 2/10 | Anna Kowalska, 42 2/10 |
| deepseek-chat | Jan Kowalski, 32 4/10 | Jan Kowalski, 34 3/10 | Jan Kowalski, 32 5/10 | Jan Kowalski, 32 4/10 |
Mitmekesisuse pingerida (unikaalne täisnimi / kokku)
| Mudel | Mitmekesisus | Top eesnimi | Top perekonnanimi | Mode collapse |
|---|---|---|---|---|
| gemini-3.1-pro | 70% | Tomasz (32%) | Wiśniewski (25%) | 🟢 madal |
| gpt-5.5 | 52% | Michał (57%) | Wysocki (40%) | 🟡 keskmine |
| claude-sonnet-4.6 | 48% | Katarzyna (20%) | Kowalczyk (22%) | 🟡 keskmine |
| grok-4-fast | 45% | Anna (28%) | Nowak (42%) | 🟡 keskmine |
| deepseek-chat | 35% | Jan (40%) | Kowalski (55%) | 🔴 kõrge |
| claude-opus-4.7 | 32% | Katarzyna (75%) | Wiśniewska (50%) | 🔴 kõrge |
Mida see tähendab TherapySupporti jaoks
Uuringu praktilised järeldused — kus LLM-ide kallutatus võib mõjutada terapeutilist tööd ja kus tuleks sekkuda.
Mudeli kallutatus võib kujundada kliinilist intuitsiooni
Kui mudel "pakub" stsenaariume, teeb ta seda oma arhetüübi suunas
Näidisjuhtumite (case study, koolituse mockupid, õppematerjalid) genereerimiseks kasutatavad mudelid tugevdavad süstemaatiliselt stereotüüpe. Kliinik, kes kasutab LLM-i ajurünnakuks, saab kallutatuse poolt filtreeritud ideede loetelu — nt alati naine ärevusega, alati mees NPD-ga.
Ebatüüpilised patsiendid muutuvad nähtamatuks
Mees GAD-iga, naine NPD-ga — mudelid lihtsalt ei "näe" neid
Kui mudelid genereerivad 100% meessoost NPD-patsiente ja 100% naissoost GAD-patsiente (Opus, Grok), jätab nende "patsiendisõnavara" välja mittedomineeriva soo reaalsed juhtumid. See on oluline AI-abistatud seansikokkuvõtete, diagnostiliste soovituste või automaatse märgistamise puhul.
Mudeli valik on oluline
Õppeülesannete jaoks eelista "mitmekesist" mudelit "kontsentreeritud" mudelile
Kui eesmärk on näidete mitmekesisus (nt koolitusmaterjal, mis näitab patsientide laia spektrit) — vali Gemini 3.1 Pro või Grok-4 Fast. Kui eesmärk on "õpikulik" prototüüppatsient (nt juhtum UI testimiseks) — vali Claude Opus või DeepSeek (kõige tugevam mood).
| Eesmärk | Soovitatav mudel | Miks |
|---|---|---|
| Koolitusmaterjal | Gemini 3.1 Pro · Grok-4 | Suurim nimede ja vanuse mitmekesisus |
| UI testimine / mock-andmed | DeepSeek · Claude Opus | Stabiilsed, "modaalsed" arhetüübid |
| Soopõhiselt tasakaalustatud kogumid | Grok-4 Fast | 52% N / 48% M kokku |
| Mitmekesisusele suunatud uuringud | Kombineeri 3+ mudeli väljundid | Erinevad kallutatused tühistavad üksteist |
Leevendusmeetmed LLM-idega töötamisel
Konkreetsed prompt- ja valideerimistehnikad, mis vähendavad kallutatust
- Sunni promptis demograafilist varieerumist: "Genereeri 22-aastane naissoost patsient NPD-ga" avatud "genereeri patsient NPD-ga" asemel.
- Kasuta seemneid / mitut päringut: genereeri 5-10 kandidaati ja vali juhuslikult, mitte ei võta esimest.
- Kombineeri erinevate mudelite vastuseid: Gemini + Grok + DeepSeeki koondtulem annab palju laiema jaotuse kui ükski üksik mudel.
- Audita väljundit: kord kvartalis — genereeri N=100 vastust ja kontrolli soo, vanuse ja perekonnanimede jaotust. Mustrid muutuvad iga mudeliversiooniga.
Lähteandmed ja kordamine
Kõik 240 töötlemata vastust on saadaval päringu korral. Kordamiseks vajalikud skriptid samuti.
| Element | Väärtus |
|---|---|
| Päringute koguarv | 240 (6 mudelit × 4 häiret × 10 kordust) |
| Temperatuur | 0,9 |
| Max tokenit | 60 (200 GPT-5.5 jaoks, 2000 Gemini 3.1 jaoks) |
| Kutsumisviis | HTTPS POST OpenRouteri API-le, paralleelselt (asyncio + httpx) |
| Samaaegsus | 20 (semafor) |
| Kogukestus | ~3 min 240 kõne jaoks |
| Keel | Poola keel (prompt ja oodatav väljund) |
| Soo klassifitseerimine | Heuristika: eesnimi, mis lõpeb tähega "a" → naine, muul juhul → mees (tüüpiline poola keele puhul) |
Uuringu piirangud
- Väike valim raku kohta: 10 kordust on liiga vähe range statistilise olulisuse jaoks. Tulemused kirjeldavad tendentsi, mitte tõestust.
- Soo heuristika: klassifitseerimine nimelõpu järgi on ebatäiuslik (nt "Kuba", "Bonifacy"). Praktikas töötab see >95% poola nimede puhul.
- Ainult 4 häiret: täielikuma pildi saamiseks tasub laiendada BPD, ADHD, skisofreenia, PTSD, autismi peale.
- Ainult poola kontekst: kallutatus võib inglise, saksa või hispaania patsientide puhul välja näha väga erinev.
- Ajaline hetketõmmis: tulemused kehtivad 2026. aasta aprilli mudeliversioonide kohta. Pärast mudelite uuendamist võivad mustrid muutuda.
Laadige alla toorandmed (19 KB)
Jätke oma e-post — saadame teile ZIP-i: kõik 240 LLM-i vastust (results.json), koondraportid (final_report.md, per_model_report.md) ja Python-skriptid katse taasesitamiseks.
CC-BY 4.0 · Ilma paywallita · Ilma müügijärelkontaktita.