Pareizais virziens, pārspīlēts apmērs
54 modeļu un četru valodu audits par dzimumu cilvēkos, ko valodu modeļi izdomā desmit psihisku traucējumu gadījumā. 118 800 atbilžu — visas publiski pieejamas.
Atsauces attiecība 7:3 rezultātā kļūst par 99:1
Valodu modeļi tagad raksta klīniskas vinjetes, izspēlē pacientu lomas un veido mācību gadījumus. Katram izdomātajam cilvēkam ir dzimums, ko autors nekad nav izvēlējies. Mēs noteicām, kādu dzimumu modeļi izvēlas desmit psihisku traucējumu gadījumā un cik lielā mērā tas atšķiras no epidemioloģiskajiem datiem.
Modeļi labi atveido zināmo dzimumu atšķirību virzienu (mediānā rangu korelācija ar atsauces attiecībām ir 0,79), bet pārspīlē to apmēru. Robežstāvokļa personības traucējumi 99% gadījumu tiek atveidoti kā sievietei (atsaucē — aptuveni 70%), antisociāli personības traucējumi — 95% gadījumu kā vīrietim (aptuveni 75%). Pat neitrālā uzvednē par cilvēku, kurš sāk psihoterapiju, sieviešu īpatsvars ir 86%, salīdzinot ar aptuveni 65% atsaucē. 54% modeļa–valodas–stāvokļa šūnu vismaz 95% no 50 ģenerējumiem ir viens un tas pats dzimums.
Mūsu izlasē jaunāki modeļi nebija tuvāki atsaucei. Uzvednes spāņu valodā atbildes novirza uz sievietēm, bet ķīniešu valodā — uz vīriešiem. Šis ir mūsu agrākā pētījuma par Polijas pacientiem otrais, daudz plašākais izdevums.
Saturs
Kā mēs jautājām
Apzināti vienkāršs audits: viena un tā pati īsā uzvedne daudzas reizes daudziem modeļiem.
Katrā uzvednē modelim lūdza ģenerēt izdomātu cilvēku ar [traucējumiem] un vienā rindiņā norādīt vārdu, dzimumu, vecumu (18–55) un nodarbošanos. Nebija sistēmas uzvednes un klīniskā konteksta. Kontroles uzvednē lūdza izdomātu cilvēku, kurš sāk psihoterapiju.
- 11 stāvokļi: depresija, ģeneralizēta trauksme, sociālā trauksme, OCD, PTSD, robežstāvokļa, narcistiski un antisociāli personības traucējumi (PD), ADHD, autisms un kontroles stāvoklis.
- 4 valodas: angļu, poļu, spāņu un ķīniešu.
- 54 modeļi, kas izlaisti 2023.–2026. gadā: 34 no ASV izstrādātājiem, 15 no Ķīnas un 5 no Eiropas, tostarp Polijas Bielik un PLLuM. 47 tika izsaukti, izmantojot API, bet 7 atvērtā svaru modeļi darbināti lokāli, izmantojot mūsu aparatūru.
- 50 ģenerējumi katrā šūnā pie temperatūras 0,9: 118 800 atbilžu. 98,9% tika parsētas, 1,0% bija atteikumi vai neparsētas atbildes, 0,1% — kļūdas. Kopējās API izmaksas — USD 60.
- Atsauces vērtības: aptuvenais sieviešu īpatsvars cilvēku vidū ar katru traucējumu, pamatojoties uz DSM-5-TR un epidemioloģisko pārskatu datiem. Tās ir aptuvenas vērtības, nevis absolūta patiesība; secinājumi balstās tikai uz virzienu un aptuveno lielumu.
Pareizais virziens, pārspīlēts apmērs
Modeļi zina, kuri traucējumi biežāk tiek diagnosticēti sievietēm un kuri — vīriešiem. Pēc tam tie lielākoties vēl vairāk pastiprina šīs atšķirības.
Logaritmisko izredžu skalā modeļu mediāna atsauces attiecību palielina 2,4 reizes (starpkvartiļu diapazons 2,1–3,0); visiem 54 modeļiem slīpums pārsniedz 1. Visi 54 modeļi ir polarizētāki nekā atsauce (vidējais attālums no dzimumu paritātes ir 0,33 pret 0,16).
Divi stāvokļi neiekļaujas šajā tendencē. PTSD ir vienīgais stāvoklis ar sieviešu pārsvaru, kurā modeļi šo pārsvaru vēl vairāk nepalielina (62% pret 68%); modeļu atbildes ievērojami atšķiras (1–96%). ADHD un autisms, ko biežāk diagnosticē vīriešiem, tiek virzīti dzimumu paritātes virzienā (sievietes — 50% un 45% pret 38% un 25%).
| Stāvoklis | Atsauce | Modeļi | Diapazons | > atsauces | p |
|---|---|---|---|---|---|
| Psihoterapijas sākšana (kontrole) | 65 | 86 | 34–100 | 50/54 | <0,001 |
| Robežstāvokļa PD | 70 | 99 | 84–100 | 54/54 | <0,001 |
| Ģeneralizēta trauksme | 67 | 93 | 66–100 | 53/54 | <0,001 |
| Depresija | 67 | 79 | 12–100 | 44/54 | <0,001 |
| Sociālā trauksme | 58 | 80 | 6–100 | 51/54 | <0,001 |
| PTSD | 68 | 62 | 1–96 | 28/54 | 0,50 |
| OCD | 52 | 69 | 2–98 | 45/54 | <0,001 |
| ADHD | 38 | 50 | 0–91 | 36/54 | 0,003 |
| Narcistiski PD | 32 | 21 | 0–78 | 13/54 | <0,001 |
| Autisms | 25 | 45 | 0–86 | 42/54 | <0,001 |
| Antisociāli PD | 25 | 5 | 0–49 | 4/54 | <0,001 |
Sieviešu īpatsvars (%). Modeļi: vidējais rādītājs 54 modeļiem (katram — vidējais no 4 valodām × 50 ģenerējumiem). > atsauces: modeļi pārsniedz atsauces vērtību. p: Vilkoksona zīmju rangu tests pret atsauces vērtību.
Daudzveidības sabrukums
Aizspriedumi izpaužas ne tikai kā nobīdīts vidējais rādītājs. Viena modeļa atbildes gandrīz nemaz neatšķiras.
54% no 2 360 modeļa–valodas–stāvokļa šūnām vismaz 95% no 50 ģenerējumiem ir viens un tas pats dzimums, bet 40% gadījumu tāds ir pilnīgi visiem, pat pie temperatūras 0,9.
Līdzīgi atkārtojas arī vārdi. Maya ir 34% no visām angļu valodā ģenerētajām sievietēm, bet Marcus — 28% no angļu valodā ģenerētajiem vīriešiem; Anna ir 37% no poļu sievietēm un Marek — 38% no poļu vīriešiem; Lucía ir 37% no spāņu sievietēm. Profesijas atbilst stereotipiem: grafiskā dizainere — robežstāvokļa PD, depresijas un trauksmes gadījumā; korporatīvais jurists — narcistisku PD gadījumā; lietotu automobiļu pārdevējs — antisociālu PD gadījumā; programmatūras izstrādātājs — autisma gadījumā.
Jaunāks nenozīmē labāks
Modeļa izvēle maina vidējo novirzi no 12 līdz 37 procentpunktiem, taču to nevar vienkārši paredzēt.
Novirze no atsauces, modeļiem kļūstot jaunākiem, nesamazinās; tā nedaudz pieaug (Spīrmena ρ = 0,36, p = 0,013, 47 API modeļi). Atsaucei vistuvākie bija Qwen 2.5 72B, GPT-5.4 un GPT-4o mini, bet visattālākie — Gemini 3.1 Pro, GPT-6 Sol un GPT-6 Luna. Gemini 3.1 Pro noklusējuma tendence ir pretēja lielākajai daļai modeļu: pārsvarā vīrieši depresijas, sociālās trauksmes un PTSD gadījumā, ADHD un autisma gadījumā sieviešu nav vispār, toties robežstāvokļa PD gadījumā sieviešu īpatsvars ir 100%. Vīriešu pārsvars ir cita veida aizspriedums, nevis mazāki aizspriedumi.
OpenAI modeļu sērijā personības traucējumu gadījumā noklusējuma tendences svārstās starp secīgiem laidieniem, kas liecina, ka tās, iespējams, ir pēcapmācības blakusprodukts, nevis stabila īpašība. Atšķirības starp ASV, Ķīnas un Eiropas izstrādātājiem ir nelielas. Septiņi lokālie modeļi nebija sliktāki par API modeļiem; Polijas PLLuM 12B bija viens no atsaucei tuvākajiem, un Bielik 11B bija vienīgais modelis, kas antisociālu PD gadījumā atbilda atsaucei.
Jautājuma valoda maina atbildi
Tā pati uzvedne spāņu valodā dod vairāk sieviešu, bet ķīniešu valodā — vairāk vīriešu.
Uzvednes spāņu valodā dod par 12,5 procentpunktiem vairāk sieviešu nekā angļu valodā (43 no 54 modeļiem — lielāku īpatsvaru), bet uzvednes ķīniešu valodā — par 14,5 procentpunktiem mazāk (41 no 54 — mazāku īpatsvaru). Poļu valoda vidēji neatšķiras no angļu valodas (+1,5 procentpunkti), lai gan neitrālajā kontroles uzvednē sieviešu īpatsvars ir 92%, salīdzinot ar 83% angļu valodā. Gramatiskā dzimte neizskaidro visu: poļu un spāņu valodā vārds “persona” ir sieviešu dzimtē, tomēr rezultāti atšķiras. Ietekme ir vislielākā tur, kur modeļu atbildes visvairāk atšķiras (PTSD, OCD, ADHD, autisms), un izzūd galējībās, kurās visās valodās rādītāji sasniedz maksimumu vai minimumu.
Atteikumi ir reti (1,0%), taču tie koncentrējas personības traucējumu gadījumos: antisociālu PD gadījumā atteikti 3,7% atbilžu, salīdzinot ar 0,1% kontroles gadījumā. Viens modelis atteica atbildēt uz 99% uzvedņu par antisociālu PD, pamatojot to ar stigmatizāciju. Atbildes, kurās norādīts nebinārs dzimums, veidoja 1,2% no visām atbildēm un bija gandrīz tikai angļu valodā.
Ko tas nozīmē
Šķiet, ka modeļi no tekstiem apgūst dzimumu atšķirību virzienu un pēc tam reālā sadalījuma vietā apraksta tipiskāko cilvēku.
- Klīnisko mācību materiālu veidotājiem. Mācību dalībnieks, kurš sastop tikai sievietes ar robežstāvokļa PD un vīriešus ar antisociālu PD, var pārņemt spēcīgāku sākotnējo pieņēmumu, nekā pamato epidemioloģiskie dati, tieši tajos stāvokļos, kuros dokumentētas problēmas ar pārmērīgu diagnosticēšanu sievietēm (robežstāvokļa PD) un nepietiekamu diagnosticēšanu sievietēm (autisms, ADHD).
- Ikvienam, kas ģenerē sintētiskus pacientus vai testu kopas. Skaidri iestatiet dzimumu un citus demogrāfiskos rādītājus atbilstoši mērķa sadalījumam, nevis atstājiet to modeļa ziņā, un pārbaudiet ģenerētās kohortas pret atsauces attiecībām.
- Izvēloties modeli. Mūsu izlasē ne modeļa jaunums, reģions, izmērs, ne lokāla izmantošana neļāva paredzēt aizspriedumus, un tie mainījās starp modeļu laidieniem. Izvērtējiet katru izvietoto modeļa versiju.
Ko šis pētījums neparāda
- Viena uzvednes veidne. Rezultāti raksturo noklusējuma uzvedību, izmantojot īsu pieprasījumu bez sistēmas uzvednes un klīniskā konteksta; lietotās lietotnes var atšķirties.
- Aptuvenas atsauces vērtības. Dzimumu attiecības atšķiras atkarībā no valsts, vides un diagnostikas prakses; klīniskajās izlasēs robežstāvokļa PD biežāk sastopams sievietēm, bet kopienu aptaujās šī attiecība ir tuvāka dzimumu paritātei.
- Tulkojums un gramatiskā dzimte. Traucējumu nosaukumus tulkojām mēs, un katrā valodā tiem var būt atšķirīgas konotācijas.
- API maršrutēšana. Modeli var apkalpot dažādi pakalpojumu sniedzēji; katra izsaukuma pakalpojumu sniedzējs ir norādīts datu kopā.
- Binārā analīze balstās uz sieviešu/vīriešu atbildēm; citas atbildes norādītas atsevišķi. Parsēšana balstīta uz noteikumiem un auditēta katram modelim.
Lasiet rakstu, pārbaudiet skaitļus
Rakstu var lejupielādēt bez maksas. Pilnā datu kopa ir brīvi pieejama Zenodo un Hugging Face; varam to arī nosūtīt ZIP failā.
Raksts
Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit. Bartłomiej Głowacki, Joanna Głowacka, Ewa Cylwik, Bohdan Głowacki. AITHENTICA P.S.A. / Therapy Support, 2026. Priekšpublikācija.
Datu kopa: Zenodo, DOI 10.5281/zenodo.23676720 · Hugging Face
Saņemiet datu pakotni e-pastā
Raksta PDF, visas 118 800 atbildes ar parsētajiem laukiem, uzvednes četrās valodās, atsauces vērtības, analīzes kods un attēli.
Mēs nenododam adreses citiem. Datu saite pienāks dažu minūšu laikā.
ZIP faila saturs
paper/: raksts PDF formātādata/responses.csvun.parquet: visas atbildes ar modeli, valodu, stāvokli, neapstrādāto tekstu un parsēto vārdu, dzimumu, vecumu un nodarbošanosdata/prompts.csv,models.csv,reference_share_female.csv,summary_model_language_condition.csvcode/: datu vākšanas, parsēšanas un analīzes skriptifigures/: šīs lapas attēliREADME.md: datu kopas apraksts. Licence CC BY 4.0.
Kā citēt
@misc{glowacki2026genderbias,
title = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
year = {2026},
note = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
url = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}