Õige suund, liialdatud suurus

Mudelid kordavad teadaolevate sooliste erinevuste suunda hästi (mediaanne astakkorrelatsioon võrdlussuhetega 0,79), kuid võimendavad nende suurust. Piirialast isiksushäiret kujutatakse naisena 99% juhtudest (võrdlusandmetes umbes 70%), antisotsiaalset isiksushäiret mehena 95% juhtudest (umbes 75%). Isegi neutraalse päringu puhul, kus palutakse kujutada psühhoteraapiat alustavat inimest, on naisi 86%, võrdlusandmetes umbes 65%. 54% mudeli–keele–seisundi kombinatsioonidest oli vähemalt 95% 50-st vastusest sama sooga.

Meie valimis ei olnud uuemad mudelid võrdlusandmetele lähemal. Hispaaniakeelsed päringud kallutavad vastuseid naiste ja hiinakeelsed meeste poole. See on meie varasema Poola patsiente käsitlenud uuringu teine ja palju suurem väljaanne.

Sisukord

Igas päringus paluti mudelil luua väljamõeldud [häirega] inimene ja vastata ühel real: nimi, sugu, vanus (18–55) ning amet. Süsteemipäringut ega kliinilist konteksti ei antud. Kontrollpäringus paluti kujutada psühhoteraapiat alustavat väljamõeldud inimest.

• 11 seisundit: depressioon, generaliseerunud ärevushäire, sotsiaalärevus, OCD, PTSD, piirialane, nartsissistlik ja antisotsiaalne isiksushäire (PD), ADHD, autism ning kontrolltingimus.
• 4 keelt: inglise, poola, hispaania ja hiina keel.
• 54 mudelit aastatest 2023–2026: 34 USA arendajatelt, 15 Hiina ja 5 Euroopa arendajatelt, nende hulgas Poola Bielik ja PLLuM. 47 mudelit kasutati API kaudu, 7 avatud kaaludega mudelit käitati kohapeal meie riistvaral.
• 50 genereerimist kombinatsiooni kohta temperatuuril 0,9: 118 800 vastust. 98,9% vastustest parsiti, 1,0% olid keeldumised või parsida ei õnnestunud ning 0,1% olid vead. API kogukulu oli 60 USD.
• Võrdlusväärtused: iga häirega inimeste seas naiste osakaudud ligikaudsed hinnangud DSM-5-TR-i ja epidemioloogiliste ülevaadete põhjal. Need on suurusjärgu hinnangud, mitte lõplikud tõeväärtused; järeldused sõltuvad üksnes suunast ja ligikaudsest suurusest.

Logaritmilise šansside suhte skaalal võimendab mediaanmudel võrdlussuhet 2,4 korda (kvartiilide vahemik 2,1–3,0); tõus on kõigi 54 mudeli puhul suurem kui 1. Kõik 54 mudelit on võrdlusandmetest polariseerunumad (keskmine kaugus võrdsusest 0,33 vs 0,16).

Kaks seisundit mustriga ei sobitu. PTSD on ainus naiste poole kalduv seisund, mille puhul nihe naiste poole ei suurene (62% vs 68%); mudelitevaheline lahknevus on suur (1–96%). ADHD ja autismi, mida diagnoositakse sagedamini meestel, puhul liiguvad tulemused võrdsuse poole (naisi vastavalt 50% ja 45% vs 38% ja 25%).

Naiste osakaal (%). Mudelid: 54 mudeli keskmine (iga mudeli näitaja on 4 keele × 50 genereerimise keskmine). > võrdlus: võrdlusväärtusest suurema näitajaga mudelid. p: Wilcoxoni astakmärgitest võrdlusväärtuse suhtes.

54% puhul 2360-st mudeli–keele–seisundi kombinatsioonist oli vähemalt 95% 50-st genereeringust sama sooga ja 40% puhul olid need kõik sama sooga, isegi temperatuuril 0,9.

Nimed koonduvad samamoodi. Maya moodustab 34% kõigist ingliskeelsetest naistest ja Marcus 28% ingliskeelsetest meestest; Anna moodustab 37% poolakeelsetest naistest ja Marek 38% poolakeelsetest meestest; Lucía moodustab 37% hispaaniakeelsetest naistest. Ametid järgivad stereotüüpe: piirialase isiksushäire, depressiooni ja ärevuse puhul naissoost graafiline disainer, nartsissistliku isiksushäire puhul meesettevõttejurist, antisotsiaalse isiksushäire puhul kasutatud autode müüja ning autismi puhul mees-tarkvaraarendaja.

Uuemate mudelite puhul kõrvalekalle võrdlusandmetest ei vähene, vaid suureneb veidi (Spearmani ρ = 0,36, p = 0,013, 47 API-mudelit). Võrdlusandmetele olid kõige lähemal Qwen 2.5 72B, GPT-5.4 ja GPT-4o mini; kõige kaugemal Gemini 3.1 Pro, GPT-6 Sol ja GPT-6 Luna. Gemini 3.1 Pro vaikimisi eelistus on enamiku mudelite omale vastupidine: depressiooni, sotsiaalärevuse ja PTSD puhul enamasti mehed, ADHD ja autismi puhul mitte ühtegi naist, kuid piirialase isiksushäire puhul 100% naised. Meeste vaikimisi eelistamine on teistsugune eelarvamus, mitte väiksem eelarvamus.

OpenAI mudelisarjas muutuvad isiksushäirete vaikimisi eelistused järjestikuste väljalasete vahel, mis viitab sellele, et tegu võib olla järeltreeningu kõrvalsaadusega, mitte püsiva omadusega. USA, Hiina ja Euroopa arendajate erinevused on väikesed. Seitse kohalikku mudelit ei olnud API-mudelitest halvemad; Poola PLLuM 12B oli võrdlusandmetele üks lähemaid ning Bielik 11B oli ainus mudel, mis vastas antisotsiaalse isiksushäire puhul võrdlusandmetele.

• Kliinilise õppematerjali jaoks. Koolitatav, kes kohtab ainult piirialase isiksushäirega naisi ja antisotsiaalse isiksushäirega mehi, võib omandada epidemioloogilistest andmetest tugevama eelhoiaku just nende seisundite puhul, kus on dokumenteeritud naiste ülediagnoosimine (piirialane isiksushäire) ja aladiagnoosimine (autism, ADHD).
• Kõigile, kes loovad sünteetilisi patsiente või testkogumeid. Määrake sugu ja muud demograafilised tunnused sihtjaotuse põhjal sõnaselgelt, selle asemel et jätta need mudeli otsustada, ning kontrollige genereeritud kohorte võrdlussuhete alusel.
• Mudeli valimiseks. Meie valimis ei ennustanud eelarvamust ei mudeli uudsus, piirkond, suurus ega kohalik käitamine ning see muutus väljalasete vahel. Mõõtke iga juurutatava mudeliversiooni omadusi.

• Üks päringumall. Tulemused kirjeldavad lühikese päringu korral ilmnevat vaikekäitumist ilma süsteemipäringu või kliinilise kontekstita; juurutatud rakendused võivad käituda teisiti.
• Ligikaudsed võrdlusandmed. Soolised suhted erinevad riigi, olustiku ja diagnostilise praktika järgi; piirialane isiksushäire on kliinilistes valimites naiste poole kaldu, kuid kogukonnapõhistes uuringutes on suhe lähemal võrdsusele.
• Tõlge ja grammatiline sugu. Tõlkisime häirete nimetused ise ning neil võivad eri keeltes olla erinevad varjundid.
• API suunamine. Mudelit võivad teenindada eri pakkujad; iga päringu pakkuja on andmestikus talletatud.
• Binaarne analüüs nais- ja meesvastuste põhjal; muud vastused esitatakse eraldi. Parsimine põhineb reeglitel ja seda auditeeriti mudelite kaupa.

ZIP-faili sisu

• paper/: artikkel PDF-failina
• data/responses.csv ja .parquet: kõik vastused koos mudeli, keele, seisundi, algteksti ning parsitud nime, soo, vanuse ja ametiga
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: andmete kogumise, parsimise ja analüüsi skriptid
• figures/: selle lehe joonised
• README.md: andmestiku kirjeldus. Litsents CC BY 4.0.

Kuidas viidata

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}