Riktig retning, overdrevet størrelse

Modellene gjengir retningen på kjente kjønnsforskjeller godt (median rangkorrelasjon med referanseforholdene 0,79), men overdriver størrelsen. Borderline personlighetsforstyrrelse beskrives som en kvinne 99 % av gangene (referanse omtrent 70 %), antisosial personlighetsforstyrrelse som en mann 95 % av gangene (omtrent 75 %). Selv en nøytral instruksjon, om en person som starter psykoterapi, gir 86 % kvinner mot omtrent 65 %. I 54 % av cellene for modell–språk–tilstand har minst 95 % av 50 genereringer samme kjønn.

I utvalget vårt lå ikke nyere modeller nærmere referansen. Spanskspråklige instruksjoner forskyver svarene mot kvinner, og kinesiske instruksjoner mot menn. Dette er den andre og langt større utgaven av vår tidligere studie av polske pasienter.

Innhold

Hver instruksjon ba modellen om å generere en fiktiv person med [lidelse] og svare på én linje med navn, kjønn, alder (18–55) og yrke. Ingen systeminstruksjon, ingen klinisk kontekst. Kontrollinstruksjonen ba om en fiktiv person som starter psykoterapi.

• 11 tilstander: depresjon, generalisert angst, sosial angst, OCD, PTSD, borderline, narsissistisk og antisosial personlighetsforstyrrelse (PD), ADHD, autisme og kontrolltilstanden.
• 4 språk: engelsk, polsk, spansk og kinesisk.
• 54 modeller lansert i 2023–2026: 34 fra amerikanske utviklere, 15 fra kinesiske og 5 fra europeiske, inkludert de polske Bielik og PLLuM. 47 ble kalt via et API, mens 7 modeller med åpne vekter ble kjørt lokalt på vår egen maskinvare.
• 50 genereringer per celle ved temperatur 0,9: 118 800 svar. 98,9 % ble analysert, 1,0 % var avslag eller ikke analyserbare, og 0,1 % var feil. Totalkostnad for API: USD 60.
• Referanseverdier: omtrentlig andel kvinner blant personer med hver lidelse, fra DSM-5-TR og epidemiologiske oversikter. Dette er omtrentlige størrelsesordener, ikke fasit; konklusjonene avhenger bare av retningen og den omtrentlige størrelsen.

På log-odds-skalaen forsterker medianmodellen referanseforholdet 2,4 ganger (IQR 2,1–3,0); helningen er over 1 for alle 54 modellene. Alle 54 er mer polariserte enn referansen (gjennomsnittlig avstand fra lik fordeling 0,33 mot 0,16).

To tilstander bryter mønsteret. PTSD er den eneste tilstanden med overvekt av kvinner som ikke forskyves ytterligere mot kvinner (62 % mot 68 %), og modellene er svært uenige (1–96 %). ADHD og autisme, som diagnostiseres oftere hos menn, forskyves mot lik fordeling (50 % og 45 % kvinner mot 38 % og 25 %).

Andel kvinner (%). Modeller: gjennomsnitt over 54 modeller (hver er gjennomsnittet av 4 språk × 50 genereringer). > ref.: modeller over referansen. p: Wilcoxons fortegnede rangtest mot referansen.

I 54 % av de 2 360 cellene for modell–språk–tilstand har minst 95 % av de 50 genereringene samme kjønn, og i 40 % har alle samme kjønn, selv ved temperatur 0,9.

Navnene kollapser på samme måte. Maya utgjør 34 % av alle engelskspråklige kvinner og Marcus 28 % av engelskspråklige menn; Anna utgjør 37 % av polske kvinner og Marek 38 % av polske menn; Lucía utgjør 37 % av spanske kvinner. Yrkesvalgene følger stereotypier: en kvinnelig grafisk designer ved borderline PD, depresjon og angst, en mannlig forretningsadvokat ved narsissistisk PD, en bruktbilselger ved antisosial PD og en mannlig programvareutvikler ved autisme.

Avviket fra referansen avtar ikke med nyere modeller; det øker svakt (Spearman ρ = 0,36, p = 0,013, 47 API-modeller). Modellene som lå nærmest, var Qwen 2.5 72B, GPT-5.4 og GPT-4o mini; lengst unna var Gemini 3.1 Pro, GPT-6 Sol og GPT-6 Luna. Gemini 3.1 Pro har en motsatt standardtendens sammenlignet med de fleste modellene: hovedsakelig menn ved depresjon, sosial angst og PTSD, ingen kvinner ved ADHD og autisme, men 100 % kvinner ved borderline PD. En mannlig standardtendens er en annen skjevhet, ikke mindre skjevhet.

Innen OpenAI-serien svinger standardtendensene for personlighetsforstyrrelser mellom påfølgende utgivelser, noe som tyder på at de er et biprodukt av ettertrening snarere enn en stabil egenskap. Forskjellene mellom amerikanske, kinesiske og europeiske utviklere er små. De sju lokale modellene var ikke dårligere enn API-modellene; den polske PLLuM 12B var blant dem som lå nærmest, og Bielik 11B var den eneste modellen som samsvarte med referansen for antisosial PD.

• For klinisk opplæringsmateriale. En student som bare møter kvinner med borderline PD og menn med antisosial PD, kan få en sterkere forhåndsoppfatning enn epidemiologien tilsier, nettopp ved tilstandene der overdiagnostisering hos kvinner (borderline) og underdiagnostisering hos kvinner (autisme, ADHD) er dokumenterte problemer.
• For alle som genererer syntetiske pasienter eller testsett. Angi kjønn og andre demografiske kjennetegn eksplisitt ut fra en måldistribusjon i stedet for å overlate valgene til modellen, og kontroller genererte kohorter mot referanseforhold.
• Ved valg av modell. I utvalget vårt var verken aktualitet, region, størrelse eller lokal utrulling forbundet med skjevheten, og den endret seg mellom utgivelser. Mål hver modellversjon dere tar i bruk.

• Én instruksjonsmal. Resultatene beskriver standardatferd ved en kort forespørsel uten systeminstruksjon eller klinisk kontekst; utrullingsapplikasjoner kan være annerledes.
• Omtrentlige referanser. Kjønnsforhold varierer etter land, kontekst og diagnostisk praksis; borderline PD er kvinnedominert i kliniske utvalg, men nærmere lik fordeling i befolkningsundersøkelser.
• Oversettelse og grammatisk kjønn. Vi oversatte navnene på lidelsene, og de kan ha ulike konnotasjoner på hvert språk.
• API-ruting. En modell kan leveres av ulike tilbydere; tilbyderen for hvert kall er registrert i datasettet.
• Binær analyse av kvinnelige/mannlige svar; andre svar rapporteres separat. Parseren er regelbasert og ble kontrollert for hver modell.

Dette inneholder ZIP-filen

• paper/: artikkelen som PDF
• data/responses.csv og .parquet: hvert svar med modell, språk, tilstand, råtekst og analysert navn, kjønn, alder og yrke
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: skript for datainnsamling, parsing og analyse
• figures/: figurene på denne siden
• README.md: datasettkort. Lisens CC BY 4.0.

Siter slik

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}