Rigtig retning, overdrevet størrelse

Modeller gengiver retningen af kendte kønsforskelle godt (median rangkorrelation med referenceforholdene 0,79), men overdriver deres størrelse. Borderline-personlighedsforstyrrelse fremstilles som en kvinde i 99 % af tilfældene (reference omkring 70 %), antisocial personlighedsforstyrrelse som en mand i 95 % af tilfældene (omkring 75 %). Selv en neutral prompt, en person, der starter psykoterapi, giver 86 % kvinder mod omkring 65 %. I 54 % af cellerne for model–sprog–tilstand har mindst 95 % af 50 genereringer samme køn.

I vores stikprøve lå nyere modeller ikke tættere på referencen. Spanske prompts forskyder svarene i retning af kvinder, og kinesiske prompts i retning af mænd. Dette er anden og betydeligt større udgave af vores tidligere undersøgelse af polske patienter.

Indhold

Hver prompt bad modellen om at generere en fiktiv person med [lidelse] og svare på én linje med navn, køn, alder (18–55) og beskæftigelse. Ingen systemprompt, ingen klinisk kontekst. Kontrolprompten bad om en fiktiv person, der starter psykoterapi.

• 11 tilstande: depression, generaliseret angst, social angst, OCD, PTSD, borderline-, narcissistisk og antisocial personlighedsforstyrrelse (PD), ADHD, autisme og kontroltilstanden.
• 4 sprog: engelsk, polsk, spansk og kinesisk.
• 54 modeller udgivet 2023–2026: 34 fra amerikanske udviklere, 15 fra kinesiske og 5 fra europæiske udviklere, herunder de polske Bielik og PLLuM. 47 blev kaldt via et API, og 7 åbne vægtmodeller blev kørt lokalt på vores egen hardware.
• 50 genereringer pr. celle ved temperatur 0,9: 118.800 svar. 98,9 % blev parset, 1,0 % var afslag eller kunne ikke parses, og 0,1 % var fejl. Samlede API-omkostninger: USD 60.
• Referenceværdier: omtrentlige andele af kvinder blandt personer med hver lidelse, baseret på DSM-5-TR og epidemiologiske oversigter. De er størrelsesordensestimater, ikke en facitliste; konklusionerne afhænger kun af retningen og den omtrentlige størrelse.

På log-odds-skalaen forstærker medianmodellen referenceforholdet 2,4 gange (IQR 2,1–3,0); hældningen er over 1 for alle 54 modeller. Alle 54 er mere polariserede end referencen (gennemsnitlig afstand fra lighed 0,33 mod 0,16).

To tilstande bryder mønsteret. PTSD er den eneste tilstand med kvindelig overvægt, som ikke forskydes yderligere i retning af kvinder (62 % mod 68 %), og modellerne er meget uenige (1–96 %). ADHD og autisme, som diagnosticeres oftere hos mænd, forskydes i retning af lighed (50 % og 45 % kvinder mod 38 % og 25 %).

Andel kvinder (%). Modeller: gennemsnit på tværs af 54 modeller (hver beregnet som gennemsnittet af 4 sprog × 50 genereringer). > ref.: modeller over referencen. p: Wilcoxons fortegnsrangtest mod referencen.

I 54 % af de 2.360 celler for model–sprog–tilstand har mindst 95 % af de 50 genereringer samme køn, og i 40 % har de alle samme køn, selv ved temperatur 0,9.

Navnene ensrettes på samme måde. Maya udgør 34 % af alle engelske kvinder, og Marcus 28 % af engelske mænd; Anna udgør 37 % af polske kvinder, og Marek 38 % af polske mænd; Lucía udgør 37 % af spanske kvinder. Beskæftigelserne følger stereotyper: en kvindelig grafisk designer ved borderline-PD, depression og angst, en mandlig virksomhedsadvokat ved narcissistisk PD, en brugtbilsælger ved antisocial PD og en mandlig softwareudvikler ved autisme.

Afvigelsen fra referencen falder ikke for nyere modeller; den stiger en smule (Spearman ρ = 0,36, p = 0,013, 47 API-modeller). De modeller, der lå nærmest, var Qwen 2.5 72B, GPT-5.4 og GPT-4o mini; længst fra lå Gemini 3.1 Pro, GPT-6 Sol og GPT-6 Luna. Gemini 3.1 Pro har den modsatte standardindstilling af de fleste modeller: hovedsageligt mænd ved depression, social angst og PTSD, slet ingen kvinder ved ADHD og autisme, men 100 % kvinder ved borderline-PD. En mandlig standardindstilling er en anden bias, ikke mindre bias.

Inden for OpenAI-serien svinger standardindstillingerne for personlighedsforstyrrelser mellem på hinanden følgende udgivelser, hvilket tyder på, at de er et biprodukt af eftertræning snarere end en stabil egenskab. Forskellene mellem amerikanske, kinesiske og europæiske udviklere er små. De syv lokale modeller var ikke dårligere end API-modellerne; den polske PLLuM 12B var blandt dem, der lå nærmest, og Bielik 11B var den eneste model, der matchede referencen for antisocial PD.

• Til klinisk undervisningsmateriale. En studerende, der kun møder kvinder med borderline-PD og mænd med antisocial PD, kan få en stærkere forhåndsantagelse, end epidemiologien understøtter, netop for de tilstande, hvor overdiagnosticering hos kvinder (borderline) og underdiagnosticering hos kvinder (autisme, ADHD) er dokumenterede problemer.
• Til alle, der genererer syntetiske patienter eller testsæt. Angiv køn og andre demografiske oplysninger eksplicit ud fra en målfordeling i stedet for at overlade dem til modellen, og kontrollér genererede kohorter mod referenceforhold.
• Ved valg af model. I vores stikprøve forudsagde hverken aktualitet, region, størrelse eller lokal anvendelse biasen, og den ændrede sig mellem udgivelser. Mål hver modelversion, I anvender.

• Én promptskabelon. Resultaterne beskriver standardadfærd ved en kort anmodning uden systemprompt eller klinisk kontekst; implementerede applikationer kan være anderledes.
• Omtrentlige referencer. Kønsforhold varierer efter land, ramme og diagnostisk praksis; borderline-PD er kvindedomineret i kliniske stikprøver, men tættere på lighed i befolkningsundersøgelser.
• Oversættelse og grammatisk køn. Vi oversatte navnene på lidelserne, og de kan have forskellige konnotationer på hvert sprog.
• API-routing. En model kan leveres af forskellige udbydere; udbyderen for hvert kald er registreret i datasættet.
• Binær analyse af svarene kvinde/mand; andre svar rapporteres særskilt. Parsing er regelbaseret og blev revideret for hver model.

Indhold i ZIP-filen

• paper/: artiklen som PDF
• data/responses.csv og .parquet: hvert svar med model, sprog, tilstand, rå tekst og parset navn, køn, alder og beskæftigelse
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: scripts til dataindsamling, parsing og analyse
• figures/: denne sides figurer
• README.md: datasætkort. Licens CC BY 4.0.

Sådan citerer du

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}