← Zpět na Výzkum
Výzkum · zkreslení LLM · 2026

Správný směr, zveličená velikost

Audit genderu u osob, které jazykové modely vymýšlejí pro deset duševních poruch, zahrnující 54 modelů a čtyři jazyky. 118 800 odpovědí, všechny veřejně dostupné.

Publikováno27. října 2026
AutořiB. Głowacki, J. Głowacka, E. Cylwik, B. Głowacki
StavPreprint · otevřený dataset
LicenceCC BY 4.0
Stáhnout článek (PDF) arXiv: již brzy

Poměr 7:3 v referenčních datech se ve výstupech mění na 99:1

Jazykové modely dnes píší klinické viněty, hrají role pacientů a vytvářejí výukové kazuistiky. Každá vymyšlená osoba má gender, který autor nezvolil. Změřili jsme, jaký gender modely volí u deseti duševních poruch a nakolik se jejich volba liší od epidemiologických údajů.

118 800
odpovědí od 54 modelů ve 4 jazycích
2,4×
mediánové zesílení poměrů mezi pohlavími (logaritmus poměru šancí)
99 % vs. 70 %
žen u hraniční poruchy osobnosti: modely vs. referenční údaje
54 / 54
modelů s výraznější polarizací než v referenčních údajích

Modely dobře reprodukují směr známých rozdílů mezi pohlavími (medián pořadové korelace s referenčními poměry 0,79), ale zveličují jejich velikost. Hraniční porucha osobnosti je v 99 % případů popisována jako porucha ženy (v referenčních údajích přibližně 70 %), antisociální porucha osobnosti jako porucha muže v 95 % případů (přibližně 75 %). Dokonce i u neutrálního zadání — osoba začínající psychoterapii — jde o ženy v 86 % případů, oproti přibližně 65 % v referenčních údajích. V 54 % kombinací modelu, jazyka a diagnózy má nejméně 95 % z 50 výstupů stejný gender.

V našem vzorku nebyly novější modely bližší referenčním údajům. Zadání ve španělštině posouvají odpovědi směrem k ženám, čínská zadání směrem k mužům. Jde o druhé, výrazně rozsáhlejší vydání naší předchozí studie polských pacientů.

Obsah


Jak jsme se ptali

Záměrně jednoduchý audit: stejné krátké zadání, mnohokrát, mnoha modelům.

Návrh studie: jedno zero-shot zadání pro každou podmínku a jazyk, 50krát pro každý model; vícejazyčný parser čte údaj o genderu; podíly žen se porovnávají s referenčními hodnotami.
Návrh studie: jedno zero-shot zadání pro každou podmínku a jazyk, 50krát pro každý model; vícejazyčný parser čte údaj o genderu; podíly žen se porovnávají s referenčními hodnotami.

Každé zadání požadovalo, aby model vygeneroval fiktivní osobu s [poruchou] a odpověděl jedním řádkem: jméno, gender, věk (18–55) a povolání. Bez systémového zadání a bez klinického kontextu. Kontrolní zadání žádalo o fiktivní osobu začínající psychoterapii.

  • 11 podmínek: deprese, generalizovaná úzkostná porucha, sociální úzkost, OCD, PTSD, hraniční, narcistická a antisociální porucha osobnosti (PD), ADHD, autismus a kontrolní podmínka.
  • 4 jazyky: angličtina, polština, španělština a čínština.
  • 54 modelů vydaných v letech 2023–2026: 34 od amerických vývojářů, 15 od čínských a 5 od evropských, včetně polských Bielik a PLLuM. 47 bylo voláno přes API, 7 lokálně provozovaných modelů s otevřenými vahami běželo na našem vlastním hardwaru.
  • 50 výstupů pro každou kombinaci při teplotě 0,9: celkem 118 800 odpovědí. 98,9 % bylo zpracováno, 1,0 % tvořila odmítnutí nebo nezpracované odpovědi a 0,1 % chyby. Celkové náklady na API činily 60 USD.
  • Referenční hodnoty: přibližný podíl žen mezi lidmi s jednotlivými poruchami podle DSM-5-TR a epidemiologických přehledů. Jde o orientační hodnoty, nikoli o absolutní pravdu; závěry závisí pouze na směru a přibližné velikosti rozdílů.

Správný směr, zveličená velikost

Modely vědí, u kterých poruch se častěji stanovuje diagnóza ženám a u kterých mužům. Většinu rozdílů pak ještě zvětšují.

(a) Průměrný podíl generovaných žen (modře, 95% interval spolehlivosti napříč modely) ve srovnání s referenčním podílem; šedé body představují jednotlivé modely; přerušovaná čára značí dokonalou kalibraci. (b) Každý model v každé podmínce, referenční hodnota oranžově.
(a) Průměrný podíl generovaných žen (modře, 95% interval spolehlivosti napříč modely) ve srovnání s referenčním podílem; šedé body představují jednotlivé modely; přerušovaná čára značí dokonalou kalibraci. (b) Každý model v každé podmínce, referenční hodnota oranžově.

Na škále logaritmu poměru šancí zesiluje mediánový model referenční poměr 2,4krát (IQR 2,1–3,0); sklon je vyšší než 1 u všech 54 modelů. Všech 54 modelů je polarizovanější než referenční údaje (průměrná vzdálenost od parity 0,33 oproti 0,16).

Dvě podmínky se tomuto vzorci vymykají. PTSD je jedinou podmínkou s převahou žen, u níž modely tento podíl dále nezvyšují (62 % oproti 68 %); modely se přitom výrazně rozcházejí (1–96 %). ADHD a autismus, jejichž diagnóza se častěji stanovuje mužům, se posouvají směrem k paritě (ženy tvoří 50 % a 45 % oproti 38 % a 25 %).

PodmínkaReferenceModelyRozmezí> ref.p
Zahájení psychoterapie (kontrola)658634–10050/54<0.001
Hraniční PD709984–10054/54<0.001
Generalizovaná úzkostná porucha679366–10053/54<0.001
Deprese677912–10044/54<0.001
Sociální úzkost58806–10051/54<0.001
PTSD68621–9628/540.50
OCD52692–9845/54<0.001
ADHD38500–9136/540.003
Narcistická PD32210–7813/54<0.001
Autismus25450–8642/54<0.001
Antisociální PD2550–494/54<0.001

Podíl žen (%). Modely: průměr přes 54 modelů (u každého jde o průměr ze 4 jazyků × 50 výstupů). > ref.: modely nad referenční hodnotou. p: Wilcoxonův test pořadových znamének vůči referenční hodnotě.


Úbytek rozmanitosti

Zkreslení se neprojevuje pouze posunutým průměrem. Odpovědi v rámci jednoho modelu se téměř nemění.

V 54 % z 2 360 kombinací modelu, jazyka a podmínky sdílí nejméně 95 % z 50 výstupů jeden gender a ve 40 % případů jej mají všechny, a to i při teplotě 0,9.

Stejně tak se opakují jména. Maya tvoří 34 % všech anglických ženských jmen a Marcus 28 % anglických mužských jmen; Anna tvoří 37 % polských ženských jmen a Marek 38 % polských mužských jmen; Lucía tvoří 37 % španělských ženských jmen. Povolání odpovídají stereotypům: grafická designérka u hraniční PD, deprese a úzkosti, podnikový právník u narcistické PD, prodejce ojetých aut u antisociální PD a vývojář softwaru u autismu.


Novější neznamená lepší

Volba modelu mění průměrnou odchylku z 12 na 37 procentních bodů, nic jednoduchého ji však nepředpovídá.

Odchylka od referenční hodnoty se u novějších modelů nesnižuje; mírně roste (Spearmanovo ρ = 0,36, p = 0,013, 47 modelů API). Referenčním hodnotám byly nejbližší Qwen 2.5 72B, GPT-5.4 a GPT-4o mini; nejvzdálenější byly Gemini 3.1 Pro, GPT-6 Sol a GPT-6 Luna. Gemini 3.1 Pro má opačnou výchozí tendenci než většina modelů: u deprese, sociální úzkosti a PTSD většinou generuje muže, u ADHD a autismu negeneruje vůbec žádné ženy, ale u hraniční PD generuje ženy ve 100 % případů. Výchozí převaha mužů je jiné zkreslení, nikoli menší zkreslení.

V rámci řady OpenAI se výchozí tendence u poruch osobnosti mezi po sobě jdoucími vydáními mění, což naznačuje, že jde spíše o vedlejší důsledek dodatečného trénování než o stabilní vlastnost. Rozdíly mezi americkými, čínskými a evropskými vývojáři jsou malé. Sedm lokálních modelů nebylo horších než modely API; polský PLLuM 12B patřil k nejbližším referenčním hodnotám a Bielik 11B byl jediným modelem, který odpovídal referenční hodnotě u antisociální PD.

Průměrná absolutní odchylka od referenční hodnoty pro každý model API podle data uvedeného u modelu. Trend neklesá.
Průměrná absolutní odchylka od referenční hodnoty pro každý model API podle data uvedeného u modelu. Trend neklesá.
Modely OpenAI v pořadí vydání: podíl žen u čtyř podmínek; tečkované čáry označují referenční hodnoty.
Modely OpenAI v pořadí vydání: podíl žen u čtyř podmínek; tečkované čáry označují referenční hodnoty.
Všech 54 modelů × 11 podmínek: podíl generovaných žen (průměr ze čtyř jazyků), modely seřazené podle odchylky.
Všech 54 modelů × 11 podmínek: podíl generovaných žen (průměr ze čtyř jazyků), modely seřazené podle odchylky.

Jazyk otázky mění odpověď

Stejné zadání ve španělštině přináší více žen, v čínštině více mužů.

Zadání ve španělštině přinášejí o 12,5 procentního bodu více žen než zadání v angličtině (vyšší podíl u 43 z 54 modelů) a zadání v čínštině o 14,5 bodu méně (nižší podíl u 41 z 54 modelů). Polština se od angličtiny v průměru neliší (+1,5 bodu), ačkoli u neutrálního kontrolního zadání přináší 92 % žen oproti 83 % v angličtině. Gramatický rod nevysvětluje celý rozdíl: polština i španělština používají pro „osobu“ ženský rod, a přesto se výsledky liší. Efekt je největší tam, kde se modely nejvíce rozcházejí (PTSD, OCD, ADHD, autismus), a mizí na krajních hodnotách, kde se všechny jazyky dostávají k limitu.

Odmítnutí jsou vzácná (1,0 %), soustřeďují se však u poruch osobnosti: 3,7 % odpovědí u antisociální PD oproti 0,1 % u kontrolní podmínky. Jeden model odmítl 99 % zadání týkajících se antisociální PD s odkazem na stigma. Nebinární odpovědi tvořily 1,2 % všech odpovědí a vyskytovaly se téměř výhradně v angličtině.

Podíl žen podle jazyka zadání a podmínky (průměr přes 54 modelů); referenční hodnoty oranžově.
Podíl žen podle jazyka zadání a podmínky (průměr přes 54 modelů); referenční hodnoty oranžově.

Co to znamená

Zdá se, že se modely z textů učí směr rozdílů mezi pohlavími a pak místo skutečného zastoupení v populaci popisují nejtypičtější osobu.

  • Pro klinické výukové materiály. Školený odborník, který se setkává pouze se ženami s hraniční PD a muži s antisociální PD, si může osvojit silnější předpoklad, než odpovídá epidemiologickým údajům — právě u poruch, u nichž jsou doloženým problémem nadměrná diagnostika u žen (hraniční PD) a nedostatečná diagnostika u žen (autismus, ADHD).
  • Pro každého, kdo generuje syntetické pacienty nebo testovací sady. Určujte gender a další demografické charakteristiky výslovně podle cílového rozložení, místo abyste jejich volbu ponechali modelu, a kontrolujte vygenerované skupiny podle referenčních poměrů.
  • Při výběru modelu. V našem vzorku zkreslení nepředpovídala ani aktuálnost, region, velikost, ani lokální provoz a měnilo se mezi jednotlivými vydáními. Měřte každou verzi modelu, kterou nasadíte.

Co tato studie neukazuje

  • Jediná šablona zadání. Výsledky popisují výchozí chování při krátkém požadavku bez systémového zadání a klinického kontextu; nasazené aplikace se mohou lišit.
  • Přibližné referenční hodnoty. Poměry mezi pohlavími se liší podle země, prostředí a diagnostické praxe; hraniční PD převažuje u žen v klinických vzorcích, ale v komunitních průzkumech je poměr bližší paritě.
  • Překlad a gramatický rod. Názvy poruch jsme přeložili a v každém jazyce mohou mít odlišné konotace.
  • Směrování API. Model může být poskytován různými dodavateli; informace o poskytovateli každého volání je zaznamenána v datasetu.
  • Binární analýza odpovědí žena/muž; ostatní odpovědi uvádíme samostatně. Parsování je založeno na pravidlech a bylo auditováno pro každý model.

Přečtěte si článek, ověřte čísla

Článek je zdarma ke stažení. Kompletní dataset je otevřeně dostupný na Zenodo a Hugging Face; můžeme vám ho také poslat jako ZIP.

PDF

Článek

Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit. Bartłomiej Głowacki, Joanna Głowacka, Ewa Cylwik, Bohdan Głowacki. AITHENTICA P.S.A. / Therapy Support, 2026. Preprint.

Dataset: Zenodo, DOI 10.5281/zenodo.23676720 · Hugging Face

Stáhnout článek (PDF) arXiv: již brzy
📦

Získejte datový balíček e-mailem

PDF článku, všech 118 800 odpovědí s naparsovanými poli, zadání ve čtyřech jazycích, referenční hodnoty, analytický kód a obrázky.

Adresy nikomu neposkytujeme. Odkaz na data dorazí během několika minut.

Co ZIP obsahuje

  • paper/: článek ve formátu PDF
  • data/responses.csv a .parquet: každá odpověď s modelem, jazykem, podmínkou, původním textem a naparsovaným jménem, genderem, věkem a povoláním
  • data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
  • code/: skripty pro sběr dat, parsování a analýzu
  • figures/: obrázky z této stránky
  • README.md: popis datasetu. Licence CC BY 4.0.

Jak citovat

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}

Therapy Support · Začněte ještě dnes

Získejte zpět čas pro sebe
i pro své pacienty

Jste KBT terapeut?
Podívejte se, jak platforma podporuje vaši každodenní práci.
Shrnutí sezení, která uspořádají klinický materiál. Administrativa, která nepřekáží.