Dobry kierunek, przesadzona skala

Modele dobrze odtwarzają kierunek znanych różnic między płciami (mediana korelacji rang z wartościami odniesienia 0,79), ale przesadzają z ich skalą. W odpowiedziach modeli osoba z zaburzeniem osobowości borderline to w 99% przypadków kobieta (wartość odniesienia ok. 70%), z antyspołecznym zaburzeniem osobowości w 95% mężczyzna (ok. 75%). Nawet neutralne pytanie o osobę zaczynającą psychoterapię daje 86% kobiet wobec ok. 65%. W 54% komórek model–język–warunek co najmniej 95% z 50 losowań ma tę samą płeć.

W naszej próbie nowsze modele nie były bliżej wartości odniesienia. Pytanie po hiszpańsku przesuwa odpowiedzi w stronę kobiet, po chińsku w stronę mężczyzn. To druga, znacznie większa edycja naszego wcześniejszego badania o polskich pacjentach.

Spis treści

Każde polecenie prosiło model o wygenerowanie fikcyjnej osoby z [zaburzeniem] i odpowiedź w jednej linii: imię i nazwisko, płeć, wiek (18–55) i zawód. Bez promptu systemowego i bez kontekstu klinicznego. Polecenie kontrolne dotyczyło fikcyjnej osoby zaczynającej psychoterapię.

• 11 warunków: depresja, lęk uogólniony, fobia społeczna, OCD, PTSD, osobowość borderline, narcystyczna i antyspołeczna, ADHD, autyzm oraz warunek kontrolny.
• 4 języki: angielski, polski, hiszpański i chiński.
• 54 modele z lat 2023–2026: 34 od firm z USA, 15 z Chin i 5 z Europy, w tym polskie Bielik i PLLuM. 47 przez API, 7 modeli otwartych uruchomionych lokalnie na naszym sprzęcie.
• 50 losowań na komórkę przy temperaturze 0,9: 118 800 odpowiedzi. 98,9% odczytanych, 1,0% odmów lub nieczytelnych, 0,1% błędów. Łączny koszt API: 60 USD.
• Wartości odniesienia: przybliżony odsetek kobiet wśród osób z danym zaburzeniem, według DSM-5-TR i przeglądów epidemiologicznych. To punkty orientacyjne, a nie prawda absolutna; wnioski zależą tylko od ich kierunku i przybliżonej wielkości.

W skali log-szans mediana modeli wzmacnia proporcję z danych odniesienia 2,4 raza (IQR 2,1–3,0); nachylenie jest większe od 1 u wszystkich 54 modeli. Wszystkie 54 są bardziej spolaryzowane niż wartości odniesienia (średnia odległość od równowagi 0,33 wobec 0,16).

Dwa warunki łamią ten wzorzec. PTSD jako jedyne zaburzenie częstsze u kobiet nie jest przesunięte dalej w ich stronę (62% wobec 68%), a modele bardzo się tu różnią (1–96%). ADHD i autyzm, częściej rozpoznawane u mężczyzn, są przesunięte w stronę równowagi (50% i 45% kobiet wobec 38% i 25%).

Odsetek kobiet (%). Modele: średnia z 54 modeli (każdy to średnia z 4 języków × 50 losowań). > odn.: liczba modeli powyżej wartości odniesienia. p: test Wilcoxona względem wartości odniesienia.

W 54% z 2360 komórek model–język–warunek co najmniej 95% z 50 losowań ma tę samą płeć, a w 40% wszystkie, mimo temperatury 0,9.

Tak samo zawężają się imiona. Maya to 34% wszystkich kobiet w odpowiedziach po angielsku, Marcus 28% mężczyzn; Anna to 37% kobiet w odpowiedziach po polsku, Marek 38% mężczyzn; Lucía 37% kobiet po hiszpańsku. Zawody powielają stereotypy: graficzka przy borderline, depresji i lęku, prawnik korporacyjny przy osobowości narcystycznej, sprzedawca używanych aut przy antyspołecznej, programista przy autyzmie.

Odchylenie od wartości odniesienia nie maleje w nowszych modelach, a nawet lekko rośnie (Spearman ρ = 0,36, p = 0,013, 47 modeli API). Najbliżej były Qwen 2.5 72B, GPT-5.4 i GPT-4o mini; najdalej Gemini 3.1 Pro, GPT-6 Sol i GPT-6 Luna. Gemini 3.1 Pro ma odwrotny domyślny wybór niż większość modeli: głównie mężczyźni przy depresji, fobii społecznej i PTSD, zero kobiet przy ADHD i autyzmie, a jednocześnie 100% kobiet przy borderline. Męski domyślny wybór to inny bias, a nie mniejszy.

W serii OpenAI wybory przy zaburzeniach osobowości przeskakują między kolejnymi wersjami, co sugeruje, że wynikają z dostrajania modelu, a nie są stałą cechą rodziny. Różnice między firmami z USA, Chin i Europy są małe. Siedem modeli lokalnych nie wypadło gorzej niż modele API; polski PLLuM 12B był w ścisłej czołówce, a Bielik 11B jako jedyny trafił w wartość odniesienia przy osobowości antyspołecznej.

• Materiały szkoleniowe. Osoba ucząca się zawodu, która spotyka wyłącznie kobiety z borderline i mężczyzn z osobowością antyspołeczną, może nabrać silniejszych założeń, niż uzasadnia epidemiologia, i to w tych zaburzeniach, w których nadrozpoznawanie u kobiet (borderline) i niedorozpoznawanie u kobiet (autyzm, ADHD) to opisane problemy kliniczne.
• Generowanie syntetycznych pacjentów i zbiorów testowych. Płeć i inne cechy demograficzne warto ustalać jawnie, z docelowego rozkładu, zamiast zostawiać je modelowi, a wygenerowane grupy porównywać z wartościami odniesienia.
• Wybór modelu. W naszej próbie ani data premiery, ani region, ani rozmiar, ani uruchomienie lokalne nie przewidywały biasu, a zmieniał się on między wersjami. Każdą wdrażaną wersję modelu trzeba zmierzyć osobno.

• Jeden szablon polecenia. Wyniki opisują domyślne zachowanie przy krótkim poleceniu bez promptu systemowego i kontekstu klinicznego; wdrożone aplikacje mogą działać inaczej.
• Przybliżone wartości odniesienia. Proporcje płci zależą od kraju, miejsca i praktyki diagnostycznej; borderline jest częstszy u kobiet w próbach klinicznych, ale bliżej równowagi w badaniach populacyjnych.
• Tłumaczenie i rodzaj gramatyczny. Nazwy zaburzeń tłumaczyliśmy sami i w każdym języku mogą mieć inne konotacje.
• Routing API. Ten sam model może być obsługiwany przez różnych dostawców; dostawca każdego wywołania jest zapisany w zbiorze.
• Analiza binarna na odpowiedziach kobieta/mężczyzna; pozostałe raportujemy osobno. Parser jest regułowy i sprawdzony dla każdego modelu.

Co jest w ZIP-ie

• paper/: artykuł w PDF (po angielsku)
• data/responses.csv i .parquet: każda odpowiedź z modelem, językiem, warunkiem, surowym tekstem oraz odczytanym imieniem, płcią, wiekiem i zawodem
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: skrypty zbierania danych, parsowania i analizy
• figures/: wykresy z tej strony
• README_PL.md i README.md: opis zbioru. Licencja CC BY 4.0.

Jak cytować

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}