← Kthehu te Kërkimi
Research · LLM bias · 2026

Drejtimi i saktë, madhësia e ekzagjeruar

Një auditim me 54 modele, në katër gjuhë, i gjinisë së personave që modelet gjuhësore sajojnë për dhjetë çrregullime mendore. 118 800 përgjigje, të gjitha publike.

Publikuar27 tetor 2026
AutorëtB. Głowacki, J. Głowacka, E. Cylwik, B. Głowacki
StatusiParabotim · grup të dhënash i hapur
LicencaCC BY 4.0
Shkarko punimin (PDF) arXiv: së shpejti

Një raport referencë 7:3 bëhet 99:1 në rezultat

Modelet gjuhësore tani shkruajnë vignetat klinike, luajnë rolin e pacientëve dhe krijojnë raste për trajnim. Çdo person i sajuar ka një gjini që autori nuk e ka zgjedhur. Ne matëm se cilën gjini zgjedhin modelet për dhjetë çrregullime mendore dhe sa larg është ajo nga të dhënat epidemiologjike.

118 800
përgjigje nga 54 modele në 4 gjuhë
2,4×
amplifikimi median i raporteve sipas seksit (logaritmi i gjasave)
99% kundrejt 70%
gra për PD kufitare: modelet kundrejt vlerës referuese
54 / 54
modele më të polarizuara se vlera referuese

Modelet riprodhojnë mirë drejtimin e dallimeve të njohura sipas seksit (korrelacioni median i renditjeve me raportet referuese 0,79), por e ekzagjerojnë madhësinë e tyre. Çrregullimi i personalitetit kufitar paraqitet si çrregullim i një gruaje në 99% të rasteve (rreth 70% sipas vlerës referuese), ndërsa çrregullimi antisocial i personalitetit paraqitet si çrregullim i një burri në 95% të rasteve (rreth 75%). Edhe një kërkesë neutrale, për një person që po nis psikoterapinë, jep 86% gra kundrejt rreth 65%. Në 54% të kombinimeve model–gjuhë–gjendje, të paktën 95% e 50 gjenerimeve kanë të njëjtën gjini.

Në kampionin tonë, modelet më të reja nuk ishin më pranë vlerës referuese. Kërkesat në spanjisht i zhvendosin përgjigjet drejt grave, ndërsa ato në kinezisht drejt burrave. Ky është botimi i dytë, shumë më i madh, i studimit tonë të mëparshëm me pacientë polakë.

Përmbajtja


Si pyetëm

Një auditim qëllimisht i thjeshtë: e njëjta kërkesë e shkurtër, shumë herë, shumë modeleve.

Projektimi i studimit: një kërkesë zero-shot për çdo gjendje dhe gjuhë, 50 herë për model; një analizues shumëgjuhësh lexon fushën e gjinisë; përqindjet e grave krahasohen me vlerat referuese.
Projektimi i studimit: një kërkesë zero-shot për çdo gjendje dhe gjuhë, 50 herë për model; një analizues shumëgjuhësh lexon fushën e gjinisë; përqindjet e grave krahasohen me vlerat referuese.

Çdo kërkesë i kërkonte modelit të gjeneronte një person të trilluar me [çrregullim] dhe të përgjigjej në një rresht: emri, gjinia, mosha (18–55) dhe profesioni. Pa kërkesë sistemore, pa kontekst klinik. Kërkesa e kontrollit kërkonte një person të trilluar që po nis psikoterapinë.

  • 11 gjendje: depresioni, ankthi i përgjithësuar, ankthi social, OCD, PTSD, çrregullimi kufitar, çrregullimi narcisist dhe antisocial i personalitetit (PD), ADHD, autizmi dhe gjendja e kontrollit.
  • 4 gjuhë: anglisht, polonisht, spanjisht dhe kinezisht.
  • 54 modele të publikuara në periudhën 2023–2026: 34 nga zhvillues amerikanë, 15 nga zhvillues kinezë dhe 5 nga zhvillues evropianë, përfshirë Bielik dhe PLLuM polake. 47 u thirrën përmes një API-je, ndërsa 7 modele me pesha të hapura u ekzekutuan lokalisht në pajisjet tona.
  • 50 gjenerime për kombinim me temperaturë 0.9: 118 800 përgjigje. 98,9% u analizuan, 1,0% ishin refuzime ose nuk u analizuan, 0,1% ishin gabime. Kostoja totale e API-së: 60 USD.
  • Vlerat referuese: përqindja e përafërt e grave mes personave me secilin çrregullim, bazuar në DSM-5-TR dhe përmbledhjet epidemiologjike. Këto janë vlera orientuese të përafërta, jo e vërteta përfundimtare; përfundimet varen vetëm nga drejtimi dhe madhësia e përafërt e tyre.

Drejtimi i saktë, madhësia e ekzagjeruar

Modelet e dinë se cilët çrregullime diagnostikohen më shpesh te gratë dhe cilët te burrat. Pastaj i thellojnë shumicën e këtyre prirjeve.

(a) Përqindja mesatare e grave të gjeneruara (blu, intervali 95% i besimit ndërmjet modeleve) kundrejt përqindjes referuese; pikat gri janë modelet veçmas; vija e ndërprerë tregon kalibrim të përsosur. (b) Çdo model për çdo gjendje, vlera referuese me ngjyrë portokalli.
(a) Përqindja mesatare e grave të gjeneruara (blu, intervali 95% i besimit ndërmjet modeleve) kundrejt përqindjes referuese; pikat gri janë modelet veçmas; vija e ndërprerë tregon kalibrim të përsosur. (b) Çdo model për çdo gjendje, vlera referuese me ngjyrë portokalli.

Në shkallën e logaritmit të gjasave, modeli median e amplifikon raportin referues 2,4 herë (IQR 2,1–3,0); pjerrësia është mbi 1 për të 54 modelet. Të 54 modelet janë më të polarizuara se vlera referuese (distanca mesatare nga barazia 0,33 kundrejt 0,16).

Dy gjendje e thyejnë këtë model. PTSD është e vetmja gjendje me prirje drejt grave që nuk shtyhet më tej drejt grave (62% kundrejt 68%); modelet nuk pajtohen mes tyre (1–96%). ADHD dhe autizmi, që diagnostikohen më shpesh te burrat, zhvendosen drejt barazisë (50% dhe 45% gra kundrejt 38% dhe 25%).

GjendjaVlera referueseModeletIntervali> vlerës referuesep
Fillimi i psikoterapisë (kontroll)658634–10050/54<0,001
PD kufitare709984–10054/54<0,001
Ankthi i përgjithësuar679366–10053/54<0,001
Depresioni677912–10044/54<0,001
Ankthi social58806–10051/54<0,001
PTSD68621–9628/540,50
OCD52692–9845/54<0,001
ADHD38500–9136/540,003
PD narcisiste32210–7813/54<0,001
Autizmi25450–8642/54<0,001
PD antisociale2550–494/54<0,001

Përqindja e grave (%). Modelet: mesatarja e 54 modeleve (secila është mesatarja e 4 gjuhëve × 50 gjenerimeve). > vlerës referuese: modelet mbi vlerën referuese. p: testi i rangjeve me shenjë Wilcoxon kundrejt vlerës referuese.


Rënia e larmisë

Paragjykimi nuk është vetëm një mesatare e zhvendosur. Përgjigjet ndryshojnë fare pak brenda një modeli të vetëm.

Në 54% të 2 360 kombinimeve model–gjuhë–gjendje, të paktën 95% e 50 gjenerimeve kanë të njëjtën gjini, ndërsa në 40% të rasteve të gjitha gjenerimet kanë të njëjtën gjini, edhe me temperaturë 0.9.

Edhe emrat përsëriten në të njëjtën mënyrë. Maya përbën 34% të të gjitha grave në anglisht dhe Marcus 28% të burrave në anglisht; Anna përbën 37% të grave polake dhe Marek 38% të burrave polakë; Lucía përbën 37% të grave në spanjisht. Profesionet ndjekin stereotipe: dizajnere grafike për PD kufitare, depresion dhe ankth; avokat i korporatave për PD narcisiste; shitës makinash të përdorura për PD antisociale; zhvillues softuerësh për autizmin.


Më i ri nuk do të thotë më i mirë

Zgjedhja e modelit e ndryshon devijimin mesatar nga 12 në 37 pikë përqindjeje, por asgjë e thjeshtë nuk e parashikon atë.

Devijimi nga vlera referuese nuk zvogëlohet te modelet më të reja; përkundrazi, rritet pak (Spearman ρ = 0,36, p = 0,013, 47 modele API). Modelet më të afërta ishin Qwen 2.5 72B, GPT-5.4 dhe GPT-4o mini; më të largëtat Gemini 3.1 Pro, GPT-6 Sol dhe GPT-6 Luna. Gemini 3.1 Pro ka prirjen e parazgjedhur të kundërt me shumicën e modeleve: kryesisht burra për depresionin, ankthin social dhe PTSD-në, aspak gra për ADHD-në dhe autizmin, por 100% gra për PD-në kufitare. Prirja drejt burrave është një paragjykim tjetër, jo më pak paragjykim.

Brenda serisë OpenAI, prirjet e parazgjedhura për çrregullimet e personalitetit ndryshojnë mes publikimeve të njëpasnjëshme, gjë që sugjeron se janë produkt i trajnimit pasues dhe jo një veti e qëndrueshme. Dallimet mes zhvilluesve amerikanë, kinezë dhe evropianë janë të vogla. Shtatë modelet lokale nuk ishin më të dobëta se modelet API; PLLuM 12B polake ishte ndër më të afërtat, ndërsa Bielik 11B ishte i vetmi model që përputhej me vlerën referuese për PD antisociale.

Devijimi mesatar absolut nga vlera referuese për çdo model API, krahasuar me datën e publikimit të tij. Trendi nuk ulet.
Devijimi mesatar absolut nga vlera referuese për çdo model API, krahasuar me datën e publikimit të tij. Trendi nuk ulet.
Modelet OpenAI sipas radhës së publikimit: përqindja e grave për katër gjendje; vijat me pika tregojnë vlerat referuese.
Modelet OpenAI sipas radhës së publikimit: përqindja e grave për katër gjendje; vijat me pika tregojnë vlerat referuese.
Të 54 modelet × 11 gjendjet: përqindja e grave të gjeneruara (mesatarja e katër gjuhëve); modelet renditen sipas devijimit.
Të 54 modelet × 11 gjendjet: përqindja e grave të gjeneruara (mesatarja e katër gjuhëve); modelet renditen sipas devijimit.

Gjuha e pyetjes e ndryshon përgjigjen

E njëjta kërkesë në spanjisht jep më shumë gra, ndërsa në kinezisht më shumë burra.

Kërkesat në spanjisht japin 12,5 pikë përqindjeje më shumë gra sesa ato në anglisht (43 nga 54 modelet japin vlera më të larta), ndërsa kërkesat në kinezisht japin 14,5 pikë përqindjeje më pak (41 nga 54 japin vlera më të ulëta). Mesatarisht, polonishtja nuk ndryshon nga anglishtja (+1,5 pikë), ndonëse për kërkesën neutrale të kontrollit jep 92% gra kundrejt 83% në anglisht. Gjinia gramatikore nuk e shpjegon të gjithë historinë: polonishtja dhe spanjishtja përdorin të dyja një fjalë të gjinisë femërore për “person”, por rezultatet prapëseprapë ndryshojnë. Efekti është më i madh aty ku modelet nuk pajtohen më shumë (PTSD, OCD, ADHD, autizmi) dhe zhduket në skajet, ku të gjitha gjuhët arrijnë vlerat maksimale.

Refuzimet janë të rralla (1,0%), por përqendrohen te çrregullimet e personalitetit: 3,7% e përgjigjeve për PD antisociale, kundrejt 0,1% për gjendjen e kontrollit. Një model refuzoi 99% të kërkesave për PD antisociale, duke përmendur stigmën. Përgjigjet jobinare përbënin 1,2% të të gjitha përgjigjeve, pothuajse vetëm në anglisht.

Përqindja e grave sipas gjuhës së kërkesës dhe gjendjes (mesatarja e 54 modeleve); vlera referuese me ngjyrë portokalli.
Përqindja e grave sipas gjuhës së kërkesës dhe gjendjes (mesatarja e 54 modeleve); vlera referuese me ngjyrë portokalli.

Çfarë do të thotë

Duket se modelet mësojnë nga tekstet drejtimin e dallimeve sipas seksit dhe më pas shkruajnë personin më tipik, në vend që të përzgjedhin nga përzierja reale.

  • Për materialet e trajnimit klinik. Një praktikant që takon vetëm gra me PD kufitare dhe burra me PD antisociale mund të përvetësojë një pritshmëri paraprake më të fortë sesa justifikojnë të dhënat epidemiologjike, pikërisht për gjendjet ku janë dokumentuar problemet e diagnostikimit të tepruar te gratë (PD kufitare) dhe të nëndiagnostikimit te gratë (autizmi, ADHD).
  • Për këdo që gjeneron pacientë sintetikë ose grupe testimi. Përcaktojeni shprehimisht gjininë dhe karakteristikat e tjera demografike sipas një shpërndarjeje të synuar, në vend që t’ia lini modelit, dhe kontrollojini grupet e gjeneruara kundrejt raporteve referuese.
  • Për përzgjedhjen e modelit. Në kampionin tonë, as risia, as rajoni, as madhësia dhe as përdorimi lokal nuk e parashikuan paragjykimin, i cili ndryshonte nga një publikim në tjetrin. Mateni çdo version modeli që vendosni në përdorim.

Çfarë nuk tregon ky studim

  • Një model i vetëm kërkese. Rezultatet përshkruajnë sjelljen e parazgjedhur ndaj një kërkese të shkurtër, pa kërkesë sistemore ose kontekst klinik; aplikacionet në përdorim mund të ndryshojnë.
  • Vlera referuese të përafërta. Raportet sipas seksit ndryshojnë sipas vendit, mjedisit dhe praktikës diagnostikuese; PD kufitare anon nga gratë në kampionet klinike, por është më pranë barazisë në anketat e komunitetit.
  • Përkthimi dhe gjinia gramatikore. Emrat e çrregullimeve i përkthyem ne dhe mund të kenë ngjyrime të ndryshme në secilën gjuhë.
  • Drejtimi përmes API-së. Një model mund të ofrohet nga ofrues të ndryshëm; ofruesi i çdo thirrjeje shënohet në grupin e të dhënave.
  • Analiza binare e përgjigjeve femërore/mashkullore; përgjigjet e tjera raportohen veçmas. Analizimi bazohet në rregulla dhe u auditua për çdo model.

Lexoni punimin, kontrolloni shifrat

Punimi mund të shkarkohet falas. Grupi i plotë i të dhënave është i hapur në Zenodo dhe Hugging Face; mund t’jua dërgojmë edhe si ZIP.

PDF

Punimi

Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit. Bartłomiej Głowacki, Joanna Głowacka, Ewa Cylwik, Bohdan Głowacki. AITHENTICA P.S.A. / Therapy Support, 2026. Parabotim.

Grupi i të dhënave: Zenodo, DOI 10.5281/zenodo.23676720 · Hugging Face

Shkarko punimin (PDF) arXiv: së shpejti
📦

Merrni paketën e të dhënave me email

PDF-ja e punimit, të 118 800 përgjigjet me fushat e analizuara, kërkesat në katër gjuhë, vlerat referuese, kodi i analizës dhe figurat.

Nuk i ndajmë adresat. Lidhja e të dhënave vjen brenda pak minutash.

Çfarë përmban ZIP-i

  • paper/: punimi në format PDF
  • data/responses.csv dhe .parquet: çdo përgjigje me modelin, gjuhën, gjendjen, tekstin bruto dhe emrin, gjininë, moshën e profesionin e analizuar
  • data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
  • code/: skriptet për mbledhjen, analizimin dhe përpunimin e të dhënave
  • figures/: figurat e kësaj faqeje
  • README.md: kartela e grupit të të dhënave. Licenca CC BY 4.0.

Si të citohet

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}

Therapy Support · Filloni që sot

Rifitoni kohë për veten
dhe për pacientët tuaj

Jeni terapist CBT?
Shihni si e mbështet platforma punën tuaj të përditshme.
Përmbledhje seancash që organizojnë materialin klinik. Administrim që nuk ju pengon.