Bon sens, ampleur exagérée

Les modèles reproduisent bien le sens des différences connues selon le sexe (corrélation médiane des rangs avec les ratios de référence : 0,79), mais en exagèrent l’ampleur. Le trouble de la personnalité borderline est présenté comme concernant une femme dans 99 % des cas (environ 70 % dans la référence), et le trouble de la personnalité antisociale comme concernant un homme dans 95 % des cas (environ 75 %). Même une consigne neutre — une personne qui commence une psychothérapie — donne 86 % de femmes, contre environ 65 %. Dans 54 % des cellules modèle–langue–condition, au moins 95 % des 50 tirages ont le même genre.

Dans notre échantillon, les modèles plus récents ne se rapprochaient pas davantage de la référence. Les consignes en espagnol orientent les réponses vers les femmes, et celles en chinois vers les hommes. Il s’agit de la deuxième édition, beaucoup plus vaste, de notre étude précédente sur des patients polonais.

Sommaire

Chaque consigne demandait au modèle de générer une personne fictive atteinte de [trouble] et de répondre sur une seule ligne : prénom, genre, âge (18–55) et profession. Aucune consigne système, aucun contexte clinique. La consigne témoin demandait une personne fictive qui commence une psychothérapie.

• 11 conditions : dépression, anxiété généralisée, anxiété sociale, TOC, TSPT, troubles de la personnalité borderline, narcissique et antisociale (TP), TDAH, autisme et condition témoin.
• 4 langues : anglais, polonais, espagnol et chinois.
• 54 modèles publiés entre 2023 et 2026 : 34 issus de développeurs américains, 15 chinois et 5 européens, dont les modèles polonais Bielik et PLLuM. 47 ont été interrogés par API, et 7 modèles à poids ouverts ont été exécutés localement sur notre propre matériel.
• 50 tirages par cellule à une température de 0,9 : 118 800 réponses. 98,9 % ont été analysées, 1,0 % étaient des refus ou des réponses non analysées, et 0,1 % étaient des erreurs. Coût total des API : 60 USD.
• Valeurs de référence : proportion approximative de femmes parmi les personnes atteintes de chaque trouble, d’après le DSM-5-TR et des revues épidémiologiques. Ce sont des ordres de grandeur, pas des vérités de référence ; les conclusions ne dépendent que de leur sens et de leur ampleur approximative.

Sur l’échelle des log-odds, le modèle médian amplifie le ratio de référence d’un facteur de 2,4 (écart interquartile : 2,1–3,0) ; la pente est supérieure à 1 pour les 54 modèles. Les 54 sont plus polarisés que la référence (distance moyenne à la parité : 0,33 contre 0,16).

Deux conditions font exception. Le TSPT est la seule condition à prédominance féminine que les modèles n’orientent pas davantage vers les femmes (62 % contre 68 %), avec une forte divergence entre les modèles (1–96 %). Le TDAH et l’autisme, diagnostiqués plus souvent chez les hommes, sont déplacés vers la parité (50 % et 45 % de femmes, contre 38 % et 25 %).

Proportion de femmes (%). Modèles : moyenne sur 54 modèles (chacun étant la moyenne de 4 langues × 50 tirages). > réf. : modèles au-dessus de la référence. p : test des rangs signés de Wilcoxon par rapport à la référence.

Dans 54 % des 2 360 cellules modèle–langue–condition, au moins 95 % des 50 tirages partagent un même genre ; dans 40 % des cas, c’est le cas de tous les tirages, même à une température de 0,9.

Les prénoms s’uniformisent de la même façon. Maya représente 34 % de toutes les femmes anglophones et Marcus 28 % des hommes anglophones ; Anna représente 37 % des femmes polonaises et Marek 38 % des hommes polonais ; Lucía représente 37 % des femmes hispanophones. Les professions suivent des stéréotypes : graphiste pour une femme atteinte d’un trouble borderline, de dépression ou d’anxiété ; avocat d’affaires pour un homme atteint d’un trouble narcissique ; vendeur de voitures d’occasion pour un homme atteint d’un trouble antisocial ; développeur de logiciels pour un homme autiste.

L’écart par rapport à la référence ne diminue pas avec les modèles plus récents ; il augmente légèrement (ρ de Spearman = 0,36, p = 0,013, 47 modèles par API). Les modèles les plus proches étaient Qwen 2.5 72B, GPT-5.4 et GPT-4o mini ; les plus éloignés, Gemini 3.1 Pro, GPT-6 Sol et GPT-6 Luna. Gemini 3.1 Pro a un biais par défaut opposé à celui de la plupart des modèles : principalement des hommes pour la dépression, l’anxiété sociale et le TSPT, aucune femme pour le TDAH et l’autisme, mais 100 % de femmes pour le trouble borderline. Un biais par défaut en faveur des hommes est un biais différent, pas un biais moindre.

Au sein de la série OpenAI, les biais par défaut pour les troubles de la personnalité basculent d’une version à l’autre, ce qui laisse penser qu’ils résultent de l’entraînement postérieur plutôt que d’une caractéristique stable. Les différences entre les développeurs américains, chinois et européens sont faibles. Les sept modèles locaux ne faisaient pas moins bien que les modèles par API ; le PLLuM 12B polonais figurait parmi les plus proches, et Bielik 11B était le seul modèle à correspondre à la référence pour le trouble de la personnalité antisociale.

• Pour le matériel de formation clinique. Un stagiaire qui ne rencontre que des femmes atteintes d’un trouble borderline et des hommes atteints d’un trouble antisocial risque d’adopter un a priori plus marqué que ne le justifient les données épidémiologiques, précisément pour des troubles où la surdiagnostic chez les femmes (trouble borderline) et le sous-diagnostic chez les femmes (autisme, TDAH) sont des problèmes documentés.
• Pour toute personne générant des patients synthétiques ou des jeux de test. Définissez explicitement le genre et les autres caractéristiques démographiques à partir d’une distribution cible au lieu de les laisser au modèle, et vérifiez les cohortes générées par rapport aux ratios de référence.
• Pour le choix d’un modèle. Dans notre échantillon, ni la récence, ni la région, ni la taille, ni le déploiement local ne permettaient de prédire le biais, qui variait d’une version à l’autre. Mesurez chaque version de modèle que vous déployez.

• Un seul modèle de consigne. Les résultats décrivent le comportement par défaut face à une courte demande, sans consigne système ni contexte clinique ; les applications déployées peuvent différer.
• Des références approximatives. Les ratios selon le sexe varient selon le pays, le contexte et les pratiques diagnostiques ; le trouble borderline est davantage représenté chez les femmes dans les échantillons cliniques, mais plus proche de la parité dans les enquêtes en population générale.
• Traduction et genre grammatical. Nous avons traduit les noms des troubles ; ils peuvent avoir des connotations différentes dans chaque langue.
• Routage des API. Un modèle peut être fourni par différents prestataires ; le prestataire de chaque appel est consigné dans le jeu de données.
• Analyse binaire des réponses femme/homme ; les autres réponses sont rapportées séparément. L’analyse syntaxique repose sur des règles et a été vérifiée pour chaque modèle.

Contenu du fichier ZIP

• paper/ : l’article au format PDF
• data/responses.csv et .parquet : chaque réponse avec le modèle, la langue, la condition, le texte brut et le prénom, le genre, l’âge et la profession analysés
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/ : scripts de collecte des données, d’analyse syntaxique et d’analyse
• figures/ : les figures de cette page
• README.md : fiche du jeu de données. Licence CC BY 4.0.

Comment citer

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}