Kurz notiert: Gender Bias lässt sich linear erfassen

Gender Bias ist das am häufigsten untersuchte Fairness-Problem in der automatischen Verarbeitung natürlicher Sprache (engl. Natural Language Processing, NLP). In ihrem kürzlich erschienenen EMNLP-2020-Artikel zeigen Vargas & Cotterell, dass sich Gender Bias innerhalb des Word Embedding-Raums linear erfassen lässt; diese Annahme trafen Bolukbasi et al. in ihrer Arbeit zu Gender Debiasing nur implizit.

Obwohl Bolukbasi et al. (2016)s Ansatz als fehlerhaft kritisiert wurde, sind Vargas & Cotterell der Ansicht, dass er weit genug verbreitet ist, um sich ihrer in einer Analyse anzunehmen. Sie zeigen daher, dass Bolukbasi et al. (2016)s Ansatz, einen (linearen) Gender Bias-Unterraum per Singulärwertzerlegung (engl. Singular Value Decomposition, SVD) zu extrahieren, auch als die Durchführung einer Hauptkomponentenanalyse (engl. Principal Component Analysis, PCA) — einer linearen Methode — formuliert werden kann. Sie „kernalizen“ diese PCA-Reformulierung, was es ihnen erlaubt, auch nicht-lineare Gender Bias-Unterräume aus dem Word Embedding-Raum zu extrahieren. Anhand verschiedener Benchmarks zeigen sie dann, dass ihre nicht-lineare Gender Debiasing-Methoden keinen nennenswerten Leistungsvorteil gegenüber der linearen Variante bieten.

In der Praxis bedeutet das:

Obwohl lineares Debiasing nicht perfekt ist, ist es dennoch eine praktikable Option, um dem Gender Bias in Word Embedding-Modellen entgegenzuwirken.

Statt Word Embedding-Modelle zu debiasen, sollten idealerweise aber die Daten, die zum Trainieren der Modelle verwendet werden, einem Debiasing unterzogen werden. Wenn weder das eine noch das andere möglich ist, sollte (potenzieller) Bias klar kommuniziert werden, bspw. in sog. model cards.

.

Kontakt

Nicht alle wichtigen Informationen
stehen in Tabellen.

Nutzen Sie auch das, was sich in den Texten und Grafiken Ihrer Berichte befindet. Schreiben Sie uns!