[featured_image

Der Artikel "Measuring and Mitigating Bias in Vision-and-Language Models" von Feiyang Chen und Zi-Yi Dou konzentriert sich auf die Erkennung und Minderung von gesellschaftlichen Vorurteilen, insbesondere Geschlechts- und Rassenbias, in Vision-and-Language (VL) Modellen. Die Autoren stellen fest, dass solche Vorurteile in den Trainingsdaten kodiert sind und durch maschinelles Lernen verstärkt werden können, was potenziell marginalisierte Bevölkerungsgruppen schädigen kann.

Die Autoren schlagen zunächst eine Abruf-basierte Metrik vor, um Geschlechts- und Rassenbias in zwei repräsentativen VL-Modellen (CLIP und FIBER) zu messen. Sie nutzen dazu ein bestehendes Lexikon, das eine breite Palette von Konzepten in verschiedenen Bereichen abdeckt, um einen umfassenden Überblick über die Bias-Probleme der Modelle zu erhalten.

Nachdem die Autoren bestätigt haben, dass gesellschaftliche Vorurteile in VL-Modellen tatsächlich existieren, untersuchen sie, wie diese gemindert werden können. Sie schlagen zwei Methoden zur Entschärfung von VL-Modellen vor: Transformation auf Subraum-Ebene und Manipulation auf Neuronen-Ebene. Sie identifizieren spezifische Neuronen oder Subräume der Modellausgaben, die auf Bias-Attribute reagieren, und manipulieren diese, um die Bias zu mindern. Die vorgeschlagenen Methoden erfordern kein Training und funktionieren nur während der Testzeit, was es ermöglicht, sie auf jedes vorhandene Modell ohne Modifikationen anzuwenden.

Die Autoren führen umfangreiche Experimente auf den FairFace- und COCO-Datensätzen durch und demonstrieren, dass ihre Modelle erfolgreich die gesellschaftlichen Vorurteile in VL-Modellen reduzieren können, ohne die Modellleistung zu stark zu beeinträchtigen. Sie führen auch Analysen durch, um potenzielle Anwendungen ihrer Modelle auf nachgelagerte Aufgaben zu zeigen, einschließlich der Umkehrung von Geschlechtsneuronen zur Überarbeitung von Bildern und der Minderung des Bias in textgesteuerten Bildgenerierungsmodellen.

Die Autoren stellen fest, dass die Geschlechtsbias in ihren Modellen schwerwiegender ist als die Rassenbias. Sie schlagen zwei Methoden zur Reduzierung des Bias in Modellen vor, indem sie Geschlechtsneuronen oder -subräume identifizieren und manipulieren. Sie demonstrieren die Wirksamkeit und das Potenzial ihrer vorgeschlagenen Methoden. Zukünftige Forschungsrichtungen beinhalten die Untersuchung von Methoden auf mehr VL-Modellen sowie die Erforschung weiterer potenzieller Anwendungen der Manipulation von Geschlechtsneuronen.

Die Autoren schlagen vor, die gesellschaftlichen Vorurteile durch Durchführung einer Bild-Text-Retrieval für ein gegebenes Textkonzept zu messen. Ein ideales nicht voreingenommenes Modell würde Bilder mit ausgewogenem Geschlecht und Rasse abrufen, wenn ein neutrales Textkonzept gegeben ist. In diesem Projekt schlagen die Autoren vor, Entropie zu verwenden, um die Vielfalt der abgerufenen Bilder zu messen. Die Entropie ist ein Maß für die Unvorhersehbarkeit oder den Informationsgehalt einer Zufallsvariablen. In diesem Kontext wird sie verwendet, um die Vielfalt der abgerufenen Bilder zu quantifizieren. Ein höherer Entropiewert würde auf eine größere Vielfalt und damit auf weniger Vorurteile hindeuten. Durch die Messung der Entropie können die Autoren feststellen, ob das Modell dazu neigt, Bilder einer bestimmten Gruppe überproportional abzurufen, was auf ein Vorurteil hindeuten würde. Dieser Ansatz ermöglicht es, die Vorurteile in der Bild-Text-Retrieval-Aufgabe auf eine quantitative Weise zu messen und zu analysieren.

Download
  • Version
  • Download
  • File Size 2.90 MB
  • File Count 1
  • Create Date 2023-07-05
  • Last Updated 2023-07-06