[featured_image

Der Artikel "On the frequency bias of generative models" von Katja Schwarz, Yiyi Liao und Andreas Geiger untersucht die systematischen Artefakte in den spektralen Statistiken von generierten Bildern und vereint die bisherigen Bemühungen in diesem Bereich. Es ist wichtig zu beachten, dass der Artikel nicht direkt auf Vorurteile und Stereotypen eingeht, sondern auf die Frequenzverzerrungen in generativen Modellen, die zu systematischen Artefakten in den generierten Bildern führen können.

Die Autoren stellen fest, dass die Upsampling-Operationen in den Generatoren eine Frequenzverzerrung verursachen können, die jedoch allein die spektralen Diskrepanzen nicht erklärt. Sie stimmen mit anderen Forschungen überein, dass die Verbesserung des Diskriminators uns einen Schritt näher an das Erlernen der korrekten Datenverteilung bringt. Allerdings können keine der bestehenden Maßnahmen die spektralen Statistiken vollständig wiederherstellen, so dass generierte Bilder immer noch leicht allein aufgrund ihrer Spektren klassifiziert werden können.

Die Autoren analysieren auch die Auswirkungen des spektralen Diskriminators auf das Training von GANs. Sie stellen fest, dass der spektrale Diskriminator in der Lage ist, den Peak bei der höchsten Frequenz für sowohl Zero-Insertion- als auch Reshaping-Upsampling erheblich zu reduzieren. Allerdings bleibt die Amplitude bei den höchsten Frequenzen leicht erhöht, da der Generator nur durch den Diskriminator (real vs. fake) und nicht durch vollständige Grundwahrheitsspektren, die im Testbett berücksichtigt wurden, überwacht wird.

Die Autoren untersuchen auch den Effekt des spektralen Diskriminators auf StyleGAN2, ein state-of-the-art GAN-Modell. Sie stellen fest, dass es gemischte Ergebnisse gibt: Auf AFHQ Dog führt der spektrale Diskriminator zu einer starken Verbesserung des Spektrums, erhöht aber auch signifikant den FID (Frechet Inception Distance, ein Maß für die Qualität von generierten Bildern). Im Gegensatz dazu bleibt der FID auf FFHQ ähnlich, aber der spektrale Diskriminator verbessert die spektralen Statistiken nur leicht und kann den Peak bei der höchsten Frequenz nicht korrigieren.

Die Autoren schlagen vor, dass zukünftige Arbeiten alternative Downsampling-Operationen erforschen und Ansätze in Betracht ziehen sollten, die eine pixelgenaue Überwachung für den Diskriminator ermöglichen. Sie glauben, dass ihre Testbetten für den Generator und den Diskriminator als nützliche Werkzeuge für zukünftige Untersuchungen dienen können.

Zusammenfassend lässt sich sagen, dass der Artikel die Frequenzverzerrungen in generativen Modellen untersucht und feststellt, dass weder die Verbesserung des Diskriminators noch die Änderung der Upsampling-Operationen in den Generatoren die spektralen Diskrepanzen vollständig beheben können. Die Autoren betonen die Notwendigkeit weiterer Forschung in diesem Bereich.

Download
  • Version
  • Download
  • File Size 1.10 MB
  • File Count 1
  • Create Date 2023-07-04
  • Last Updated 2023-07-06