Festgelegte Testdateien
Für jede ausgewertete Datei müssen die tatsächliche Klasse, der Lizenz- oder Einwilligungsstatus, eine dauerhafte Kennung und ein kryptografischer Hash dokumentiert sein.
Öffentliche Detektorevaluation
Testprotokoll für den Deepfake-Detektorvergleich.
Ein versioniertes Protokoll zur Messung der Erkennungsleistung bei Bildern, Videos und Audio unter realistischen Qualitätsveränderungen. Ranglisten bleiben unveröffentlicht, bis der gekennzeichnete Datensatz, das Ausführungsprotokoll und sämtliche Veröffentlichungskriterien vollständig vorliegen.
ZWECK DES PROTOKOLLS
Ein funktionierender Upload sagt nichts über die Erkennungsgenauigkeit aus.
Funktionstests nach einer Bereitstellung bestätigen, dass ein Endpunkt eine Datei annimmt und einen Bericht zurückgibt. Aussagen zur Genauigkeit erfordern dokumentierte Referenzwerte, repräsentative Stichproben, festgelegte Detektorversionen und Kennzahlen, die Fehler berücksichtigen. Diese Seite trennt die beiden Arten von Aussagen.
Festgelegte Testläufe
Detektorname, Modellversion, Schwellenwert, Einstellungen, Zeitstempel, Fehler und Kosten werden vor dem Vergleich dokumentiert.
Stärken und Schwächen sichtbar machen
Fehlalarme, übersehene Manipulationen, ausbleibende Bewertungen und Ergebnisse einzelner Teilgruppen werden separat ausgewiesen und nicht auf einen einzigen Prozentwert reduziert.
AUFBAU DES DATENSATZES
Drei Medientypen mit jeweils drei Hauptklassen.
Protokoll v1 verlangt mindestens 200 geeignete Dateien je Hauptklasse und Medientyp, bevor ein Ergebnis veröffentlicht wird. Die Erkennung von KI-Texten ist ausgeschlossen, da sie einen eigenen Datensatz und gesondert definierte Referenzwerte erfordert.
| Medientyp | Echte Aufnahme | Vollständig synthetisch | Teilweise manipuliert |
|---|---|---|---|
| Bild | Kameraaufnahmen und bearbeitete Fotos | Vollständig generierte Bilder | Ausgetauschte Gesichter und örtlich begrenzte Bearbeitungen |
| Video | Originalclips und konventionell bearbeitete Videos | Vollständig generierte Videos | Manipulation von Gesicht, Lippenbewegungen und Identität |
| Audio | Aufgenommene und konventionell bearbeitete Sprache | Sprachsynthese und Stimmerzeugung | Stimmumwandlung und teilweise ersetzte Aufnahmen |
QUALITÄTSBEDINGUNGEN
- Verfügbares Original in höchster Qualität
- Erneute Kompression durch Plattformen
- Größenänderung oder Zuschnitt
- Screenshot oder Bildschirmaufnahme
ERFORDERLICHE KENNZAHLEN
Auch die Folgen von Fehlentscheidungen messen.
Ausgewogene Genauigkeit (Balanced Accuracy)
Verhindert, dass ungleich große Klassen eine schwache Erkennung in einer Klasse verdecken.
Falsch-Positiv-Rate
Zeigt, wie häufig echte Inhalte fälschlich als auffällig eingestuft werden.
Falsch-Negativ-Rate
Zeigt, wie häufig synthetische oder manipulierte Inhalte übersehen werden.
Makro-F1-Wert
Gewichtet jede Hauptklasse gleich.
Kalibrierungsfehler
Prüft, ob die angegebene Modellsicherheit mit den beobachteten Häufigkeiten übereinstimmt.
Anteil ohne Bewertung
Zeigt, wie häufig ein Detektor keine Bewertung abgibt oder eine Datei nicht verarbeiten kann.
Verarbeitungszeit und Kosten
Misst neben der Genauigkeit auch die Leistung im praktischen Betrieb.
VERÖFFENTLICHUNGSKRITERIEN
Ergebnisse werden erst veröffentlicht, wenn alle Kriterien erfüllt sind.
- Datensatz vor der Auswertung festgelegt
Schwierige Dateien werden nach Bekanntwerden der Ergebnisse nicht ausgetauscht.
- Rechte und Einwilligungen geprüft
Quelle, Lizenz und erlaubte Nutzung für die Auswertung sind dokumentiert.
- Prüfung auf Datenüberschneidungen abgeschlossen
Aufnahme- und Generatorfamilien werden getrennt, soweit der Versuchsaufbau dies erfordert.
- Jede Teilgruppe erreicht die Mindestgröße
Kleine, bequem ausgewählte Teilmengen ersetzen nicht den vollständigen Testaufbau.
- Fehlgeschlagene Prüfungen bleiben in der Gesamtzahl enthalten
Zeitüberschreitungen, nicht unterstützte Dateien und ausbleibende Bewertungen werden nicht ausgeblendet.
- Festgelegter Testlauf reproduziert
Tabellen und Konfidenzintervalle lassen sich aus den veröffentlichten Eingabedaten und dem Ausführungsprotokoll erneut berechnen.
ÖFFENTLICHES ERGEBNISVERZEICHNIS
Es liegt noch keine Detektor-Rangliste vor.
Das ist beabsichtigt. Ein Platzhalterwert oder ein Vergleich weniger handverlesener Dateien würde eine Aussage nahelegen, die durch die Daten nicht gedeckt ist. Die erste Ergebnistabelle erscheint hier, sobald alle Kriterien von v1 erfüllt sind.
- Protokoll
- v1.0.0 · veröffentlicht
- Datensatzverzeichnis
- ausstehend
- Verzeichnis der Testläufe
- ausstehend
- Ergebnisse und Konfidenzintervalle
- ausstehend
REPRODUZIERBARKEIT UND KORREKTUREN
Ein Vergleichstest muss überprüfbar sein.
Jede künftige Veröffentlichung bewahrt die Protokollversion, das Dateiverzeichnis mit Hashwerten, Detektorversionen, Schwellenwerte, Zeitstempel, fehlgeschlagene Anfragen und den Korrekturverlauf. Wesentliche Korrekturen werden im Versionsverlauf dokumentiert, statt frühere Ergebnisse stillschweigend zu ersetzen.
Versionierte Änderungen
Änderungen am Protokoll, Datensatz und Testlauf erhalten jeweils eigene Versionskennungen.
Schwellenwerte offenlegen
Standardwerte und angepasste Entscheidungsschwellen werden getrennt angegeben.
Keine Echtheitsgarantie
Ein Vergleichsergebnis beschreibt die Leistung im Test. Es bietet keine Gewissheit für jede künftig geprüfte Datei.
Haben Sie einen Fehler im Protokoll oder einen reproduzierbaren Fehler gefunden? Nennen Sie die Protokollversion und den betroffenen Abschnitt und fügen Sie entsprechende Belege bei.
Korrektur melden