Comment DeepfakePolicy établit un résultat

Précision de détection d’images annoncée

DeepfakePolicy annonce 98,8 % de précision pour la détection d’images, sur la base de plus d’un million d’analyses. Il s’agit de notre chiffre produit, et non d’une certification indépendante ou de la probabilité pour un fichier. Les résultats varient selon les données. Testez des fichiers représentatifs et étiquetés pour mesurer les faux positifs et les détections manquées dans votre cas.

Des analyses au rapport

Les analyses disponibles dépendent du type de contenu. Les signaux neuronaux, métadonnées du fichier et constats visuels sont regroupés dans un rapport, avec une recherche de sources publiques sur demande. Les Content Credentials C2PA peuvent être examinés séparément avec notre outil local.

Image et audio

• Analyse neuronale : recherche dans les images et fichiers audio compatibles des motifs associés à la génération par IA.
• Examen visuel des images : OpenAI examine l’anatomie, les contacts entre objets, la géométrie, les inscriptions, l’éclairage et les reflets.
• Retouches ordinaires : des modifications comme les légendes de mèmes sont évaluées séparément de la génération par IA.
• Constats contradictoires : si les analyses divergent, le rapport affiche cette divergence et conserve les constats préoccupants. La confiance d’un modèle dans une étiquette « réel » n’est pas traitée comme une garantie de 0 % de contenu IA.

Vidéo

• Analyses distinctes : les vidéos compatibles sont examinées pour la génération visuelle, la manipulation de visages et la parole synthétique.
• Résultat principal : le constat pertinent le plus fort contribue au résultat principal, tandis que les résultats distincts restent visibles.
• Signaux absents : l’absence de visage ou de voix ne rend pas une vidéo authentique.

Fichiers, archives ZIP, liens et documents

L’analyse photo et vidéo reste le parcours principal. Un lien public ou un document constitue un autre moyen d’intégrer des médias aux mêmes analyses. Rechercher des médias dans un lien ou choisir un document.

1. Préparer un aperçu : extraire les images compatibles d’un PDF, DOCX ou PPTX, ou récupérer les photos et vidéos accessibles référencées par une page publique. Les liens directs vers des photos, vidéos et PDF sont pris en charge dans les limites d’importation. Aucun détecteur n’est exécuté à cette étape.
2. Sélectionner les contenus : examinez les images ou lisez les vidéos disponibles, choisissez les fichiers et consultez leur coût individuel et total en crédits. Les copies identiques ne sont affichées qu’une fois. Les logos et icônes évidents des sites ne sont pas présélectionnés.
3. Lancer des analyses distinctes : chaque image ou vidéo sélectionnée suit son parcours habituel d’analyse. Le texte extrait facultatif est envoyé séparément à Pangram pour une analyse de rédaction IA. Le texte est décoché par défaut et possède son propre tarif et rapport.
4. Examiner et exporter : le lot comprend un rapport par fichier analysé, des scores individuels et une synthèse de l’état du traitement et de la vérification. Un CSV et un ZIP de rapports PDF sont disponibles. Nous ne calculons pas de moyenne des scores image, vidéo et texte pour produire un pourcentage d’authenticité du document.

Les images des PDF sont extraites sous forme de copies de pixels PNG. Cela ne restitue ni le fichier original de l’appareil photo, ni son historique de compression, ni toutes ses métadonnées. Les illustrations vectorielles, masques et certains types d’images intégrées peuvent ne pas être extraits. Les numéros de page sont conservés pour les PDF et les numéros de diapositive pour les présentations. Les images Word sont rattachées au corps, à l’en-tête ou au pied de page ; une pagination fixe ne peut être déduite de manière fiable.

Les importations acceptent des sources jusqu’à 20 Mo, des PDF jusqu’à 50 pages et des présentations jusqu’à 50 diapositives, avec un budget d’extraction de 24 Mo, une limite de 8 Mo par partie Office sélectionnée et de 4 mégapixels par image PDF décodée. L’aperçu d’une page contient jusqu’à 12 références de médias. Les vidéos importées doivent être des fichiers MP4, MOV ou WebM lisibles, de 60 secondes et 20 Mo maximum. Les documents protégés par mot de passe, pages nécessitant une connexion, lecteurs de plateformes intégrés et certains flux nécessitent un fichier direct. Le texte numérisé n’est pas transcrit automatiquement par OCR. L’aperçu indique les omissions et limites.

Pour les documents longs, le texte affiché est un échantillon de 20 000 caractères au maximum ; seul cet échantillon est analysé et facturé. Les documents originaux et corps de texte ne sont pas conservés avec les métadonnées du lot. Les lots personnels nécessitent de garder l’onglet ouvert pendant l’analyse. Les lots de photos et vidéos entreprise continuent sur le serveur après import. Les fichiers non encore importés doivent être sélectionnés à nouveau si vous fermez l’onglet.

Analyse facultative du texte par Pangram

Nous recherchons des motifs de rédaction dans des textes de 255 à 20 000 caractères. Les catégories « rédigé par IA », « assisté par IA » ou « rédigé par un humain » sont des estimations du modèle. Nous ne les avons pas validées indépendamment sur un banc d’essai représentatif. Elles ne prouvent pas qu’une personne précise a utilisé l’IA, n’établissent pas l’exactitude factuelle et ne déterminent pas si les images du document sont synthétiques.

Scores, observations visuelles et recherche de sources

Le détecteur, l’examen visuel et la recherche de sources répondent à des questions différentes. La conclusion suit le résultat structuré du détecteur. Un aspect réaliste ou une source publique correspondante n’annule pas un signal. Un désaccord est signalé pour examen ; les constats originaux restent disponibles.

L’échelle indique l’intensité des signaux liés à l’IA : vert de 0 à 20, orange au-dessus de 20 jusqu’à 65, rouge au-dessus de 65 jusqu’à 100. Ces plages d’affichage ne modifient pas les seuils de classification du détecteur. Un score absent reste gris. La confiance d’une catégorie comme « authentique » est libellée séparément, sans couleur sur l’échelle de génération IA.

Interpréter un résultat

• Détecté ou probabilité élevée

  Le modèle a trouvé des motifs associés à ses exemples synthétiques.

  Action : Recherchez des éléments corroborants.

• Aucun signe fort

  Le modèle testé n’a pas trouvé de signal fort dans la copie transmise.

  À retenir : Comparez le résultat au fichier original et à sa source.

• Non concluant ou non applicable

  Les éléments étaient insuffisants ou inadaptés.

  Action : Essayez un original plus net ou une autre source.

Demander une révision du rapport

Chaque rapport contient un identifiant, une date de création et la version de format deepfakepolicy.report.v1. Ces éléments identifient l’export, mais ne prouvent pas qu’une capture est complète ou inchangée. Si un élément semble incorrect, envoyez l’export original et l’identifiant du rapport à deepfakepolicy@proton.me.

Ce qui influence un résultat

• La compression, le redimensionnement et le transcodage peuvent supprimer des signaux utiles.
• Le bruit de fond et les enregistrements courts peuvent limiter l’analyse audio et vidéo.
• De nouvelles méthodes de génération et des contenus différents des données d’entraînement peuvent affecter les résultats.
• Les captures d’écran, illustrations et animations peuvent ressembler à des motifs synthétiques.
• Les textes traduits et les retouches ordinaires peuvent aussi ressembler à des motifs synthétiques.

Une méthode pratique de vérification

1. Conservez le fichier original de la meilleure qualité possible.
2. Recherchez la source la plus ancienne et comparez le contexte.
3. Examinez les métadonnées et Content Credentials disponibles, en gardant à l’esprit que leur absence prouve peu de choses.
4. Effectuez une recherche inversée sur les images clés ou images extraites de la vidéo.
5. Vérifiez l’identité par un canal de communication connu et indépendant.
6. Confiez les dossiers à fort enjeu à un spécialiste qualifié de l’analyse forensique.

Inspection des Content Credentials

L’ outil local de vérification des Content Credentials utilise le SDK web officiel C2PA pour lire un manifeste intégré, les informations du signataire, les actions enregistrées et le statut de validation sans envoyer le fichier. Une déclaration valide constitue un élément de provenance, pas une preuve que chaque événement représenté est vrai ; un manifeste absent ne prouve pas une manipulation.

Tester le service

De petits fichiers synthétiques peuvent servir à tester l’importation, l’analyse et la livraison du rapport. Un résultat terminé confirme que le parcours testé fonctionne ; une demande de connexion, une erreur de crédits ou une limite de fréquence ne le confirme pas. Ces tests ne mesurent pas la précision de détection, qui nécessite un banc d’essai représentatif distinct.

Comparer les détecteurs

Notre protocole d’évaluation comparative décrit les données, conditions de qualité d’image et mesures nécessaires à une comparaison équitable. Les résultats ne sont publiés qu’après fixation du jeu de données étiqueté et validation des contrôles requis.

Comment nous évaluons les mises à jour des modèles

La conservation pour la recherche relève de votre choix.Nous ne conservons pas intentionnellement vos contenus pour notre recherche sans votre accord distinct.

• Évaluation en arrière-plan : Nous testons les mises à jour des modèles séparément des analyses en cours. Ces essais ne déterminent pas votre résultat.
• Données de ces tests : Les enregistrements d’évaluation peuvent contenir les scores, la version du modèle, l’accord entre modèles et le temps de traitement, mais pas les contenus transmis ni un identifiant direct du compte.
• Avant l’utilisation publique : Chaque version de modèle doit passer une évaluation distincte sur des données étiquetées avant de pouvoir contribuer à un rapport client.

Questions

Pour les questions techniques ou méthodologiques, contactez deepfakepolicy@proton.me. L’utilisation est également régie par la politique d’utilisation acceptable.