Un rapport assisté par IA a accusé à tort un navire chinois : l’échec dépassait la simple hallucination

Ce qui a réellement été rapporté

Le 18 septembre 2026, CNN a rapporté qu’au printemps, pendant la guerre avec l’Iran, un rapport de renseignement avait circulé dans l’armée américaine. Il affirmait qu’un navire chinois au Moyen-Orient transportait des composants destinés à un programme d’armes nucléaires. Quatre personnes connaissant l’épisode ont été citées. Selon elles, des militaires armés se préparaient à monter à bord et des avions avaient déjà décollé lorsqu’une nouvelle vérification a interrompu l’opération.

Le rapport avait été préparé par un analyste du Special Operations Command avec l’aide d’un chatbot. Celui-ci aurait mal identifié la cargaison. Le produit utilisé, le nom du navire, le matériel concerné et la date exacte n’ont pas été rendus publics.

Ce qui ne peut pas encore être vérifié publiquement

Aucun rapport d’enquête déclassifié ne permet de consulter les prompts, les documents sources, la réponse du modèle ou la décision d’annulation. Le récit central repose sur l’enquête de CNN et des sources non nommées. L’AI Incident Database l’a enregistré comme incident 1701, sans ajouter de dossier officiel public.

La précision des mots compte. Les sources parlent de composants supposément liés à un programme d’armes nucléaires, pas d’armes nucléaires complètes à bord. Elles ne permettent pas non plus d’attribuer l’erreur à un modèle commercial précis.

La synthèse est devenue dangereuse lorsqu’elle a été traitée comme une preuve

D’après CNN, le chatbot a rapproché des sources ouvertes et du renseignement électromagnétique secret. Une synthèse peut gagner du temps, mais elle peut aussi effacer la frontière entre ce qu’un document dit et ce que le modèle en déduit. Une fois présenté sous la forme d’un rapport, le texte porte l’autorité de l’institution sans montrer la fragilité du raisonnement.

Le NIST appelle confabulations les réponses plausibles mais fausses des modèles génératifs. Elles découlent de leur mode de fonctionnement. Demander au système d’être prudent ne crée pas la preuve manquante. Toute affirmation décisive doit rester reliée à une source qu’un examinateur peut ouvrir et contester.

• Voir une structure de rapport reliée aux sources

Un humain dans la boucle ne suffit pas s’il ne voit que la conclusion

Des humains ont finalement arrêté l’opération. Mais le contrôle utile est arrivé tard, après la circulation du rapport et la mobilisation de moyens. Une validation humaine est faible si le réviseur ne sait pas quelle phrase vient de quel document et où le modèle a ajouté une interprétation.

La déclaration américaine sur l’usage militaire responsable de l’IA demande une chaîne humaine responsable ainsi que des essais et garanties rigoureux. Concrètement, le réviseur doit disposer de temps, des sources primaires, du pouvoir d’arrêter et d’une incertitude visible.

Une architecture de vérification plus sûre

Séparez extraction et jugement. Relevez d’abord les observations littérales de chaque pièce : description de cargaison, code, date, expéditeur et emplacement. Placez ensuite l’inférence dans un champ distinct, avec la règle ou l’expertise qui la justifie. Si deux sources se contredisent, conservez les deux.

Avant une action touchant à la force, aux droits, à l’argent ou à la sécurité, exigez un second examinateur qualifié. Consignez modèle, prompt, corpus et modifications. Définissez des motifs d’arrêt clairs : source absente, code ambigu, attribution non étayée ou conclusion impossible à relier au dossier.

• Comparer des pièces avec Cross-check
• Voir des exemples de rapports

• Chaque affirmation importante renvoie à un passage ou champ précis.
• Observation, inférence du modèle et décision humaine restent séparées.
• Contradictions et éléments manquants demeurent visibles.
• Un second examinateur peut arrêter l’action et lire les originaux.
• Modèle, prompt, sources, modifications et horaires sont consignés.

Le même défaut existe dans les entreprises ordinaires

Une interception militaire est un cas extrême, mais le mécanisme est courant. Un résumé d’assurance change discrètement un devis. Une place de marché confond deux vendeurs. Une équipe financière accepte une explication inventée pour l’écart entre facture et relevé bancaire.

DeepfakePolicy Cross-check compare les pièces fournies, cite les passages utiles et laisse les contradictions ouvertes lorsque les preuves manquent. Il ne peut ni authentifier du renseignement classifié ni identifier une cargaison inconnue. Son rôle est de maintenir visible le chemin entre source et affirmation avant qu’une réponse fluide ne devienne un fait opérationnel.