Passer au contenu
exploration

Vérifier une réponse d’IA : mon test en conditions réelles

Faire un exercice que je recommande : chercher seule, interroger une IA, puis tout vérifier, c'est mieux quand on le fait réellement. Voici ce que la réponse rapide aurait laissé passer.

Dans mon précédent article, je me demandais pourquoi nous posons nos questions à l’IA en premier. J’y listais ma méthode : chercher d’abord, ouvrir les sources, me méfier des détails précis. Mais qu’est ce qu’une recommandation sans application ? Un conseil parmi tant d’autres…

Alors j’ai fait l’exercice, en conditions réelles, avec une vraie question que j’avais en tête. J’ai chronométré, noté chaque étape et gardé mes erreurs. Voici ce que ça donne.

La question de départ

Wappalyzer est une extension de navigateur qui affiche les technologies utilisées par un site : son CMS, son serveur, ses plugins. Pratique pour la curiosité, un peu moins quand on gère des sites et qu’on préférerait ne pas tout exposer.

Ma question était donc : comment cacher les informations d’un site WordPress pour que des outils comme Wappalyzer n’y aient pas accès ? (la requête était en anglais vu l’environnement anglophone de mes outils)

La règle du jeu : chercher seule d’abord, puis interroger une IA (Claude, en l’occurrence), puis vérifier tout ce qu’elle affirme.

Étape 1 : chercher seule (34 minutes)

Premier résultat de ma recherche : la documentation d’un plugin payant qui promet de tout masquer. Je voulais comprendre, pas acheter. J’ai donc ajouté « without plugin » à ma requête.

J’ai ensuite trié ce que je trouvais :

  • Un article de Wappalyzer lui-même, qui parlait surtout de Laravel, PHP et Nginx. Je l’ai trouvé hors sujet. J’avais tort, on y reviendra.
  • Deux discussions de forum (une sur Laravel, une proposant un proxy) que j’ai écartées car elles ne correspondaient pas à ma situation.
  • Un fil du forum de Ghost qui rappelait une idée importante : masquer ses technologies ne protège pas de quelqu’un qui sait vraiment chercher. Je l’ai notée.
  • Un script partagé sur GitHub qui « semblait correspondre ». Je l’ai retenu sur une impression, sans comprendre une nuance de ce qu’il faisait.

Au bout de 34 minutes, je n’avais pas la solution que je pensais chercher. C’est là que je me suis tournée vers l’IA.

Étape 2 : la réponse de l’IA

J’ai demandé à l’IA de répondre sans faire de recherche, comme on l’utilise souvent, mais en indiquant son degré de certitude sur chaque affirmation : certain, sûr ou supposition.

La réponse est arrivée en quelques secondes : une liste claire de ce que Wappalyzer détecte, un petit bout de code prêt à copier et quelques limites honnêtes. Deux affirmations étaient marquées comme de simples suppositions.

Mais voici ma première erreur : j’étais prête à intégrer le code tel quel. Sans avoir vérifié les deux suppositions. Exactement le réflexe que je décrivais dans mon article précédent.

Étape 3 : vérifier ce que l’IA affirme

En reprenant point par point, voici ce qui est ressorti :

  • Les deux suppositions étaient plutôt justes. L’une concernait une fonction dépréciée depuis WordPress 6.3, l’autre une fonction remplacée dans WordPress 6.4 mais dont l’ancienne méthode fonctionne encore. Le code marchait, mais pour une raison que l’IA ne connaissait pas.
  • Le script GitHub que j’avais retenu était à fuir. Il ajoutait une ligne qui alourdit la page en continu et il n’agissait qu’après que l’extension avait déjà tout lu. Mon impression était fausse.
  • L’article de Wappalyzer que j’avais écarté contenait la vraie réponse, dans sa conclusion : masquer les technologies côté navigateur est presque toujours vain et connaître le logiciel utilisé ne suffit pas à pirater un site. Ce qui compte, ce sont les mises à jour.
  • Mais ce même article était en partie périmé. Il affirme que Wappalyzer est open source, alors que son dépôt est devenu privé en août 2023. Une source officielle n’est pas forcément une source à jour.

Le moment où j’ai failli abandonner

Pour savoir précisément ce que Wappalyzer détecte, il fallait trouver ses règles de détection. Un site concurrent en publiait une liste, mais je ne retrouvais pas la même information dans une source plus « légitime ». Je ne savais plus quoi chercher, ni où.

J’ai alors choisi d’appliquer ce que l’IA suggérait, de le tester et de partir de sa réponse.

C’est, je crois, le moment le plus important de l’exercice. On n’arrête pas de vérifier par paresse. On arrête quand on ne comprend plus ce qu’on cherche. Et c’est précisément là qu’on fait confiance par défaut.

Plutôt que de me donner la réponse, l’IA m’a indiqué où la trouver : le fichier des règles de détection, dans le fork communautaire qui maintient Wappalyzer depuis qu’il est devenu privé. J’ai ouvert le fichier moi-même. J’y ai lu des choses qu’aucune des réponses précédentes ne m’avait données.

Ce que j’ai découvert en lisant la source

  • Les règles des plugins dépendent de celle de WordPress. Si Wappalyzer ne détecte pas WordPress, il ne cherche même pas les plugins. Pas besoin de les masquer un par un.
  • L’IA avait oublié un en-tête HTTP, X-Pingback, pourtant présent dans les règles.
  • L’IA avait surestimé ma configuration. Mes sites tournent sous une certaine techno, qui renomme le certains dossier de WordPress. Mais le dossier wp-includes, lui, reste visible et Wappalyzer le cherche aussi.
  • La liste du site concurrent était à moitié juste. Certaines détections annoncées n’apparaissaient pas dans les règles et les deux en-têtes HTTP manquaient. Ce site vend justement un plugin pour tout masquer : sa liste avait intérêt à paraître longue.

Le résultat

Après avoir appliqué le code corrigé et testé en navigation privée (connectée, la barre d’administration fausse le résultat), voici ce que Wappalyzer affiche sur mon site :

  • Nginx, avec son numéro de version exact ;
  • Tailwind CSS et Font Awesome ;
  • un CDN tiers, Unpkg ;
  • une technique de performance, les Priority Hints.

Plus aucune trace de WordPress, ni d’aucun plugin.

Mais l’ironie est là : j’ai passé près d’une heure à cacher WordPress, alors qu’il y a une information qu’il est utile de vraiment cacher et que ni moi ni l’IA avons relevé. Il faudra que je relise les éléments affichés pour tiquer.

Cependant, il faut le dire clairement : mon site est devenu discret, pas invisible. Un outil qui teste directement les adresses de connexion ou de l’API trouvera WordPress en quelques secondes.

Le bilan : 58 minutes

34 minutes de recherche seule, puis 24 minutes d’échanges et de vérification avec l’IA. C’est long, comparé aux quelques secondes d’une réponse directe. Mais la réponse directe contenait deux erreurs, et je ne l’aurais pas comprise.

Ce que je retiens, c’est que les deux temps se sont nourris :

  • Sans ma recherche préalable, je n’aurais pas eu le contexte pour comprendre la réponse de l’IA, ni pour repérer qu’elle oubliait des choses.
  • Sans l’IA, je n’aurais pas su où chercher la source qui donnait la vraie réponse.
  • Et sans la vérification, j’aurais intégré un code incomplet et cru mon site mieux protégé qu’il ne l’est.

Surtout, j’ai compris le fonctionnement au lieu de copier une solution. Je sais maintenant ce que je peux appliquer à mes autres sites et ce qui ne marchera pas sur eux.

Comment vérifier une réponse d’IA : la méthode

Voici la démarche que je retiens de l’exercice, applicable bien au-delà de WordPress :

  1. Chercher avant de demander. Même un quart d’heure suffit pour acquérir le vocabulaire et le contexte qui permettront de juger la réponse.
  2. Demander à l’IA son degré de certitude. Lui faire distinguer ce dont elle est certaine de ce qu’elle suppose donne une liste de points à vérifier en priorité.
  3. Vérifier d’abord les détails précis. Noms de fonctions, numéros de version, dates : c’est là que se cachent les erreurs.
  4. Remonter à la source primaire. La documentation officielle, le code source, les données brutes. Pas l’article qui les résume.
  5. Interroger chaque source. Qui l’écrit ? Quel intérêt a-t-il ? De quand date-t-elle ? Est-elle reconnue par d’autres ?
  6. Tester en conditions réelles. Une réponse n’est vraie que si elle fonctionne sur votre cas.

Et quand vous ne savez plus où chercher, ne demandez pas la réponse à l’IA : demandez-lui où se trouve la source, puis allez la lire. Ou posez la question à des humains, sur le forum de la communauté concernée. C’est exactement ce qui manque quand on reste en tête-à-tête avec une machine.

À vous de tester

Je ne vous demande pas de passer une heure sur chaque question. Mais essayez une fois, sur un sujet que vous maîtrisez un peu : cherchez seul, demandez ensuite, puis vérifiez. Vous serez peut-être surpris de ce que la réponse rapide aurait laissé passer et surtout vous identifierez à quel moment, vous, vous avez été tenté d’arrêter de vérifier pour croire l’IA.


Crédit cover : Photo de Growtika sur Unsplash

Contactez-nous