Garder les différences de ponctuation visibles

Pourquoi une virgule coûte deux tiers du chevauchement

Après normalisation, l’outil de comparaison découpe le texte aux espaces, et à rien d’autre. La ponctuation n’est pas retirée : « note, » avec sa virgule et « note » sans virgule sont donc deux mots différents. Dans l’exemple, le premier texte contient les mots note, et ready ; le second contient note et ready. L’union compte trois mots distincts et seul ready est commun : le chevauchement vaut donc 1 ÷ 3.

Le même mécanisme s’applique aux points, deux-points, parenthèses fermantes et guillemets collés à un mot. La recherche de l’app Shotnest se comporte autrement : elle cherche chaque mot tapé à l’intérieur du texte de la capture, si bien que « note » y trouve quand même « note, ».

Un texte plus long atténue l’effet sans le supprimer. « Meet at the station. Bring tickets » et « Meet at the station bring tickets » partagent cinq de leurs sept mots distincts, soit un chevauchement de 0,7142857142857143, et les seuls mots différents sont « station. » avec son point et « station » sans point.

Données d’entrée

Premier texte

note, ready

Deuxième texte

note ready

Résultats

Exactement identiques

Non

Identiques après normalisation

Non

Chevauchement des mots

0,333333

Seulement dans le premier texte

note,

Seulement dans le deuxième texte

note

Le chevauchement textuel ne prouve pas que deux images ou documents sont identiques.

Lire le résultat ligne par ligne

1. Exactement identiques : Non, car les chaînes diffèrent d’une virgule.
2. Identiques après normalisation : Non ; la normalisation change la casse et les accents, pas la ponctuation.
3. Chevauchement des mots : 0,3333333333333333.
4. Seulement dans le premier texte : « note, ». Seulement dans le deuxième texte : « note ».
5. Regardez la capture pour décider si la virgule a un sens ou si c’est un artefact de la copie.

Mots distincts dans l’union

3 mots

Mots communs

1 mot

Chevauchement des mots

0,3333333333333333

Les accents et la casse sont traités avant le découpage : « Café, » et « cafe, » deviennent donc le même mot ; seule la virgule ou le point collé sépare deux mots par ailleurs identiques.

Les erreurs que cet exemple évite

• Décider que deux légendes n’ont rien à voir parce qu’une courte expression avec une virgule obtient un score faible.
• Supposer que le texte au score le plus bas est le moins exact ; le chevauchement n’a aucune notion d’exactitude.
• Retirer la ponctuation à la main avant de comparer, puis oublier que l’original en contenait.
• Utiliser le chevauchement sur des textes très courts, où un seul mot fait varier la valeur d’un tiers ou plus.

Ce que le chiffre ne peut pas trancher

Le chevauchement compare des ensembles de mots. Il ne dit pas quelle version a été tapée en premier, laquelle figure sur l’image, ni si la virgule change le sens. L’outil de comparaison indiqué ci-dessous affiche les listes propres au premier et au deuxième texte, pour que vous voyiez exactement quels signes collés ont fait la différence.