Shotnest · Bibliothèque
Pourquoi les mots répétés ne gagnent pas de poids
« red red blue » et « red blue » ont un chevauchement des mots de 1, car l’outil de comparaison compte chaque mot distinct une seule fois, même répété.
Le chevauchement se mesure sur des ensembles
L’outil de comparaison transforme chaque texte normalisé en un ensemble de mots distincts. Un ensemble ne compte rien : red y figure une fois, que le texte dise red une fois ou dix fois. Pour « red red blue », l’ensemble contient red et blue ; pour « red blue », ce sont les deux mêmes mots. Mots communs 2, union 2, chevauchement 2 ÷ 2 = 1.
L’égalité exacte et l’égalité normalisée indiquent toujours Non, car les chaînes sont différentes. Ces deux lignes sont le seul endroit où la répétition reste visible.
Un cas plus long se comporte de la même manière. « pay pay pay now » et « pay now » donnent aussi un chevauchement de 1, alors que le premier texte dit pay trois fois. Les listes propres au premier et au deuxième texte restent vides, car aucun mot distinct ne manque d’un côté ou de l’autre.
Données d’entrée
- Premier texte
- red red blue
- Deuxième texte
- red blue
Résultats
- Exactement identiques
- Non
- Identiques après normalisation
- Non
- Chevauchement des mots
- 1
- Seulement dans le premier texte
- Non disponible
- Seulement dans le deuxième texte
- Non disponible
Le chevauchement textuel ne prouve pas que deux images ou documents sont identiques.
Vérifier un mot répété
- Comparez les deux textes et notez le chevauchement de 1.
- Lisez « Exactement identiques » et « Identiques après normalisation » : Non dans les deux cas.
- Remarquez que les listes Seulement dans le premier texte et Seulement dans le deuxième texte sont vides, puisqu’aucun mot ne manque dans l’un ou l’autre ensemble.
- Comptez vous-même le mot répété dans l’original quand le nombre de répétitions compte.
- Mots distincts, premier texte
- 2
- Mots distincts, deuxième texte
- 2
- Chevauchement des mots
- 1
La normalisation a lieu avant la construction de l’ensemble : « Red », « RED » et « red » se réduisent donc aussi à un seul mot, et les majuscules ne peuvent pas non plus faire compter une répétition.
Quand la répétition a un sens
Dans une liste, une ligne répétée peut indiquer une quantité : deux articles identiques, un débit en double, une consigne donnée deux fois. Le chevauchement d’ensembles masque complètement cette différence. Le détecteur de doublons de Shotnest applique une idée d’ensemble semblable aux captures, mais seulement une fois que les images ont la même largeur, la même hauteur et une empreinte visuelle presque identique, et il compare les mots sans les chiffres.
- Conclure que deux reçus sont identiques parce que leur chevauchement vaut 1.
- Ignorer des listes propres à chaque texte restées vides alors qu’elles cachent une ligne répétée.
- Utiliser le chevauchement pour compter combien de fois un mot apparaît.
Une mesure d’ensemble, à lire comme telle
La valeur répond à une seule question : quels mots distincts les textes partagent-ils ? L’ordre et la fréquence en sont exclus. Utilisez l’outil de comparaison indiqué ci-dessous avec le texte d’origine chaque fois qu’un nombre compte.