Shotnest · Biblioteca
Perché ripetere una parola non ne aumenta il peso
“red red blue” e “red blue” hanno una sovrapposizione dei token di 1: il confronto conta ogni parola distinta una sola volta, per quante volte si ripeta.
La sovrapposizione si misura sugli insiemi
Lo strumento di confronto trasforma ogni testo normalizzato in un insieme di token distinti. Un insieme non ha conteggi: red vi compare una volta, sia che il testo dica red una volta sia dieci. Per “red red blue” l’insieme è red e blue; per “red blue” sono gli stessi due token. Token condivisi 2, unione 2, sovrapposizione 2 ÷ 2 = 1.
L’uguaglianza esatta e quella normalizzata dicono comunque No, perché le stringhe sono diverse. Quelle due righe sono il punto in cui la ripetizione resta visibile.
Un caso più lungo si comporta allo stesso modo. Anche “pay pay pay now” e “pay now” danno una sovrapposizione di 1, sebbene il primo testo dica pay tre volte. Gli elenchi Solo nel primo testo e Solo nel secondo testo restano vuoti perché a nessuno dei due lati manca un token distinto.
Dati di ingresso
- Primo testo
- red red blue
- Secondo testo
- red blue
Risultati
- Esattamente uguali
- No
- Uguali dopo la normalizzazione
- No
- Sovrapposizione delle parole
- 1
- Solo nel primo testo
- Non disponibile
- Solo nel secondo testo
- Non disponibile
La sovrapposizione del testo non dimostra che due immagini o documenti siano identici.
Controllare una parola ripetuta
- Confronta i due testi e annota la sovrapposizione di 1.
- Leggi “Esattamente uguali” e “Uguali dopo la normalizzazione”: entrambi No.
- Nota che gli elenchi dei token presenti solo nel primo o solo nel secondo testo sono vuoti, dato che nessun insieme ha token mancanti.
- Conta tu stesso la parola ripetuta nell’originale quando il numero di ripetizioni è importante.
- Token distinti, primo testo
- 2
- Token distinti, secondo testo
- 2
- Sovrapposizione delle parole
- 1
La normalizzazione avviene prima che l’insieme venga costruito, quindi anche “Red”, “RED” e “red” si riducono a un solo token; nemmeno le maiuscole possono far contare una ripetizione.
Quando la ripetizione ha un significato
In un elenco, una riga ripetuta può indicare una quantità: due articoli identici, un addebito doppio, un’istruzione data due volte. La sovrapposizione degli insiemi nasconde del tutto questa differenza. Il rilevatore di duplicati di Shotnest usa un’idea simile di insieme per gli screenshot, ma solo dopo che le immagini hanno la stessa larghezza e altezza e un’impronta visiva quasi identica, e confronta le parole senza cifre.
- Concludere che due ricevute sono uguali perché la loro sovrapposizione è 1.
- Ignorare che elenchi vuoti dei token presenti da un solo lato possono nascondere una riga ripetuta.
- Usare la sovrapposizione per contare quante volte compare una parola.
Una misura sugli insiemi, da leggere come tale
Il valore risponde a una sola domanda: quali token distinti hanno in comune i testi? Ordine e frequenza ne restano fuori. Usa lo strumento di confronto collegato qui sotto insieme al testo originale ogni volta che conta un numero.