Shotnest · Biblioteca
Mantieni visibili le differenze di punteggiatura
Confrontando “note, ready” con “note ready” si ottiene una sovrapposizione dei token di appena 0,333, perché la virgola resta attaccata alla prima parola.
Perché una virgola costa due terzi della sovrapposizione
Dopo la normalizzazione lo strumento di confronto divide il testo solo agli spazi. La punteggiatura non viene tolta, quindi “note,” con la virgola e “note” senza sono due token diversi. Nell’esempio il primo testo ha i token note, e ready; il secondo ha note e ready. L’unione contiene tre token distinti e solo ready è condiviso, quindi la sovrapposizione è 1 ÷ 3.
Lo stesso meccanismo vale per punti, due punti, parentesi di chiusura e virgolette attaccati a una parola. La ricerca dell’app Shotnest si comporta diversamente: cerca ogni parola digitata all’interno del testo dello screenshot, quindi lì “note” trova comunque “note,”.
Un testo più lungo attenua l’effetto senza eliminarlo. “Meet at the station. Bring tickets” e “Meet at the station bring tickets” condividono cinque token distinti su sette, una sovrapposizione di 0,7142857142857143, e gli unici token diversi sono “station.” con il punto e “station” senza.
Dati di ingresso
- Primo testo
- note, ready
- Secondo testo
- note ready
Risultati
- Esattamente uguali
- No
- Uguali dopo la normalizzazione
- No
- Sovrapposizione delle parole
- 0,333333
- Solo nel primo testo
- note,
- Solo nel secondo testo
- note
La sovrapposizione del testo non dimostra che due immagini o documenti siano identici.
Leggere il risultato riga per riga
- Esattamente uguali: No, perché le stringhe differiscono per una virgola.
- Uguali dopo la normalizzazione: No; la normalizzazione cambia maiuscole e accenti, non la punteggiatura.
- Sovrapposizione delle parole: 0,3333333333333333.
- Solo nel primo testo: “note,”. Solo nel secondo testo: “note”.
- Guarda lo screenshot per decidere se la virgola ha un significato o è un residuo della copia.
- Token distinti nell’unione
- 3 token
- Token condivisi
- 1 token
- Sovrapposizione delle parole
- 0,3333333333333333
Accenti e maiuscole vengono gestiti prima della divisione, quindi “Café,” e “cafe,” diventano lo stesso token; solo la virgola o il punto attaccati tengono separate due parole altrimenti identiche.
Errori che questo esempio evita
- Decidere che due didascalie non hanno legami perché una frase breve con una virgola ottiene un valore basso.
- Pensare che il testo con il valore più basso sia il meno accurato; la sovrapposizione non ha alcuna nozione di correttezza.
- Togliere a mano la punteggiatura prima del confronto e poi dimenticare che l’originale l’aveva.
- Usare la sovrapposizione su testi molto brevi, dove un solo token cambia il valore di un terzo o più.
Che cosa il numero non può stabilire
La sovrapposizione confronta insiemi di token. Non dice quale versione è stata digitata per prima, quale compare nell’immagine o se la virgola cambia il significato. Lo strumento di confronto collegato qui sotto mostra gli elenchi Solo nel primo testo e Solo nel secondo testo, così puoi vedere esattamente quali segni attaccati hanno fatto la differenza.