Houd verschillen in leestekens zichtbaar

Waarom één komma twee derde van de overlap kost

Na normalisatie splitst de vergelijkingstool tekst op spaties en op niets anders. Leestekens worden niet verwijderd, dus “note,” met komma en “note” zonder komma zijn twee verschillende tokens. In het voorbeeld heeft de eerste tekst de tokens note, en ready; de tweede heeft note en ready. De vereniging bevat drie verschillende tokens en alleen ready is gedeeld, dus de overlap is 1 ÷ 3.

Hetzelfde mechanisme geldt voor punten, dubbele punten, sluithaakjes en aanhalingstekens die aan een woord vastzitten. De zoekfunctie in de Shotnest-app werkt anders: ze zoekt elk getypt woord binnen de tekst van de screenshot, dus daar vindt “note” nog steeds “note,”.

Langere tekst verzacht het effect zonder het weg te nemen. “Meet at the station. Bring tickets” en “Meet at the station bring tickets” delen vijf van zeven verschillende tokens, een overlap van 0,7142857142857143, en de enige tokens die verschillen zijn “station.” met punt en “station” zonder.

Invoer

Eerste tekst

note, ready

Tweede tekst

note ready

Resultaten

Exact gelijk

Nee

Gelijk na normalisatie

Nee

Woordoverlap

0,333333

Alleen in de eerste tekst

note,

Alleen in de tweede tekst

note

Tekstoverlap bewijst niet dat twee afbeeldingen of documenten identiek zijn.

Lees het resultaat regel voor regel

1. Exact gelijk: Nee, omdat de tekenreeksen een komma verschillen.
2. Gelijk na normalisatie: Nee; normalisatie verandert hoofdletters en accenten, geen leestekens.
3. Woordoverlap: 0,3333333333333333.
4. Alleen in de eerste tekst: “note,”. Alleen in de tweede tekst: “note”.
5. Kijk naar de screenshot om te beslissen of de komma betekenis heeft of een overblijfsel van het kopiëren is.

Verschillende tokens in de vereniging

3 tokens

Gedeelde tokens

1 token

Woordoverlap

0,3333333333333333

Accenten en hoofdletters worden vóór het splitsen afgehandeld, dus “Café,” en “cafe,” worden hetzelfde token; alleen de vastzittende komma of punt houdt twee verder identieke woorden uit elkaar.

Fouten die dit voorbeeld voorkomt

• Besluiten dat twee bijschriften niets met elkaar te maken hebben omdat een korte zinsnede met één komma laag scoort.
• Aannemen dat de tekst met de lagere score de minder nauwkeurige is; overlap kent geen begrip van juistheid.
• Leestekens vóór het vergelijken met de hand verwijderen en daarna vergeten dat het origineel ze had.
• Overlap gebruiken op heel korte teksten, waar één token de waarde met een derde of meer verandert.

Wat het getal niet kan beslechten

Overlap vergelijkt verzamelingen tokens. Hij zegt niet welke versie het eerst werd getypt, welke in de afbeelding staat of of de komma de betekenis verandert. De vergelijkingstool die hieronder gelinkt is, toont de lijsten Alleen in de eerste tekst en Alleen in de tweede tekst, zodat je precies ziet welke vastzittende tekens het verschil maakten.