Shotnest · Bibliotheek
Waarom herhaalde woorden niet extra meetellen
“red red blue” en “red blue” scoren een woordoverlap van 1, omdat de vergelijkingstool elk verschillend woord één keer telt, hoe vaak het ook terugkomt.
Overlap wordt op verzamelingen gemeten
De vergelijkingstool maakt van elke genormaliseerde tekst een verzameling verschillende tokens. Een verzameling kent geen aantallen: red staat er één keer in, of de tekst red nu één of tien keer zegt. Voor “red red blue” bestaat de verzameling uit red en blue; voor “red blue” uit dezelfde twee tokens. Gedeelde tokens 2, vereniging 2, overlap 2 ÷ 2 = 1.
Exacte gelijkheid en gelijkheid na normalisatie zeggen nog steeds Nee, omdat de tekenreeksen verschillen. In die twee regels is de herhaling nog te zien.
Een langer geval werkt net zo. “pay pay pay now” en “pay now” geven ook een overlap van 1, hoewel de eerste tekst drie keer pay zegt. De lijsten Alleen in de eerste tekst en Alleen in de tweede tekst blijven leeg, omdat er aan geen van beide kanten een verschillend token ontbreekt.
Invoer
- Eerste tekst
- red red blue
- Tweede tekst
- red blue
Resultaten
- Exact gelijk
- Nee
- Gelijk na normalisatie
- Nee
- Woordoverlap
- 1
- Alleen in de eerste tekst
- Niet beschikbaar
- Alleen in de tweede tekst
- Niet beschikbaar
Tekstoverlap bewijst niet dat twee afbeeldingen of documenten identiek zijn.
Controleer een herhaald woord
- Vergelijk de twee teksten en noteer de overlap van 1.
- Lees “Exact gelijk” en “Gelijk na normalisatie”: beide Nee.
- Zie dat de lijsten voor alleen de eerste en alleen de tweede tekst leeg zijn, omdat in geen van beide verzamelingen een token ontbreekt.
- Tel het herhaalde woord zelf in het origineel als het aantal herhalingen ertoe doet.
- Verschillende tokens, eerste tekst
- 2
- Verschillende tokens, tweede tekst
- 2
- Woordoverlap
- 1
De normalisatie loopt voordat de verzameling wordt gebouwd, dus “Red”, “RED” en “red” vallen ook samen tot één token; ook hoofdletters laten een herhaling dus niet meetellen.
Als herhaling betekenis draagt
In een lijst kan een herhaalde regel een hoeveelheid betekenen: twee dezelfde artikelen, een dubbele afschrijving, een instructie die twee keer is gegeven. Overlap op verzamelingen verbergt dat verschil volledig. De duplicaatzoeker van Shotnest gebruikt voor screenshots een vergelijkbaar idee met verzamelingen, maar pas nadat de afbeeldingen dezelfde breedte en hoogte en bijna dezelfde visuele vingerafdruk hebben, en hij vergelijkt woorden zonder cijfers.
- Concluderen dat twee bonnen hetzelfde zijn omdat hun overlap 1 is.
- Lege lijsten voor alleen de eerste en alleen de tweede tekst negeren terwijl die een herhaalde regel verbergen.
- Overlap gebruiken om te tellen hoe vaak een woord voorkomt.
Een maat op verzamelingen, lees hem ook zo
De waarde beantwoordt één vraag: welke verschillende tokens delen de teksten? Volgorde en frequentie vallen erbuiten. Gebruik de vergelijkingstool die hieronder gelinkt is samen met de oorspronkelijke tekst zodra een aantal ertoe doet.