Shotnest · Bibliothek
Warum wiederholte Wörter kein zusätzliches Gewicht erhalten
„red red blue“ und „red blue“ erreichen eine Wortüberschneidung von 1, weil das Vergleichswerkzeug jedes verschiedene Wort einmal zählt, wie oft es sich auch wiederholt.
Die Überschneidung wird an Mengen gemessen
Das Vergleichswerkzeug macht aus jedem normalisierten Text eine Menge verschiedener Tokens. Eine Menge kennt keine Anzahl: red kommt darin einmal vor, ob der Text red einmal oder zehnmal sagt. Für „red red blue“ besteht die Menge aus red und blue, für „red blue“ aus denselben zwei Tokens. Gemeinsame Tokens 2, Vereinigung 2, Überschneidung 2 ÷ 2 = 1.
Exakte Gleichheit und Gleichheit nach Normalisierung stehen trotzdem auf Nein, weil die Zeichenfolgen verschieden sind. In diesen beiden Zeilen bleibt die Wiederholung sichtbar.
Ein längerer Fall verhält sich genauso. „pay pay pay now“ und „pay now“ ergeben ebenfalls eine Überschneidung von 1, obwohl der erste Text dreimal pay sagt. Die Listen Nur im ersten Text und Nur im zweiten Text bleiben leer, weil auf keiner Seite ein verschiedenes Token fehlt.
Eingaben
- Erster Text
- red red blue
- Zweiter Text
- red blue
Ergebnisse
- Exakt gleich
- Nein
- Nach Normalisierung gleich
- Nein
- Wortüberschneidung
- 1
- Nur im ersten Text
- Nicht verfügbar
- Nur im zweiten Text
- Nicht verfügbar
Textüberschneidung beweist nicht, dass zwei Bilder oder Dokumente identisch sind.
Ein wiederholtes Wort prüfen
- Vergleichen Sie die beiden Texte und notieren Sie die Überschneidung von 1.
- Lesen Sie „Exakt gleich“ und „Nach Normalisierung gleich“: beide Nein.
- Beachten Sie, dass beide Listen leer sind, da in keiner der zwei Mengen ein Token fehlt.
- Zählen Sie das wiederholte Wort im Original selbst, wenn die Zahl der Wiederholungen eine Rolle spielt.
- Verschiedene Tokens, erster Text
- 2
- Verschiedene Tokens, zweiter Text
- 2
- Wortüberschneidung
- 1
Die Normalisierung läuft, bevor die Menge gebildet wird, daher fallen auch „Red“, „RED“ und „red“ zu einem Token zusammen; auch Großbuchstaben bringen eine Wiederholung also nicht zur Geltung.
Wenn Wiederholung Bedeutung trägt
In einer Liste kann eine wiederholte Zeile eine Menge bedeuten: zwei gleiche Artikel, eine doppelte Abbuchung, eine zweimal gegebene Anweisung. Die Mengen-Überschneidung verbirgt diesen Unterschied vollständig. Die Duplikatsuche von Shotnest nutzt für Screenshots eine ähnliche Mengenidee, aber erst, wenn die Bilder dieselbe Breite und Höhe und einen fast gleichen visuellen Fingerabdruck haben, und sie vergleicht Wörter ohne Ziffern.
- Schließen, dass zwei Belege gleich sind, weil ihre Überschneidung 1 beträgt.
- Leere Listen Nur im ersten Text und Nur im zweiten Text übersehen, hinter denen sich eine wiederholte Zeile verbirgt.
- Die Überschneidung nutzen, um zu zählen, wie oft ein Wort vorkommt.
Ein Mengenmaß, als solches zu lesen
Der Wert beantwortet eine einzige Frage: Welche verschiedenen Tokens teilen die Texte? Reihenfolge und Häufigkeit liegen außerhalb davon. Nutzen Sie das unten verlinkte Vergleichswerkzeug zusammen mit dem Originaltext, wann immer eine Anzahl zählt.