Shotnest · Bibliothek
Unterschiede in der Zeichensetzung sichtbar halten
Der Vergleich von „note, ready“ mit „note ready“ ergibt eine Wortüberschneidung von nur 0,333, weil das Komma am ersten Wort hängen bleibt.
Warum ein Komma zwei Drittel der Überschneidung kostet
Nach der Normalisierung teilt das Vergleichswerkzeug Text an Leerzeichen und an nichts sonst. Satzzeichen werden nicht entfernt, daher sind „note,“ mit Komma und „note“ ohne Komma zwei verschiedene Tokens. Im Beispiel hat der erste Text die Tokens „note,“ und ready, der zweite note und ready. Die Vereinigung enthält drei verschiedene Tokens, und nur ready ist gemeinsam, also beträgt die Überschneidung 1 ÷ 3.
Derselbe Mechanismus gilt für Punkte, Doppelpunkte, schließende Klammern und Anführungszeichen, die an einem Wort kleben. Die Suche in der App Shotnest verhält sich anders: Sie sucht jedes getippte Wort im Text des Screenshots, daher findet „note“ dort weiterhin „note,“.
Längerer Text mildert den Effekt, ohne ihn zu beseitigen. „Meet at the station. Bring tickets“ und „Meet at the station bring tickets“ teilen fünf von sieben verschiedenen Tokens, eine Überschneidung von 0,7142857142857143, und die einzigen abweichenden Tokens sind „station.“ mit Punkt und „station“ ohne.
Eingaben
- Erster Text
- note, ready
- Zweiter Text
- note ready
Ergebnisse
- Exakt gleich
- Nein
- Nach Normalisierung gleich
- Nein
- Wortüberschneidung
- 0,333333
- Nur im ersten Text
- note,
- Nur im zweiten Text
- note
Textüberschneidung beweist nicht, dass zwei Bilder oder Dokumente identisch sind.
Das Ergebnis Zeile für Zeile lesen
- Exakt gleich: Nein, weil sich die Zeichenfolgen um ein Komma unterscheiden.
- Nach Normalisierung gleich: Nein; die Normalisierung ändert Schreibung und Akzente, keine Satzzeichen.
- Wortüberschneidung: 0,3333333333333333.
- Nur im ersten Text: „note,“. Nur im zweiten Text: „note“.
- Entscheiden Sie anhand des Screenshots, ob das Komma Bedeutung hat oder ein Überbleibsel des Kopierens ist.
- Verschiedene Tokens in der Vereinigung
- 3 Tokens
- Gemeinsame Tokens
- 1 Token
- Wortüberschneidung
- 0,3333333333333333
Akzente und Schreibung werden vor dem Teilen behandelt, daher werden „Café,“ und „cafe,“ zum selben Token; nur das angehängte Komma oder der Punkt hält zwei sonst gleiche Wörter auseinander.
Fehler, die dieses Beispiel verhindert
- Zwei Bildunterschriften für unabhängig halten, weil eine kurze Wendung mit einem Komma niedrig abschneidet.
- Annehmen, der Text mit dem niedrigeren Wert sei der ungenauere; die Überschneidung kennt keinen Begriff von Richtigkeit.
- Satzzeichen vor dem Vergleich von Hand entfernen und dann vergessen, dass das Original sie hatte.
- Die Überschneidung auf sehr kurze Texte anwenden, bei denen ein Token den Wert um ein Drittel oder mehr verändert.
Was die Zahl nicht klären kann
Die Überschneidung vergleicht Mengen von Tokens. Sie sagt nicht, welche Fassung zuerst getippt wurde, welche im Bild steht oder ob das Komma die Bedeutung ändert. Das unten verlinkte Vergleichswerkzeug zeigt die Listen Nur im ersten Text und Nur im zweiten Text, damit Sie genau sehen, welche angehängten Zeichen den Unterschied gemacht haben.