Сохраняйте видимость различий пунктуации

Почему одна запятая стоит двух третей совпадения

После нормализации инструмент сравнения делит текст только по пробелам. Пунктуация не удаляется, поэтому «note,» с запятой и «note» без неё — два разных токена. В примере у первого текста токены note, и ready, у второго — note и ready. В объединении три различных токена, и общий только ready, поэтому совпадение равно 1 ÷ 3.

Тот же механизм действует для точек, двоеточий, закрывающих скобок и кавычек, приклеенных к слову. Поиск в приложении Shotnest ведёт себя иначе: он ищет каждое набранное слово внутри текста скриншота, поэтому там «note» всё равно находит «note,».

В более длинном тексте эффект слабее, но не исчезает. «Meet at the station. Bring tickets» и «Meet at the station bring tickets» делят пять из семи различных токенов, совпадение 0,7142857142857143, и различаются только токены «station.» с точкой и «station» без неё.

Входные данные

Первый текст

note, ready

Второй текст

note ready

Результаты

Полностью совпадают

Нет

Совпадают после нормализации

Нет

Совпадение слов

0,333333

Только в первом тексте

note,

Только во втором тексте

note

Совпадение текста не доказывает, что два изображения или документа идентичны.

Читайте результат построчно

1. «Полностью совпадают»: «Нет», потому что строки различаются запятой.
2. «Совпадают после нормализации»: «Нет»; нормализация меняет регистр и диакритику, но не пунктуацию.
3. «Совпадение слов»: 0,3333333333333333.
4. «Только в первом тексте»: «note,». «Только во втором тексте»: «note».
5. Посмотрите на скриншот, чтобы решить, значима ли запятая или это след копирования.

Различных токенов в объединении

3 токена

Общих токенов

1 токен

Совпадение слов

0,3333333333333333

Диакритика и регистр обрабатываются до деления, поэтому «Café,» и «cafe,» становятся одним токеном; два в остальном одинаковых слова разделяет только прикреплённая запятая или точка.

Ошибки, от которых защищает этот пример

• Решить, что две подписи не связаны, потому что короткая фраза с одной запятой набрала мало.
• Считать текст с более низкой оценкой менее точным; совпадение ничего не знает о правильности.
• Удалить пунктуацию вручную перед сравнением, а потом забыть, что в оригинале она была.
• Применять совпадение к очень коротким текстам, где один токен меняет значение на треть или больше.

Чего число решить не может

Совпадение сравнивает наборы токенов. Оно не говорит, какая версия была набрана первой, какая видна на изображении и меняет ли запятая смысл. Инструмент сравнения по ссылке ниже показывает списки «Только в первом тексте» и «Только во втором тексте», так что видно, какие именно прикреплённые знаки дали разницу.