Shotnest · Библиотека
Почему повтор слова не увеличивает его вес
«red red blue» и «red blue» дают совпадение токенов 1, потому что инструмент сравнения учитывает каждое различное слово один раз, сколько бы оно ни повторялось.
Совпадение измеряется на множествах
Инструмент сравнения превращает каждый нормализованный текст во множество различных токенов. У множества нет счётчиков: red входит в него один раз, встречается ли оно в тексте один раз или десять. Для «red red blue» множество — red и blue; для «red blue» — те же два токена. Общих токенов 2, в объединении 2, совпадение 2 ÷ 2 = 1.
Точное равенство и равенство после нормализации всё равно показывают «Нет», потому что строки разные. Только в этих двух строках повтор ещё виден.
Более длинный пример ведёт себя так же. «pay pay pay now» и «pay now» тоже дают совпадение 1, хотя в первом тексте pay встречается трижды. Списки «Только в первом тексте» и «Только во втором тексте» остаются пустыми, потому что ни с одной стороны не пропал ни один различный токен.
Входные данные
- Первый текст
- red red blue
- Второй текст
- red blue
Результаты
- Полностью совпадают
- Нет
- Совпадают после нормализации
- Нет
- Совпадение слов
- 1
- Только в первом тексте
- Недоступно
- Только во втором тексте
- Недоступно
Совпадение текста не доказывает, что два изображения или документа идентичны.
Проверьте повторённое слово
- Сравните два текста и отметьте совпадение 1.
- Прочитайте «Полностью совпадают» и «Совпадают после нормализации»: в обоих «Нет».
- Обратите внимание, что оба списка токенов, найденных лишь с одной стороны, пусты: ни в одном множестве не недостаёт токена.
- Если важно число повторов, посчитайте повторённое слово в оригинале сами.
- Различных токенов, первый текст
- 2
- Различных токенов, второй текст
- 2
- Совпадение слов
- 1
Нормализация выполняется до построения множества, поэтому «Red», «RED» и «red» тоже сливаются в один токен; прописные буквы тоже не заставят учитывать повтор.
Когда повтор несёт смысл
В списке повторённая строка может означать количество: два одинаковых товара, двойное списание, указание, данное дважды. Совпадение множеств полностью скрывает такую разницу. Поиск дубликатов в Shotnest использует похожую идею множеств для скриншотов, но только после того, как у изображений совпали ширина и высота и почти совпал визуальный отпечаток, и сравнивает слова без цифр.
- Заключать, что два чека одинаковы, потому что их совпадение равно 1.
- Не замечать, что за пустыми списками различий скрывается повторённая строка.
- Использовать совпадение, чтобы посчитать, сколько раз встречается слово.
Мера на множествах — и читать её так же
Значение отвечает на один вопрос: какие различные токены есть в обоих текстах? Порядок и частота в него не входят. Когда важно количество, используйте инструмент сравнения по ссылке ниже вместе с исходным текстом.