Shotnest · Библиотека
Распознавайте одинаковые слова в другом порядке
«red blue» и «blue red» дают в инструменте сравнения Shotnest совпадение токенов 1, но не равны даже после нормализации.
Порядок в эту меру не входит
Совпадение токенов — это число общих различных токенов, делённое на число различных токенов в обоих текстах вместе. Позиция роли не играет. «red blue» и «blue red» дают одно и то же множество, поэтому совпадение равно 2 ÷ 2 = 1. Равенство после нормализации сравнивает нормализованные строки целиком, поэтому всё равно показывает «Нет»: слова стоят в другом порядке.
Именно этот разрыв между двумя строками результата и служит полезным сигналом. Полное совпадение при неравном нормализованном тексте означает, что тот же словарь переставлен, — в списке это может быть безобидно, а в предложении решающе.
Нормализация ничего не переставляет: она переводит текст в нижний регистр, снимает диакритику и сводит пробелы, а затем сравнивает строки как есть.
Входные данные
- Первый текст
- red blue
- Второй текст
- blue red
Результаты
- Полностью совпадают
- Нет
- Совпадают после нормализации
- Нет
- Совпадение слов
- 1
- Только в первом тексте
- Недоступно
- Только во втором тексте
- Недоступно
Совпадение текста не доказывает, что два изображения или документа идентичны.
Читайте три результата вместе
- «Полностью совпадают»: «Нет».
- «Совпадают после нормализации»: «Нет», потому что порядок различается.
- «Совпадение слов»: 1, а списки «Только в первом тексте» и «Только во втором тексте» пусты.
- Прочитайте оба текста вслух по порядку; если смысл меняется, считайте их разными записями.
- Общих токенов
- 2
- Различных токенов всего
- 2
- Совпадение слов
- 1
Когда порядок слов важен
«Gate 12 seat 5» и «seat 12 gate 5» делят все токены, но меняют местами два числа между полями. «Not before Friday» и «before Friday, not» значат разное. В приложении Shotnest поиск тоже не учитывает порядок: каждое набранное слово должно встретиться в тексте скриншота, на любой позиции. Это помогает найти скриншот — и это ещё одна причина прочитать результат, прежде чем действовать.
- Называть два скриншота дубликатами, потому что совпадение их текста равно 1.
- Пропускать строку равенства после нормализации — единственную, которая замечает порядок.
- Считать переставленный список идентичным, когда его пункты привязаны к позициям, например к местам или рангам.
Пример с переставленными полями даёт именно такой результат: «Gate 12 seat 5» и «seat 12 gate 5» не равны после нормализации, а их совпадение равно 1.
Никакого вердикта об изображениях
Инструмент сравнения по ссылке ниже сообщает, что его результат — только совпадение текста, а не доказательство того, что два изображения или документа идентичны. Собственной проверке дубликатов в Shotnest, кроме общих слов, нужны ещё совпадающие размеры изображений и визуальные отпечатки.