Shotnest · Библиотека
Замечайте короткое слово, меняющее утверждение
Booking is active и Booking is not active совпадают на 0,75, и разделяет их только слово not; прочитайте токены, найденные лишь с одной стороны, прежде чем доверять любому из текстов.
Как одно короткое слово сдвигает результат
Сравнение делит оба нормализованных текста на различные токены. В Booking is active их три: booking, is, active. В Booking is not active — четыре. Общих три из четырёх, что даёт 0,75. Список различий показывает not только во втором тексте и ничего — только в первом.
Противоположный смысл стоит лишь четверти совпадения. В более длинном предложении слово спряталось бы ещё лучше: в объявлении из двадцати токенов одно добавленное not всё равно оставило бы совпадение выше 0,9. Отношение измеряет общие слова, а не общий смысл.
Регистр и диакритика изменением не считаются. BOOKING IS ACTIVE и Booking is active совпадают после нормализации, а совпадение равно 1.
Входные данные
- Первый текст
- Booking is active
- Второй текст
- Booking is not active
Результаты
- Полностью совпадают
- Нет
- Совпадают после нормализации
- Нет
- Совпадение слов
- 0,75
- Только в первом тексте
- Недоступно
- Только во втором тексте
- not
Совпадение текста не доказывает, что два изображения или документа идентичны.
Сравните два сообщения о статусе
- Вставьте сначала более ранний статус, затем более поздний.
- Прочитайте списки «Только в первом тексте» и «Только во втором тексте» раньше, чем показатель совпадения.
- Ищите отрицания и слова статуса вроде not, no, cancelled или expired.
- Уточните текущее состояние у сервиса, который прислал сообщение.
- Вставляйте каждое сообщение отдельно: лишние общие строки с обеих сторон повышают совпадение, и разницу легче пропустить.
- Только во втором тексте
- not
- Совпадение слов в проверке дубликатов приложения
- 0,75
- Порог совпадения слов для дубликатов в приложении
- 0,7
Где это важно в приложении
Проверка дубликатов в Shotnest сочла бы эти два текста достаточно близкими по словам, потому что 0,75 выше её порога 0,7. Разводит их изображение: дубликату нужны ещё и одинаковые ширина и высота и почти идентичный отпечаток изображения, а изменившаяся строка статуса обычно меняет и картинку.
- Считать, что при высоком совпадении второе сообщение лишь повторяет первое.
- Читать совпадение не в ту сторону: какой текст содержит лишнее слово, показывают списки, а не число.
- Забывать, что приложение исключает из своих наборов слов однобуквенные слова, поэтому изменившиеся a или I там никогда не учитываются, а инструмент сравнения сохраняет каждый токен.
Сходство — не вердикт
Инструмент не может сказать, какое состояние брони настоящее. Храните оба скриншота, пока не проверите, а потом наведите порядок.