Shotnest · Библиотека
Сравнивайте текст с повторяющимися пробелами
Red blue с двумя пробелами не совпадает полностью с Red blue, но оба сводятся к red blue, поэтому равенство после нормализации — «Да», а совпадение токенов равно 1.
Три уровня одинаковости
«Полностью совпадают» сравнивает исходные строки посимвольно, поэтому второй пробел делает Red blue отличным от Red blue. «Совпадают после нормализации» сначала переводит текст в нижний регистр и снимает диакритику, затем заменяет каждую серию пробелов, табуляций или переносов строки одним пробелом и обрезает оба конца. Оба ввода превращаются в red blue. «Совпадение слов» затем сравнивает различные слова — здесь это одинаковый набор, что даёт 1.
То же сведение объясняет и другие пары. Табуляция и перенос строки в конце, как в Red, табуляция, blue, перенос строки, тоже нормализуются в red blue. Café и cafe тоже становятся равными, потому что диакритика снимается до сведения пробелов.
Таблица букв, которую использует поиск, работает и здесь, поэтому полноширинные буквы и идеографический пробел преобразуются до сведения пробелов: ＲＥＤ ＢＬＵＥ нормализуется в red blue и равно ему.
Входные данные
- Первый текст
- Red blue
- Второй текст
- Red blue
Результаты
- Полностью совпадают
- Нет
- Совпадают после нормализации
- Да
- Совпадение слов
- 1
- Только в первом тексте
- Недоступно
- Только во втором тексте
- Недоступно
Совпадение текста не доказывает, что два изображения или документа идентичны.
Решите, важны ли пробелы
- Сначала прочитайте «Полностью совпадают»; «Нет» означает, что различается хотя бы один символ.
- Прочитайте «Совпадают после нормализации»; «Да» означает, что разница была в регистре, диакритике или пробелах.
- Спросите себя, несёт ли смысл раскладка текста, как в коде, стихах или таблице.
- Если несёт, сравнивайте исходные скриншоты, а не извлечённый текст.
- Red, табуляция, blue, перенос строки и red blue · после нормализации
- Да
- Café и cafe · точно
- Нет
- Café и cafe · после нормализации
- Да
Ошибки со сведёнными пробелами
- Называть два фрагмента кода идентичными, когда «Да» стоит только в строке нормализации; отступы могут различаться.
- Ожидать, что поле поиска сводит пробелы так же; на этом сайте — нет.
- Забывать, что распознавание текста может добавлять или терять пробелы между колонками.
- Принимать «Да» после нормализации за доказательство одинакового написания: Müller и Muller после снятия диакритики равны, хотя это могут быть разные фамилии.
Текст одинаковый, картинки могут различаться
Равенство после нормализации описывает только извлечённые слова. Два скриншота с одинаковым текстом всё равно могут различаться раскладкой, цветом или деталью, которую распознавание текста пропустило.
В уборке Shotnest текстовая проверка использует слова только из букв, так что цифры там тоже не учитываются; два почти одинаковых экрана различает отпечаток изображения.