让标点差异保持可见

为什么一个逗号会让重合度少了三分之二

规范化之后，比较工具只按空格拆分文字，别的都不管。标点不会被去掉，所以带逗号的“note,”和不带逗号的“note”是两个不同的词元。在示例中，第一段文字的词元是 note, 和 ready；第二段是 note 和 ready。并集里有三个不同的词元，只有 ready 是共有的，所以重合度是 1 ÷ 3。

同样的机制也适用于粘在词上的句号、冒号、右括号和引号。Shotnest 应用的搜索则不同：它在截屏文字中查找你输入的每个词，所以在那里“note”仍能找到“note,”。

文字越长，影响越小，但不会消失。“Meet at the station. Bring tickets”和“Meet at the station bring tickets”在七个不同词元中共有五个，重合度为 0.7142857142857143，唯一不同的词元是带句号的“station.”和不带句号的“station”。

输入值

第一段文本

note, ready

第二段文本

note ready

结果

完全相同

否

规范化后相同

否

词语重合度

0.333333

仅在第一段文本中

note,

仅在第二段文本中

note

文本重合不能证明两张图像或两份文档完全相同。

逐行解读结果

1. 完全相同：否，因为两个字符串差了一个逗号。
2. 规范化后相同：否；规范化改变的是大小写和重音，而不是标点。
3. 词语重合度：0.3333333333333333。
4. 仅在第一段文本中：“note,”。仅在第二段文本中：“note”。
5. 看截屏，判断这个逗号是有意义的，还是拷贝时产生的瑕疵。

并集中的不同词元

3 个词元

共有的词元

1 个词元

词语重合度

0.3333333333333333

重音和字母大小写在拆分之前就已处理，所以“Café,”和“cafe,”会成为同一个词元；只有粘连的逗号或句号会让两个本来相同的词分开。

这个例子能避免的错误

• 因为一个只带一个逗号的短语得分很低，就断定两段说明文字毫无关系。
• 以为得分较低的文字就是不太准确的那一段；重合度根本没有正确与否的概念。
• 比较前手动去掉标点，之后却忘了原文里有标点。
• 在很短的文字上使用重合度，在这种情况下，一个词元就能让数值变化三分之一甚至更多。

这个数字决定不了什么

重合度比较的是词元集合。它不能说明哪个版本先输入，哪个出现在图片中，也不能说明逗号是否改变了意思。下方链接的比较工具会显示“仅在第一段文本中”和“仅在第二段文本中”的列表，让你确切看到是哪些粘连的符号造成了差别。