Shotnest

Shotnest · 资料库

识别顺序不同但词集合相同的文本

在 Shotnest 比较工具中,“red blue”和“blue red”的词元重合度为 1,但即使规范化后两者也不相同。

顺序不在度量之内

词元重合度是共有的不同词元数,除以两段文字合起来的不同词元数。位置不起任何作用。“red blue”和“blue red”得到相同的集合,所以重合度是 2 ÷ 2 = 1。“规范化后相同”比较的是整个规范化后的字符串,所以仍然显示“否”:词的顺序不同。

这两行之间的差距正是有用的信号。重合度满分而规范化后的文字不相同,说明同样的词被重新排列了,这在列表中可能无关紧要,在句子中却可能起决定作用。

规范化不会重新排序任何东西:它转为小写、折叠重音、合并空格,然后按字符串原样比较。

输入值

第一段文本
red blue
第二段文本
blue red

结果

完全相同
否
规范化后相同
否
词语重合度
1
仅在第一段文本中
暂无数据
仅在第二段文本中
暂无数据

文本重合不能证明两张图像或两份文档完全相同。

把三项结果放在一起看

  1. 完全相同:否。
  2. 规范化后相同:否,因为顺序不同。
  3. 词语重合度:1,“仅在第一段文本中”和“仅在第二段文本中”都为空。
  4. 按顺序把两段文字都读出声来;如果意思变了,就把它们当作不同的记录。
共有的词元
2
合计不同词元
2
词语重合度
1

当词序重要时

“Gate 12 seat 5”和“seat 12 gate 5”共有每一个词元,却把两个数字在字段之间互换了。“Not before Friday”和“before Friday, not”意思不同。在 Shotnest 应用中,搜索同样不管顺序:输入的每个词都必须出现在截屏文字中,位置不限。这有助于找到截屏,也是根据结果行动之前要先读一读的又一个理由。

互换字段的例子恰好给出这样的结果:“Gate 12 seat 5”和“seat 12 gate 5”在规范化后不相同,而它们的重合度是 1。

不对图片下结论

下方链接的比较工具会说明,它的结果只是文字重合度,不能证明两张图片或两份文件完全相同。Shotnest 自己的重复项检查除了共有的词之外,还需要图片尺寸和视觉指纹一致。