Shotnest · 资料库
识别顺序不同但词集合相同的文本
在 Shotnest 比较工具中,“red blue”和“blue red”的词元重合度为 1,但即使规范化后两者也不相同。
顺序不在度量之内
词元重合度是共有的不同词元数,除以两段文字合起来的不同词元数。位置不起任何作用。“red blue”和“blue red”得到相同的集合,所以重合度是 2 ÷ 2 = 1。“规范化后相同”比较的是整个规范化后的字符串,所以仍然显示“否”:词的顺序不同。
这两行之间的差距正是有用的信号。重合度满分而规范化后的文字不相同,说明同样的词被重新排列了,这在列表中可能无关紧要,在句子中却可能起决定作用。
规范化不会重新排序任何东西:它转为小写、折叠重音、合并空格,然后按字符串原样比较。
输入值
- 第一段文本
- red blue
- 第二段文本
- blue red
结果
- 完全相同
- 否
- 规范化后相同
- 否
- 词语重合度
- 1
- 仅在第一段文本中
- 暂无数据
- 仅在第二段文本中
- 暂无数据
文本重合不能证明两张图像或两份文档完全相同。
把三项结果放在一起看
- 完全相同:否。
- 规范化后相同:否,因为顺序不同。
- 词语重合度:1,“仅在第一段文本中”和“仅在第二段文本中”都为空。
- 按顺序把两段文字都读出声来;如果意思变了,就把它们当作不同的记录。
- 共有的词元
- 2
- 合计不同词元
- 2
- 词语重合度
- 1
当词序重要时
“Gate 12 seat 5”和“seat 12 gate 5”共有每一个词元,却把两个数字在字段之间互换了。“Not before Friday”和“before Friday, not”意思不同。在 Shotnest 应用中,搜索同样不管顺序:输入的每个词都必须出现在截屏文字中,位置不限。这有助于找到截屏,也是根据结果行动之前要先读一读的又一个理由。
- 因为文字重合度为 1,就说两张截屏是重复项。
- 跳过“规范化后相同”这一行,而它是唯一会注意到顺序的一项。
- 以为重新排列的列表完全一样,而其中的项目其实与位置绑定,比如座位或名次。
互换字段的例子恰好给出这样的结果:“Gate 12 seat 5”和“seat 12 gate 5”在规范化后不相同,而它们的重合度是 1。
不对图片下结论
下方链接的比较工具会说明,它的结果只是文字重合度,不能证明两张图片或两份文件完全相同。Shotnest 自己的重复项检查除了共有的词之外,还需要图片尺寸和视觉指纹一致。