Shotnest · 资料库
理解重复单词为何不增加词项权重
“red red blue”和“red blue”的词元重合度为 1，因为比较工具对每个不同的词只计一次，不管它重复多少次。
重合度是在集合上衡量的
比较工具把每段规范化后的文字变成一个由不同词元组成的集合。集合里没有次数：不管文字里 red 出现一次还是十次，它在集合中只出现一次。“red red blue”的集合是 red 和 blue；“red blue”也是这两个词元。共有词元 2，并集 2，重合度 2 ÷ 2 = 1。
“完全相同”和“规范化后相同”仍然显示“否”，因为字符串不同。只有这两行还能看出重复。
更长的例子也一样。“pay pay pay now”和“pay now”的重合度同样是 1，尽管第一段文字说了三次 pay。“仅在第一段文本中”和“仅在第二段文本中”的列表都是空的，因为两边都不缺任何不同的词元。
输入值
- 第一段文本
- red red blue
- 第二段文本
- red blue
结果
- 完全相同
- 否
- 规范化后相同
- 否
- 词语重合度
- 1
- 仅在第一段文本中
- 暂无数据
- 仅在第二段文本中
- 暂无数据
文本重合不能证明两张图像或两份文档完全相同。
核对重复的词
- 比较两段文字，记下重合度为 1。
- 看“完全相同”和“规范化后相同”：两项都是“否”。
- 注意两个单侧列表都是空的，因为每个集合里的词元另一边都有。
- 重复次数重要时，自己在原文中数一数那个重复的词。
- 第一段文字的不同词元
- 2
- 第二段文字的不同词元
- 2
- 词语重合度
- 1
集合建立之前会先做规范化，所以“Red”“RED”和“red”也都会合并成一个词元；大写字母同样无法让重复被计数。
当重复带有含义时
在列表中，重复的一行可能意味着数量：两件相同的商品、一笔重复的扣款、一条说了两遍的指示。集合重合度把这种差异完全掩盖了。Shotnest 的重复项查找对截屏用的是类似的集合思路，但前提是图片的宽度和高度相同、视觉指纹几乎一致，而且它比较的是不含数字的词。
- 因为重合度为 1，就断定两张收据是同一张。
- 只看到两个单侧列表为空，就忽略了被它们掩盖的重复行。
- 用重合度来数一个词出现了多少次。
集合度量，就按集合来读
这个数值只回答一个问题：两段文字共有哪些不同的词元？顺序和频率都不在其中。只要次数重要，就把下方链接的比较工具和原文一起使用。