Shotnest · Biblioteca
Entenda por que repetir palavras não aumenta seu peso
“red red blue” e “red blue” chegam a uma sobreposição de palavras de 1, porque a ferramenta de comparação conta cada palavra distinta uma vez só, por mais que ela se repita.
A sobreposição é medida em conjuntos
A ferramenta de comparação transforma cada texto normalizado num conjunto de termos distintos. Um conjunto não tem contagens: red aparece nele uma vez, quer o texto diga red uma vez, quer dez vezes. Para “red red blue”, o conjunto é red e blue; para “red blue”, são os mesmos dois termos. Termos comuns 2, união 2, sobreposição 2 ÷ 2 = 1.
A igualdade exata e a igualdade normalizada continuam dizendo Não, porque as sequências são diferentes. Essas duas linhas são o lugar onde a repetição ainda aparece.
Um caso mais longo se comporta do mesmo jeito. “pay pay pay now” e “pay now” também dão uma sobreposição de 1, embora o primeiro texto diga pay três vezes. As listas de termos apenas do primeiro e apenas do segundo texto ficam vazias porque nenhum termo distinto falta em nenhum dos lados.
Dados de entrada
- Primeiro texto
- red red blue
- Segundo texto
- red blue
Resultados
- Exatamente iguais
- Não
- Iguais após normalização
- Não
- Sobreposição de palavras
- 1
- Apenas no primeiro texto
- Não disponível
- Apenas no segundo texto
- Não disponível
A sobreposição de texto não prova que duas imagens ou documentos sejam idênticos.
Confira uma palavra repetida
- Compare os dois textos e anote a sobreposição de 1.
- Leia “Exatamente iguais” e “Iguais após normalização”: os dois dão Não.
- Repare que as listas Apenas no primeiro texto e Apenas no segundo texto estão vazias, já que nenhum termo falta em nenhum dos conjuntos.
- Conte você mesmo a palavra repetida no original quando o número de repetições importar.
- Termos distintos, primeiro texto
- 2
- Termos distintos, segundo texto
- 2
- Sobreposição de palavras
- 1
A normalização roda antes de o conjunto ser montado, então “Red”, “RED” e “red” também se juntam num só termo; nem as maiúsculas fazem uma repetição contar.
Quando a repetição tem sentido
Numa lista, uma linha repetida pode significar uma quantidade: dois itens idênticos, uma cobrança em dobro, uma instrução dada duas vezes. A sobreposição de conjuntos esconde essa diferença por completo. O localizador de duplicadas do Shotnest usa uma ideia de conjunto parecida para as capturas, mas só depois de as imagens terem a mesma largura e altura e uma impressão digital visual quase igual, e compara palavras sem os dígitos.
- Concluir que dois recibos são o mesmo porque a sobreposição deles é 1.
- Ignorar listas de termos exclusivos vazias que escondem uma linha repetida.
- Usar a sobreposição para contar quantas vezes uma palavra aparece.
Uma medida de conjunto, lida como tal
O valor responde a uma única pergunta: quais termos distintos os textos compartilham? Ordem e frequência ficam de fora. Use a ferramenta de comparação indicada abaixo junto com o texto original sempre que uma contagem importar.