반복 단어가 토큰 가중치를 늘리지 않는 이유

겹침은 집합으로 잽니다

비교 도구는 정규화한 각 텍스트를 서로 다른 토큰의 집합으로 바꿉니다. 집합에는 개수가 없습니다. 텍스트에 red가 한 번 나오든 열 번 나오든 집합에는 red가 한 번만 들어갑니다. “red red blue”의 집합은 red와 blue이고, “red blue”도 같은 두 토큰입니다. 공유 토큰 2, 합집합 2, 겹침 2 ÷ 2 = 1입니다.

원래 문자열이 다르므로 정확히 같음과 정규화 후 같음은 여전히 아니요입니다. 반복이 아직 보이는 곳은 이 두 줄입니다.

더 긴 경우도 마찬가지입니다. “pay pay pay now”와 “pay now”도 겹침이 1인데, 첫 번째 텍스트는 pay를 세 번 말합니다. 어느 쪽에도 빠진 서로 다른 토큰이 없으므로 첫 번째에만 있는 목록과 두 번째에만 있는 목록은 비어 있습니다.

입력값

첫 번째 텍스트

red red blue

두 번째 텍스트

red blue

결과

정확히 같음

아니요

정규화 후 같음

아니요

단어 겹침

1

첫 번째 텍스트에만 있음

사용할 수 없음

두 번째 텍스트에만 있음

사용할 수 없음

텍스트가 겹친다고 두 이미지나 문서가 동일하다는 뜻은 아닙니다.

반복된 단어 확인하기

1. 두 텍스트를 비교하고 겹침이 1이라는 점을 확인하세요.
2. ‘정확히 같음’과 ‘정규화 후 같음’을 읽으세요. 둘 다 아니요입니다.
3. 어느 집합에서도 빠진 토큰이 없으므로 첫 번째에만 있는 목록과 두 번째에만 있는 목록이 비어 있다는 점에 주목하세요.
4. 반복 횟수가 중요할 때는 원문에서 반복된 단어를 직접 세세요.

첫 번째 텍스트의 서로 다른 토큰

2

두 번째 텍스트의 서로 다른 토큰

2

토큰 겹침

1

정규화는 집합을 만들기 전에 이루어지므로 “Red”, “RED”, “red”도 모두 하나의 토큰으로 합쳐집니다. 대문자로도 반복을 세게 만들 수는 없습니다.

반복이 의미를 가질 때

목록에서 반복된 줄은 수량을 뜻할 수 있습니다. 같은 품목 두 개, 두 번 청구된 금액, 두 번 내려진 지시 같은 것입니다. 집합 겹침은 이 차이를 완전히 가립니다. Shotnest의 중복 찾기도 스크린샷에 비슷한 집합 개념을 쓰지만, 이미지의 너비와 높이가 같고 시각적 지문도 거의 같은 경우에만 적용하며, 숫자를 뺀 단어로 비교합니다.

• 겹침이 1이라는 이유로 두 영수증이 같다고 결론짓는 것.
• 반복된 줄을 가리고 있는 빈 첫 번째·두 번째 목록을 그냥 넘기는 것.
• 어떤 단어가 몇 번 나오는지 세는 데 겹침을 쓰는 것.

집합 척도는 집합 척도로 읽기

이 값이 답하는 질문은 하나입니다. 두 텍스트가 어떤 서로 다른 토큰을 공유하는가 하는 것입니다. 순서와 빈도는 그 범위 밖에 있습니다. 개수가 중요할 때는 아래에 연결된 비교 도구를 원문과 함께 사용하세요.