Shotnest · ライブラリ
短い否定語が文の意味を変えることに気付く
Booking is activeとBooking is not activeの重なりは0.75で、違いはnotという語だけです。どちらかを信じる前に、片側だけのトークンを読んでください。
短い一語が結果をどう動かすか
比較では、正規化した両方のテキストを異なるトークンに分けます。Booking is activeにはbooking、is、activeの三つ、Booking is not activeには四つあります。全体の四つのうち三つが共有されるので、0.75になります。差分の一覧では、notが二つ目のテキストだけにあり、一つ目のテキストだけにあるものはありません。
意味が正反対になっても、重なりは四分の一しか減りません。文が長ければ、その語はさらに埋もれます。二十トークンのお知らせなら、notが一つ加わっても重なりは0.9を上回ったままです。比率が測るのは共有された語であり、共有された意味ではありません。
大文字小文字やアクセントは変化に数えられません。BOOKING IS ACTIVEとBooking is activeは正規化後に一致し、重なりは1です。
入力値
- 1つ目のテキスト
- Booking is active
- 2つ目のテキスト
- Booking is not active
結果
- 完全に一致
- いいえ
- 正規化後に一致
- いいえ
- 単語の重なり
- 0.75
- 1つ目のテキストだけにある
- 利用できません
- 2つ目のテキストだけにある
- not
テキストの重なりだけでは、2つの画像や文書が同一だとは証明できません。
二つの状態メッセージを比べる
- 前の状態を先に、あとの状態を二番目に貼り付けます。
- 重なりの値より先に、「一つ目のテキストだけにある」と「二つ目のテキストだけにある」の一覧を読みます。
- not、no、cancelled、expiredのような、否定や状態を表す語を探します。
- 現在の状態は、メッセージを発行した提供元で確かめます。
- メッセージは一件ずつ貼り付けます。両側に共通する余分な行があると重なりが上がり、違いを見落としやすくなります。
- 二つ目のテキストだけにある
- not
- アプリの重複チェックでの単語の重なり
- 0.75
- アプリの重複判定の単語しきい値
- 0.7
アプリでこれが問題になるところ
Shotnestの重複チェックは、0.75がしきい値の0.7を上回るため、この二つのテキストを語の上では十分に近いとみなします。二つを分けるのは画像です。重複には同じ幅と高さ、ほぼ同一の画像フィンガープリントも必要で、状態の行が変われば、たいてい画像も変わります。
- 重なりが大きいことを、二つ目のメッセージが一つ目を繰り返しているだけだと思うこと。
- 重なりを逆向きに読むこと。どちらのテキストに余分な語があるかを示すのは、値ではなく一覧です。
- アプリは一文字の語を語の集合から除くので、aやIが変わってもそこでは数えられないのに対し、比較ツールはすべてのトークンを残すことを忘れること。
類似は判定ではない
どちらの予約状態が本当かは、ツールにはわかりません。確認が済むまで両方のスクリーンショットを残し、そのあとで整理してください。