AI 글 판별 시뮬레이터

공개 언어모델을 브라우저에서 직접 실행해 입력한 글의 Perplexity와 Binoculars 점수를 계산합니다. 글은 외부로 전송되지 않고, 모델 파일만 Hugging Face에서 내려받습니다.

모델 설정

두 모델은 같은 토크나이저를 써야 합니다. Perplexity만 측정할 때는 관찰자 모델 하나만 사용합니다.

판별할 글

예시 넣기:

예시는 이 도구를 위해 작성한 시험용 글입니다. 문장이 짧으면 점수가 불안정하니 3~4문장 이상을 넣어 주세요.

처음 실행할 때 모델을 내려받으므로 시간이 걸립니다. 받은 모델은 브라우저 캐시에 저장됩니다.

결과

왼쪽에 글을 넣고 점수 계산을 누르면 여기에 점수와 판정이 표시됩니다.

Binoculars 점수가 이 값보다 낮으면 AI로 판정합니다.

토큰별 놀람도

계산 후 각 토큰을 모델이 얼마나 예상했는지 색으로 보여 줍니다.
예상한 토큰예상 밖 토큰· 마우스를 올리면 수치가 보입니다

측정 기록과 임계값 보정

작은 모델의 점수 범위는 논문의 Falcon-7B 기준과 다릅니다. 출처를 아는 글(직접 쓴 글, AI로 생성한 글)을 여러 개 측정하고 정답을 표시하면 이 모델 조합에 맞는 임계값을 제안합니다.

글모델BinocularsPPL정답
계산 방식과 한계

Perplexity(당혹도)는 모델이 글의 각 토큰을 얼마나 예상했는지를 평균낸 값입니다. 토큰 xᵢ의 놀람도는 −log p(xᵢ | x<ᵢ)이고, 이를 평균낸 것이 log-PPL, 지수를 취한 것이 PPL입니다. AI가 쓴 글은 확률이 높은 단어를 고르는 경향이 있어 PPL이 낮게 나오는 편입니다.

log-PPL = (1/N) · Σ −log p_perf(xᵢ | x<ᵢ)

Binoculars(Hans 외, 2024)는 PPL을 "이 문맥에서 원래 기대되는 놀람도"로 나눠 정규화합니다. 기대 놀람도는 관찰자 모델의 예측 분포와 수행자 모델의 예측 분포 사이의 교차 엔트로피(X-PPL)입니다. 주제 자체가 어려워 PPL이 높아지는 경우를 상쇄하므로, PPL 하나만 볼 때보다 안정적입니다.

X-PPL = (1/N) · Σ Σⱼ −p_obs(j | x<ᵢ) · log p_perf(j | x<ᵢ) Binoculars = log-PPL ÷ X-PPL   (낮을수록 AI 가능성 높음)

계산은 공식 구현과 같게 했습니다. log-PPL은 수행자 모델로, X-PPL의 확률 가중치는 관찰자 모델로 구합니다. 논문은 Falcon-7B(관찰자)와 Falcon-7B-Instruct(수행자)를 썼고 임계값은 약 0.90입니다. 여기서 쓰는 소형 모델은 점수 분포가 다르므로 기본 임계값 0.90은 출발점일 뿐입니다.

한계

  • 짧은 글(대략 50토큰 이하)은 점수 편차가 커서 믿기 어렵습니다.
  • AI 초안을 사람이 고친 글, 패러프레이즈·번역을 거친 글은 사람 쪽으로 기웁니다.
  • 어휘가 단순한 사람 글(비원어민, 공문서, 정형화된 보고서)은 AI로 오판될 수 있습니다.
  • 0.5B 이하 소형 모델은 한국어 이해가 제한적이라 대형 모델 기반 탐지기보다 정확도가 낮습니다.
  • 점수는 확률적 신호입니다. 징계나 차단 같은 판단의 단독 근거로 쓰지 마세요.