#!/usr/bin/env python3 """임베딩 모델별 유사도 분포 실측. 두 언어가 섞인 북마크 제목 세트에 대해 쿼리별 코사인 유사도를 구하고, (1) 분포가 얼마나 뭉쳐 있는지 (2) 특정 문서가 모든 쿼리의 상위를 독점하는지 확인한다. 결과는 embed_result.json 으로 저장 — 차트가 이 파일을 읽는다. """ from __future__ import annotations import json import math import urllib.request from collections import Counter OLLAMA = "http://127.0.0.1:11434/api/embeddings" MODELS = ["nomic-embed-text", "bge-m3"] # 북마크 제목처럼 생긴 문서 — 두 언어 섞음. 개인 데이터 없음. DOCS = [ "How to install a rear-facing car seat safely", "Netflix — my list", "Tesla Model 3 winter tire pressure guide", "llama.cpp build instructions for Vulkan", "Best espresso beans for a home machine", "Kubernetes ingress troubleshooting notes", "Cheap flights to Osaka in October", "React useEffect cleanup patterns", "Homemade pizza dough — 72 hour cold ferment", "RTX 2080 Ti teardown and repaste", "Learning German: separable verbs explained", "Mortgage refinance calculator", "카시트 장착 방법과 주의사항", "넷플릭스 이번 주 신작 목록", "테슬라 겨울철 타이어 공기압 정리", "llama.cpp 로컬 빌드 메모", "집에서 에스프레소 원두 고르는 법", "쿠버네티스 인그레스 문제 해결 기록", "10월 오사카 항공권 최저가", "리액트 useEffect 정리 패턴", "수제 피자 도우 저온숙성 레시피", "그래픽카드 분해 서멀 재도포", "독일어 분리동사 정리", "주택담보대출 갈아타기 계산기", ] QUERIES = [ "car seat", "netflix", "tesla tires", "pizza dough", "카시트", "넷플릭스", "테슬라 타이어", "피자 도우", ] def embed(model: str, text: str) -> list[float]: req = urllib.request.Request( OLLAMA, data=json.dumps({"model": model, "prompt": text}).encode(), headers={"Content-Type": "application/json"}, ) with urllib.request.urlopen(req, timeout=120) as r: return json.load(r)["embedding"] def cosine(a: list[float], b: list[float]) -> float: dot = sum(x * y for x, y in zip(a, b)) na = math.sqrt(sum(x * x for x in a)) nb = math.sqrt(sum(x * x for x in b)) return dot / (na * nb) def run(model: str) -> dict: print(f" {model}: embedding {len(DOCS)} docs + {len(QUERIES)} queries…") dv = [embed(model, d) for d in DOCS] qv = [embed(model, q) for q in QUERIES] sims: list[float] = [] top1 = [] for qi, q in enumerate(qv): row = [cosine(q, d) for d in dv] sims.extend(row) top1.append(max(range(len(row)), key=lambda i: row[i])) hub_doc, hub_count = Counter(top1).most_common(1)[0] lo, hi = min(sims), max(sims) mean = sum(sims) / len(sims) sd = math.sqrt(sum((s - mean) ** 2 for s in sims) / len(sims)) return { "model": model, "dims": len(dv[0]), "sims": [round(s, 4) for s in sims], "min": round(lo, 3), "max": round(hi, 3), "mean": round(mean, 3), "sd": round(sd, 3), "spread": round(hi - lo, 3), "hub_doc": DOCS[hub_doc], "hub_wins": hub_count, "queries": len(QUERIES), "top1_correct": sum( 1 for qi, di in enumerate(top1) if QUERIES[qi].split()[0].lower() in DOCS[di].lower() or any(k in DOCS[di] for k in QUERIES[qi].split()) ), } def main() -> None: out = {"docs": len(DOCS), "results": []} for m in MODELS: r = run(m) out["results"].append(r) print(f" dims={r['dims']} range={r['min']}–{r['max']} " f"spread={r['spread']} sd={r['sd']}") print(f" 가장 자주 1위한 문서: \"{r['hub_doc'][:44]}\" " f"({r['hub_wins']}/{r['queries']} 쿼리)") with open("embed_result.json", "w") as f: json.dump(out, f, ensure_ascii=False, indent=1) print("\n→ embed_result.json 저장") if __name__ == "__main__": main()