Doğru ya da Yanlış Değil: Alakanın Dereceleri

İkili alakanın sınırı

Önceki bölümün dünyasında her sonuç ikiye ayrılıyordu: ilgili ya da ilgisiz. Precision ve recall bu ikili yargının üstüne kuruluydu; kaç tane ilgili sonuç buldun diye sayıyorlardı. Ama bu sayım gizli bir varsayım yapar: bütün "ilgili" sonuçlar eşit değerdedir. Oysa değil.

Bir örnek bunu anında gösterir. "Ayak bileği burkulması nasıl tedavi edilir" diye arıyorsun ve üç sayfa geliyor:

• A: bir doktorun yazdığı, adım adım fizyoterapi rehberi. Altın.
• B: birinin ayak bileğinden bir kez bahsettiği bir forum gönderisi. Zayıf.
• C: ayak bileği anatomisini anlatan, ama tedaviye hiç girmeyen bir sayfa. Konu dışı.

İkili gözlükle bakarsan, üçü de "ayak bileğiyle ilgili" olduğu için hepsine "ilgili" diyebilirsin, ve A ile B karnede aynı puanı alır. Ama A kusursuz, B zar zor, C neredeyse alakasız. Kusursuz bir cevap ile zar zor işe yarayan bir cevap aynı puanı almamalı.

Dereceli alaka tam bunu düzeltir: A'ya 3, B'ye 1, C'ye 0 dersin. Bu fikrin literatürdeki adı dereceli alaka yargıları (graded relevance judgments), ve bütün modern sıralama metriklerinin (özellikle nDCG'nin) altında o yatar. Üstelik bu seçim kozmetik değil: bir araştırma, ikili alakadan dereceli alakaya geçmenin, hangi sistemin "en iyi" göründüğünü, iki insan değerlendiricinin birbiriyle anlaşmazlığından daha çok değiştirebildiğini buldu.1

Alakanın dereceleri

Dereceli bir alaka yargısı, her (sorgu, sonuç) çiftine küçük ve sıralı bir kümeden bir not verir: tipik olarak 0 (alakasız) ile bir tavan (mesela 3 = kusursuz) arasında. Bu senin icadın değil; sektörün en büyük arama sistemleri tam olarak böyle çalışır:2

İki ayrıntıya dikkat. Birincisi, Google sonuçları gerçek bir kaydırıcı (slider) üzerinde puanlatır; "ilgili mi değil mi" değil, "ne kadar ihtiyacı karşılıyor". Alakanın dereceli olduğunun bundan açık kanıtı olamaz. İkincisi, TREC'in ölçeğinde 1. seviyenin adı birebir "Related"; yani senin karnenideki RELATED/WEAK/UNRELATED, akademik ölçeklerin neredeyse aynısı. Kaç seviye olmalı? Buna kesin cevap yok ("iki mi, üç mü, yedi mi?"); çoğu modern koleksiyon 4 ya da 5 seviyede karar kılar.1

Şimdi sen dene: bir sorgu ve bir sonuç vereceğim, sen derecelendir. Sonra "değerlendirici kılavuzunun" cevabını göstereyim.

Sıra da değer taşır

Dereceli alaka, içgörünün yalnızca yarısı. İkinci yarı şu: bir sonucun değeri, nerede durduğuna da bağlıdır. 1. sıradaki kusursuz bir cevap, aynı cevabın 10. sıraya gömülmüş halinden çok daha değerlidir, çünkü kullanıcı oraya kadar nadiren iner. nDCG'yi tanımlayan makale iki ilkeyi yan yana koyar: çok ilgili belgeler az ilgili olanlardan daha değerlidir, ve bir belge sıralamada ne kadar aşağıdaysa kullanıcı için o kadar değersizdir, çünkü görülme ihtimali o kadar düşüktür.3

Bu havada bir laf değil; göz izleme çalışmaları kullanıcıların kabaca yarısının yalnızca ilk üç sonuca baktığını gösteriyor.4 İşte bu yüzden iyi bir metrik, aşağıdaki sıralara doğru sonucun değerini indirimli (discounted) saymalı. Bu indirim genelde sıranın logaritmasıyla yapılır, ve şöyle görünür:

CG → DCG → nDCG, adım adım

Şimdi bu iki fikri (dereceli not + konum indirimi) tek bir sayıda birleştirelim. Üç basamakta yükseliyoruz; her basamak bir öncekinin eksiğini kapatıyor.

1. CG: notları topla (ama sırayı görmez)

Cumulative Gain, ilk birkaç sonucun notlarının toplamıdır. CG = not₁ + not₂ + ... Basit ama ölümcül bir kusuru var: sırayı umursamaz. İki sonucun yerini değiştirsen CG değişmez. 1. sıradaki harika sonuç ile 6. sıradaki aynı sonuç, CG'ye göre eşittir. Yanlış.

2. DCG: her notu konumuyla indir

Discounted Cumulative Gain, her notu konumunun logaritmasına böler: DCG = Σ not / log₂(sıra+1). Payda öyle seçilmiştir ki 1. sıra tam değer alır (log₂2 = 1), 2. sıra 1,58'e, 3. sıra 2'ye bölünür. Makalenin sezgisi şuydu: bir belge 1024. sırada bile yüz değerinin onda birini alsın; logaritmanın tabanını oynatarak indirimi sertleştirir ya da yumuşatırsın.3 (Sık kullanılan bir varyant, notu önce 2^not − 1'e çevirir; bu "üstel kazanç" çok-ilgili belgeleri çok daha sert ödüllendirir. Google ve Bing bunu kullanır.5)

3. nDCG: ideale böl, [0,1]'e sıkıştır

DCG'nin ham değeri sorgular arası kıyaslanamaz: çok ilgili belgesi olan bir sorgu, kusursuz sıralansa bile, az belgesi olandan daha büyük DCG toplar. Çözüm: o sorgu için mümkün olan en iyi sıralamanın DCG'sini hesapla (buna IDCG, ideal DCG denir) ve ona böl. nDCG = DCG / IDCG. Artık her sorgu 0 ile 1 arasında, "mümkün olan en iyinin yüzde kaçını verdin" diye okunan ortak bir cetvelde.3

Lafı bırakıp kuralım. Aşağıdaki hesaplayıcıda 6 sonuç var, her birinin bir notu (0-3). Oklarla sırayı değiştir, ya da nota tıklayıp değerini değiştir; CG, DCG, IDCG ve nDCG anında güncellensin. "İdeale sırala"ya basınca nDCG'nin neden 1,00 olduğunu gör.

İkili görünümü açıp dene: notlar 0/1'e inince "çok ilgili" ile "zayıf" arasındaki fark kaybolur ve skor körleşir. İşte bu, 1. bölümün ikili dünyasının attığı bilgi.

İdealin bir inceliği

nDCG'yi ilk kez kuranların en sık takıldığı yer şudur: IDCG, sadece senin döndürdüğün sonuçlardan değil, o sorgu için ilgili bilinen tüm belgelerden kurulur. Yani senin hiç getirmediğin ama aslında çok ilgili olan bir belge varsa, o da ideal sıralamaya girer ve tavanı yükseltir.

Wikipedia'nın klasik örneği bunu güzel anlatır. Aynı altı sonuç (notlar 3, 2, 3, 0, 1, 2) için, eğer ilgili sadece bu altısıysa nDCG ≈ 0,96 çıkar. Ama dışarıda, sistemin kaçırdığı iki mükemmel belge daha (not 3 ve not 2) varsa, ideal sıralama yükselir ve aynı çıktının nDCG'si 0,785'e düşer.6 Çelişki değil; ders bu: nDCG, "elindeki her şey göz önüne alındığında yapabileceğin en iyisi"ne göre puan verir.

Kuzen metrikler

nDCG tek başına değil; her biri kullanıcının davranışına dair farklı bir hikâye anlatan bir aile var. Hepsini bilmen gerekmez ama haritayı görmek faydalı:

İki kuzen özellikle öğretici. ERR, DCG'nin gerçek bir kusurunu düzeltir: DCG, 5. sıradaki belgeye, üstündekiler harika da olsa berbat da olsa aynı indirimi verir. Oysa 1. sıra seni zaten tatmin ettiyse 5. sıraya hiç inmezsin. ERR, bu "ilk tatminde dur" davranışını modeller, ve bu yüzden skoru büyük ölçüde "tepe sonucu tutturdun mu" sorusuna bağlıdır.7 RBP ise bir "sabır" parametresiyle sabırlı araştırmacıyla sabırsız kullanıcıyı ayırır. Hepsinin ortak dersi: bir metrik seçmek, aslında hayalî kullanıcının nasıl davrandığına dair bir varsayım seçmektir.

Etiketler nereden gelir?

Bütün bu güzel matematiğin gizli bir bağımlılığı var: birinin o notları (0, 1, 2, 3) önceden vermiş olması gerekiyor. Bu "altın etiketler" üç yoldan gelir:8

• İnsan değerlendiriciler: uzmanlar, yazılı kılavuzlara göre (Google'ınki 180+ sayfa) puan verir. Doğru ama pahalı, yavaş ve değerlendiriciden değerlendiriciye değişken.
• Tıklama modelleri (örtük): tıklama, kalış süresi, geri dönme oranı gibi davranışlardan çıkarılır. Ölçeklenir ama gürültülü ve konum yanlısıdır (1. sıraya tıklamak "iyiydi" değil "ilk sıradaydı" demek olabilir).
• Yapay zekâ ile (yeni): bir LLM, çiftleri ucuza derecelendirir. Hâlâ insan gözetimi ister.

Burada bir uyarı: insan yargıları "altın" desek de sandığından öznel. Manning'in ders kitabının keskin cümlesiyle, "bir insan, bir belgenin alakasını güvenilir biçimde rapor eden bir cihaz değildir; insanlar ve alaka yargıları oldukça kendine has ve değişkendir". Ama bu çözülmesi gereken bir sorun değil; sonuçta bir arama sisteminin başarısı, tam da bu kendine has insanları tatmin etmesine bağlıdır.1 İki değerlendiricinin ne kadar anlaştığını ölçmek için kappa (κ) istatistiği kullanılır: ham anlaşma oranını şanstan arındırır. Ve iyi haber: değerlendiriciler tek tek yargılarda anlaşmasa bile, hangi sistemin daha iyi olduğu konusunda genelde aynı sonuca varırlar.

nDCG'nin sınırları

nDCG güçlü ama kusursuz değil; dürüst bir karne onun da kör noktalarını bilir:

• Logaritma tabanı "efsanesi". Tabanı değiştirmek tüm indirimleri sabit bir çarpanla çarpar; nDCG'de bu çarpan hem payda hem payda olduğu için sadeleşir, yani nDCG değeri değişmez. Ama ham DCG'yi değiştirir. Taban 2 bir gelenek (yorumlanabilir), zorunluluk değil.6
• Kazanç fonksiyonu cevabı değiştirir. Doğrusal not ile üstel 2^not−1, aynı veride farklı nDCG verir (hesaplayıcıda dene). Tek bir "doğru" yok; bu bir modelleme kararı. Orijinal makale bile 0-1-1-1'den 0-1-10-100'e kadar farklı ağırlıklar denedi (kusursuz bir belge, az ilgili olanın 100 katı).3
• Çöpü cezalandırmaz. nDCG, listede kötü belge bulunmasını cezalandırmaz; ilgili olanları doğru sıralarsan, aralara giren alakasızlar skoru fazla düşürmez.6
• Eksik yargılar. Döndürdüğün bir belgeyi hiç puanlamadıysan, onu skorlayamazsın; ve havuzlama (pooling) bu boşlukları kaçınılmaz kılar.
• Doğrudan optimize edilemez. Tüm sıralama metrikleri gibi nDCG de basamaklıdır (türevi ya sıfır ya tanımsız), o yüzden öğrenen sistemler onun pürüzsüz bir vekilini optimize eder.

Karneye uygulamak: RELATED / WEAK / UNRELATED

Şimdi her şeyi birleştirip serinin çıkış noktasına dönelim. Üç seviyeli RELATED / WEAK / UNRELATED şeması, aslında zaten dereceli bir alaka ölçeği kurmuş. Tek yapman gereken eşlemeyi açık etmek:

Bu eşlemeyle öneri sistemini doğrudan nDCG ile ölçebilirsin. Diyelim bir not için ilk 6 önerin şu notları taşıyor: [2, 1, 2, 0, 1, 2] (yani RELATED, WEAK, RELATED, UNRELATED, WEAK, RELATED). Elle kuralım:

Yani bu öneri listesi, aynı önerilerin mümkün olan en iyi sıralamasının yaklaşık %93'ü kadar iyi diziliyor. Tek bir sayıda hem "ne kadar ilgili" (dereceli not) hem "doğru sırada mı" (konum indirimi) bilgisi var. Google'ın ve Bing'in arama kalitesini ölçen aynı makine, senin üç kutuluk mütevazı önericini de ölçer; çünkü RELATED/WEAK/UNRELATED, dereceli alakanın ta kendisidir.

Ve 1. bölümle bağı unutma: graded precision@k de hesaplayabilirsin (ilk k'nın ortalama notu), ama nDCG'nin üstünlüğü sırayı da hesaba katmasıdır. İkili precision "ilk 5'in kaçı ilgili" der; nDCG "ilk 5 ne kadar ve ne kadar iyi sırada ilgili" der.

Nereden başlamalı

Sonuç

Birinci bölüm bize "doğru mu, yanlış mı" diye sormayı öğretti. İkinci bölüm o soruyu inceltti: ne kadar doğru, ve nerede? Dereceli alaka, kusursuz bir cevabı zar zor işe yarayan bir cevaptan ayırmamızı sağlar; konum indirimi, doğru cevabı yukarı taşımayı ödüllendirir; nDCG ikisini tek, kıyaslanabilir bir sayıda birleştirir.

İkili dünya "buldun mu" diye sorar; dereceli dünya "ne kadar iyi, ne kadar yukarıda" diye sorar. İkincisi her zaman daha çok şey bilir.

Ama her iki bölümün de altında çözülmemiş bir soru duruyor: bütün bu precision, recall ve nDCG hesapları, birinin önceden "doğru" etiketini koymuş olmasına dayanıyor. O etiketi kim koyacak? İnsan pahalı ve yavaş. Modern ve güçlü bir cevap: başka bir yapay zekâ. Son bölümde ground-truth'u görmeyen bir LLM hakemi devreye sokuyoruz, onun yanlılıklarını teşhir ediyoruz, ve en güzeli, hakemin kendisini 1. ve 2. bölümün araçlarıyla yargılıyoruz.