Hakem Olarak Yapay Zekâ: Etiketi Kim Koyar?

Etiketi kim koyacak?

İlk iki bölüm boyunca bir şeyi sessizce varsaydık: alaka etiketlerinin önceden var olduğunu. Precision/recall için "ilgili / ilgisiz" ikili gerçeğine, nDCG için "0, 1, 2, 3" dereceli notlarına ihtiyaç vardı. Ama o etiketleri biri üretmek zorunda. Klasik cevap insan değerlendiricilerdi: doğru ama "olağanüstü yavaş ve pahalı". Hızlı yinelenen bir üründe, her model ve her prompt değişikliğinde binlerce çifti insanlara puanlatmak imkânsız.1

Eski otomatik metrikler (BLEU, ROUGE, tam eşleşme) ise açık uçlu, yaratıcı ya da uzun metinlerde çuvallar: kelime örtüşmesini ölçerler, anlamı değil. Geriye güçlü, ucuz ve ölçeklenebilir bir üçüncü yol kalıyor: bir LLM'e puanlatmak. Mantığı sağlam, ve sezgisi çok temiz:

Eleştirmek, üretmekten kolaydır. İçeriği sınıflandırmak, içeriği yazmaktan basittir.

Bir film eleştirmeninin yönetmen olması gerekmez. Aynı şekilde, bir cevabı "iyi mi" diye değerlendirmek, o cevabı sıfırdan üretmekten daha kolay bir iştir; ve modeller bu kolay işte şaşırtıcı derecede iyidir.2 Önemli bir çerçeve: LLM-as-a-Judge tek bir metrik (BLEU gibi sabit bir sayı) değildir; bir tekniktir, her göreve göre uyarladığın küçük bir değerlendirme projesidir.

Hakem nasıl çalışır

Bir hakem modeline, değerlendirme ölçütünü, girdiyi ve çıktıyı içeren bir prompt verirsin; o da bir puan, bir karar ya da bir tercih döndürür. İki bağımsız eksen var:3

Kaç çıktıyı birden yargılıyor?

• Pointwise (tekil puanlama): tek bir cevaba doğrudan not verir (örn. 1-5, ya da bir ölçüte göre geç/kal). Bir denemeyi kendi içinde notlandırmak gibi.
• Pairwise (ikili karşılaştırma): iki cevaptan hangisinin daha iyi olduğunu seçer (ya da berabere der). İki denemeyi yan yana koyup kıyaslamak gibi. Chatbot Arena'nın Elo'su bununla çalışır.

İlginç bir gerçek: ikili karşılaştırma genelde daha güvenilirdir, çünkü "şu mu bu mu daha iyi" demek, mutlak bir ölçekte "bu kaç puan" demekten kolaydır; mutlak puanlar günden güne daha çok oynar. Bedeli: çift sayısı patlar (10 modeli ikişerli kıyaslamak 45 karşılaştırma demek).

Altın cevabı görüyor mu?

• Referanslı (reference-based): hakem doğru/altın cevabı da görür ve ona göre notlar. Matematik gibi nesnel işlerde iyi.
• Referanssız (GT-blind): hakem yalnızca girdi + çıktıyı görür, altın cevabı görmez; tutarlılık, ton, bağlama sadakat gibi içsel boyutlardan puanlar. Bizim "GT-blind Opus hakem"imiz tam budur.

Aşağıdaki hakem, bir notun "ilgili önerisi"ni GT-blind biçimde değerlendiriyor: altın listeyi görmüyor, sadece sorgu ve öneriye bakıp önce gerekçesini yazıyor, sonra bir etiket veriyor. Bir örnek seç:

Dikkat: hakem yalnızca etiketi (RELATED/WEAK/UNRELATED) değil, önce gerekçeyi üretiyor. Bu sıralama (önce düşün, sonra karar ver) tesadüf değil; birazdan göreceğiz, hakemin kalitesini ciddi biçimde artırıyor.

Neden işe yarıyor?

"Bir modeli başka bir modele puanlatmak" kulağa kendi kuyruğunu yiyormuş gibi gelebilir. Ama rakamlar şaşırtıcı. Alanı başlatan makale (Zheng vd., 2023, MT-Bench), güçlü bir hakemin (GPT-4) insan tercihleriyle uyumunu ölçtü:

Bu yalnız bir bulgu değil. Chatbot Arena'da büyük modeller insan oylarıyla %83-87 uyum gösterdi; Databricks'in RAG çalışmasında insan-GPT-4 uyumu %80'in üstüne çıktı ve "1 puanlık tolerans"la %95'i aştı. Açık kaynak Prometheus değerlendiricisi insanla 0,897 korelasyon tutturdu (GPT-4'ün 0,882'siyle başa baş).4 Hakem, "insan tercihini ölçeklenebilir ve açıklanabilir biçimde yaklaşıklayan" bir araç.

Yanlılıklar: işin kalbi

Aynı kurucu makale, hakemlerin yanlı ve kandırılabilir olduğunu da gösterdi. Bunları bilmek, bir hakeme güvenmenin ön koşuludur. Üç büyük yanlılık:5

1. Pozisyon yanlılığı

Hakem, içeriğe değil yere bakarak ilk (ya da ikinci) cevabı kayırır. En çarpıcı örnek: bir deneyde, Vicuna modelinin cevabı 1. sıradan 2. sıraya alındığında, ChatGPT'ye karşı kazanma oranı %2,5'ten %82,5'e fırladı. Cevap aynı; değişen tek şey sırasıydı. Aşağıda kendin gör: sırayı değiştir, kararın nasıl takla attığını izle.

2. Uzunluk (verbosity) yanlılığı

Hakem, daha net ya da daha doğru olmasa bile daha uzun cevabı tercih etme eğilimindedir. Bir testte, beş maddelik bir cevabı yeni bilgi eklemeden on maddeye şişirmek, bazı hakemleri vakaların %91'inde kandırmaya yetti (GPT-4 ise yalnızca %8,7 yutuldu).5 Yani "daha uzun yaz" demek, hile yapmadan skoru kabartmanın bir yolu olabilir.

3. Öz-kayırma (self-enhancement)

Bir hakem, kendi ürettiği cevapları kayırma eğilimindedir. Ölçümlere göre GPT-4 kendi cevaplarına %10, Claude ise %25 daha yüksek kazanma oranı verdi.5 Mekanizması da bulundu: modeller kendi metnini tanıyabiliyor, ve öz-kayırmanın gücü bu "kendini tanıma" yeteneğiyle doğrusal olarak artıyor. Bu, "hakemi üreticiden farklı bir model ailesinden seç" tavsiyesinin temelidir.

Bunlar buzdağının görünen kısmı. Literatür bir düzine yanlılık daha sayar; birkaçını açıp bak:

Yanlılığı azaltmak

İyi haber: bu yanlılıkların çoğunun pratik bir panzehiri var. Bir hakem kurarken işe yarayan kontrol listesi:6

"Önce gerekçe sonra puan" kuralı sandığından önemli: bu, hem skoru iyileştirir hem de kararı denetlenebilir kılar. Ama dikkat, bir tuzak var: gerekçe karardan sonra üretilirse, model aslında çoktan verdiği kararı haklı çıkaran bir hikâye yazar; gerekçe nedeni değil, kılıfı olur. Sıra önemli.

GT-blind hakem: neden kör daha iyi

Şimdi serinin asıl köprüsüne gelelim. GT-blind (referanssız) bir hakem, altın/doğru cevabı hiç görmez; sadece sorgu ile çıktıya bakıp karar verir. Kör olması bir eksiklik değil, çoğu zaman bir erdemdir, üç nedenle:

• Sızıntı/çapa yok. Hakeme altın cevabı gösterirsen, tembelce ona benzetip geçebilir (çapa yanlılığı). Kör hakem, çıktının sorguya gerçekten uyup uymadığını kendi başına yargılamak zorunda kalır; bir alaka etiketçisinden istediğimiz tam budur.
• Çoğu zaman elde altın cevap yoktur. Yeni bir öneri sistemi kurarken çoğunlukla insan etiketli bir veri kümen olmaz. GT-blind hakem, hiç yokken etiket üretir.
• İki yönlü denetim sağlar. Hakem kör olduğu için, sonradan onun etiketlerini elindeki gerçek etiketlerle kıyaslayabilirsin, ve bu kıyas iki taraf hakkında da bilgi verir.

Bu üçüncü madde, bütün serinin düğümünü çözüyor. Çünkü hakemin ürettiği etiketler, 1. ve 2. bölümün precision'ını, recall'ını ve nDCG'sini besleyen ground-truth'un ta kendisi olabilir. Ama o zaman akla şu gelir: peki hakeme kim hakemlik edecek?

Hakemi doğrulamak

Bu, alanın tanımlayıcı disiplinidir: "bekçileri kim bekleyecek?" Bir LLM hakem, değerlendirdiği LLM'lerin bütün sorunlarını miras alır; o yüzden kör bir güven değil, sürekli bir doğrulama ister.7 Standart yöntem şaşırtıcı derecede tanıdık, çünkü bu serinin ilk bölümünden çıkıyor:

1. Güvendiğin gerçek etiketlerin (insan ya da uzlaşı) olduğu küçük bir örnek ayır.
2. GT-blind hakemi aynı örnekte çalıştır.
3. Hakemin etiketi ile gerçek etiketi bir karışıklık matrisine koy, ve precision, recall, uyum ve kappa hesapla. İşte 1. bölüm tam burada geri dönüyor: hakemi, precision ve recall ile ölçüyorsun.

Aşağıda tam bunu yapıyoruz. 12 öneri var; "gerçekten ilgili olanlar" (ground-truth) belli. Üç farklı hakem kişiliğini dene ve hangisinin nasıl bir yanlılık ürettiğine bak:

Asimetriye dikkat: düşük precision "iyimser" bir hakem demektir (kötü cevapları yanlışlıkla onaylar); düşük recall ise "karamsar" bir hakem (iyi cevapları yanlışlıkla eler). Hangisi olduğunu bilmek, etiketlerini hangi yöne düzelteceğini söyler. Ve kappa (κ), ham uyumu şanstan arındırır: bir hakem sürekli "fazla cömert" olsa bile yüksek korelasyon tutturabilir; kappa bu sistematik kaymayı yakalar. Pratik eşik: κ > 0,8 çok güçlü, 0,6 üstü güçlü uyum sayılır.7

Sınırlar ve riskler

Hakemi bir ölçüm aleti gibi gör: güçlü ama kusurlu. Ciddiye alınması gereken riskler:8

• Maliyet ve gecikme: her değerlendirme bir ek LLM çağrısı; ikili karşılaştırma karesel büyür.
• Belirsizlik: aynı çıktı farklı günlerde farklı puan alabilir. Düşük sıcaklık yardım eder ama bitirmez.
• Oyuna gelme (Goodhart yasası): "bir ölçü hedefe dönüşünce iyi bir ölçü olmaktan çıkar". Hakemler doğruluk yerine stil/biçimle kazanılabilir; kazanma oranları sadece daha çok konuşarak %11-28 oranında manipüle edilebildi.
• Doğruluğu abartma: nesnel olarak doğrulanabilir işlerde (kod, matematik) hakem doğruluğu ciddi biçimde fazla tahmin eder; tek başına güvenilmez.
• Şema tutarsızlığı: hakemin nihai kararı, yazdığı gerekçeyle çoğu zaman örtüşmez; gerekçe, kararın nedeni değil sonradan yazılmış kılıfı olabilir. (Önce-gerekçe kuralının neden bu kadar önemli olduğunu hatırla.)

Dengeli sonuç şu: "kullanma" değil, "kör güvenme". Hakemleri kusurlu kabul et, sürekli doğrula, bilinen yanlılıklara karşı stres testi yap. İnsan ve LLM'i birlikte kullanmak çoğu zaman en iyi seçenektir.

Yeni gelişmeler (2024-2025)

Alan hızla olgunlaşıyor; birkaç yön bilmeye değer:9

• LLM jürileri (PoLL): tek büyük hakem yerine birkaç küçük, farklı aileden modelin oyunu ortalanır. Sonuç: tek hakemden daha iyi, daha az model-içi yanlılık, ve yedi kattan fazla ucuz.
• Uzunluğu istatistikle ayıklamak: prompt'u değiştirmek yerine uzunluğu bir regresyonla "dışarı atan" yöntem (length-controlled AlpacaEval), Chatbot Arena ile korelasyonu 0,94'ten 0,98'e çıkardı ve uzunlukla oyuna gelmeyi üçte iki azalttı. Yanlılığı kalibrasyonla çözmenin temiz bir örneği.
• Üretken ödül modelleri (GenRM) ve akıl yürüten hakemler: hakemi, karardan önce bir gerekçe/plan üretecek şekilde eğitmek; özellikle matematik ve kod gibi doğrulanabilir işlerde belirgin kazanç.
• Bradley-Terry: Chatbot Arena artık milyonlarca oyu artımlı Elo yerine merkezî bir Bradley-Terry modeliyle birleştiriyor; güven aralıklı, daha kararlı sıralamalar.

Nereden başlamalı

Sonuç: döngü kapanıyor

Üç bölüm, tek bir hikâyeydi. Birinci bölümde sorduk: önerdiğimin kaçı doğru, kaçını kaçırdım (precision ve recall)? İkincide o soruyu incelttik: doğru ya da yanlış değil, ne kadar ilgili ve nerede (dereceli alaka ve nDCG)? Ama ikisi de bir borç bırakıyordu: o "doğru" etiketini biri koymalı. Üçüncü bölüm o borcu kapattı: etiketi, ground-truth'u görmeyen bir LLM hakem koyabilir.

Ve döngü zarif biçimde kapanıyor: hakem etiketleri üretir; o etiketler precision, recall ve nDCG'yi besler; sen de o hakemi yine precision, recall ve nDCG ile sınarsın. Ölçme aracı, ölçtüğü şeyin kendisiyle ölçülür.

Bir sistemi ölçmek, sonunda ölçen şeye de güvenmeyi gerektirir. İyi haber: güveni de ölçebilirsin; aynı iki soruyla.