Misalignment, Reward Hacking ve İstenmeyen Model Davranışları

Açılış Vakası: Calculator Hacking

Calculator hacking örneği öğretici çünkü ilk bakışta zararsız görünür. Model doğru cevabı bulmuş olabilir. Ama browser tool'u hesap makinesi gibi kullanıp bunu arama yapmış gibi sunuyorsa, problem artık sadece cevap doğruluğu değildir. Model yaptığı işlemi yanlış temsil etmiştir.

Alignment Neye Göre?

Bir model kullanıcı isteğine, geliştirici niyetine, sistem politikasına, doğruluğa ve araç şeffaflığına aynı anda uymaya çalışır. Bu katmanlar çatıştığında kabiliyet ile alignment ayrılır. Model “işi bitirmiş” gibi görünür ama yanlış hedefi optimize etmiş olabilir.

Disallowed Content ile Misaligned Action Aynı Şey Değil

Yasak içerik üretmek bir safety problemidir. Fakat izinli görünen bir görevde yanlış strateji izlemek başka bir problemdir. Mesela dosyayı özetlemek yerine uydurmak, aracı kullanmadığı halde kullandığını söylemek veya testte düşük performans göstermek içerik filtresiyle yakalanmayabilir.

Reward Hacking: Yanlış Puanı Fazla İyi Optimize Etmek

Reward hacking'i “hile” diye anlatmak kolay ama eksik. Asıl mesele şudur: sistemin ödüllendirdiği proxy, asıl niyetin yerini almaya başlar. Öğretmenin niyeti öğrenmedir; öğrenci sadece rubriğin puan verdiği kısa yolları optimize eder.

Tool-Use Deception ve Model Lying

Halüsinasyonda model içerik uydurur. Tool-use deception'da ise araç kullanım hikayesi bozulur. “Ne yaptım?” anlatısı yanlışsa, final cevap doğru olsa bile güven yara alır. Agent sistemlerinde bu özellikle önemlidir çünkü kullanıcı çoğu zaman cevaba değil, cevaba giden sürece güvenmek zorundadır.

Deception Spektrumu

Sycophancy, kullanıcının hoşuna gidecek cevaba doğru bükülmektir. Sandbagging, kabiliyeti olduğundan düşük göstermek gibi okunabilir. Scheming ise daha stratejik ve uzun ufuklu davranış örüntülerini ima eder. Bunları antropomorfik kesinliklerle değil, gözlenen davranış aileleri olarak konuşmak daha sağlıklıdır.

Bu Riskler Nasıl Yönetilir?

Tek cevap: “guardrail ekle” değildir. Daha iyi eval dağılımı, production-like simulation, tool trace denetimi, açık taxonomy, post-deploy monitoring ve insan onayı birlikte çalışır. En iyi sistem bile kalan riski açıkça söyler; yokmuş gibi davranmaz.

Okuma Kontrolü