OpenAI Deployment Simulation Yazısı Ne Anlatıyor?

Release'den Önce Canlıyı Görme İsteği

Bir modeli yayınlamadan önce iki farklı şeyi bilmek isteriz. İlki modelin ne kadar güçlü olduğu: matematik çözüyor mu, kod yazıyor mu, uzun bağlamı taşıyor mu? İkincisi ise daha zor: gerçek kullanıcıların içinde, gerçek isteklerin dağınıklığında, hangi davranışları ne sıklıkla gösterecek?

Klasik benchmark'lar ilk soruya daha yakındır. Deployment Simulation ise ikinci soruya yaklaşmaya çalışır. OpenAI'nin yazısındaki yenilik, “modeli test setinde puanladık” demek değil; “aday modeli eski gerçek kullanım bağlamlarının içine koyduk ve canlıya çıkmış gibi ne yapacağını ölçtük” demektir.

Klasik Eval Neden Yetmiyor?

Pre-deployment eval dediğimiz şey çoğu zaman sentetik promptlar, zorlayıcı örnekler, red-team senaryoları ve hedefli testlerden oluşur. Bunlar hâlâ vazgeçilmezdir; özellikle nadir ama yüksek etkili riskler için insanın bilinçli olarak zor senaryo tasarlaması gerekir.

Fakat bu eval'ların üç zayıflığı vardır: kapsam eksikliği, seçim yanlılığı ve test gibi kokmaları. Kapsam eksikliği şudur: bilmediğin davranışı ölçmek için prompt yazamazsın. Seçim yanlılığı şudur: promptları hangi riskleri düşündüğüne göre seçersin, bu da gerçek kullanım dağılımını temsil etmeyebilir. Test kokusu ise modelin “burası sınav” ipuçlarını algılayıp davranışını değiştirmesidir.

Bağlam Aynı, Oyuncu Farklı

Yöntemin çekirdeği şaşırtıcı derecede sade. Önce önceki modelin gerçek deployment'ından bir konuşma alınır. Kullanıcının son mesajına kadar olan prefix korunur. Eski assistant cevabı ve devamındaki turn'ler çıkarılır. Sonra aday model aynı prefix'e cevap verir.

Bu bir “sentetik kullanıcı yazalım” yaklaşımı değildir. Kullanıcı bağlamı üretimden gelir; yeni olan, aday modelin o bağlamda verdiği cevaptır. Bu yüzden yöntem, test promptu yazmanın ötesine geçer: model gerçek kullanım dağılımına benzeyen sahnelerde oynatılır.

Asıl Ölçülen Şey Skor Değil, Görülme Sıklığı

Bu yazının en önemli zihinsel ayrımı şu: Deployment Simulation model kalitesini tek bir başarı puanına indirgemez. Daha çok, belirli davranışların görülme sıklığını tahmin eder. Mesela “araç kullanımı hakkında yanlış beyan”, “aşırı reddetme”, “yasak içerik üretme” veya “kullanıcıyı memnun etmek için doğruluğu bükme” gibi davranış ailelerinin 100 bin cevapta kaç kez göründüğüne bakar.

OpenAI yazısında üç değerlendirme ekseni öne çıkıyor: taxonomy coverage, directional accuracy ve rate calibration. Yani: kategori listemiz önemli davranışları kapsıyor mu, artış/azalış yönünü doğru yakalıyor muyuz, oran tahminimiz gerçekleşen orana yakın mı?

Privacy: Bu Eğitim Değil, Ölçüm Katmanı

Bu konuda en kolay yanlış anlama şu olur: “Kullanıcı sohbetleri modele mi yediriliyor?” Deployment Simulation bağlamında anlatılan şey eğitimden çok ölçümdür. Önceki deployment'tan gelen konuşma prefix'i aday modele cevap üretmesi için verilir; amaç modeli bu veriden eğitmek değil, davranışı üretim benzeri bir bağlamda ölçmektir.

OpenAI yazısı, hesapla bağlantılı tanımlayıcıların ve tanınabilir bilgilerin otomatik olarak çıkarıldığını, yalnızca model iyileştirmesine izin veren kullanıcıların ChatGPT trafiğinin analiz edildiğini ve sonuçların toplu olarak raporlandığını söylüyor. Bu ayrıntılar hukuki dipnot değil; yöntemin güven mimarisinin bir parçası.

Güçlü Sinyal, Ama Sihirli Güvenlik Testi Değil

Deployment Simulation'ın en iyi okuma biçimi şudur: klasik eval, red-team ve post-release monitoring'in yerine geçen tek büyük test değil; onların yanına eklenen daha üretim-benzeri bir tahmin katmanı. Sık görülebilecek davranışları tahmin etmekte değerlidir. Çok nadir ama yüksek etkili tail riskleri ise tek başına yakalaması beklenmez.

Bir başka sınır da distribution shift'tir. Yeni modelin kendisi kullanıcı davranışını değiştirebilir. Ürün arayüzü değişebilir. Dünya olayı, sezonluk kullanım veya yeni araç yetenekleri prefix dağılımını bozabilir. Bu yüzden en dürüst sonuç şudur: simülasyon, gerçek dünyaya yaklaşır; gerçek dünyanın yerine geçmez.

Okuma Kontrolü