LLM Halüsinasyonu: 4 Seviyede Anlamak

Halüsinasyon nedir?

En basit haliyle halüsinasyon, modelin gerçekte olmayan bir bilgiyi, sanki gerçekmiş gibi üretmesidir. Bu bir "yalan" değildir, çünkü modelin aldatma niyeti yoktur. Klasik anlamda bir "yazılım hatası" da değildir, çünkü program tam da yapması gereken şeyi yapar: akıcı bir metin üretir. Sorun, o akıcı metnin doğru olmamasıdır.

Bunu en iyi bir benzetme anlatır. Sınavda hiçbir soruyu boş bırakmayan bir öğrenci düşünün. Cevabı bilmediği soruda bile bir şey yazar; üstelik en "kulağa yatkın" cevabı yazar. Çünkü ödüllendirildiği şey doğruluk değil, dolu bırakmaktır. LLM de böyledir: önüne gelen her soruyu yanıtlamaya programlıdır ve gerçek cevabı "bilmediğinde" bile, o boşluğu en olası görünen kelimelerle doldurur.

Yazının başlığındaki örnek tam da budur. Modele "kahverengi bir köpeğin kırmızı bir paspasta oturduğu" bir fotoğrafı betimletirsiniz; model size gayet düzgün bir cümleyle "Görüntüde bir kedi var" der. Dilbilgisi kusursuzdur, cümle doğal akar, ama o kedi orada hiç yoktur. İşte halüsinasyonu tehlikeli yapan da budur: bozuk değil, ikna edici biçimde yanlıştır. Anlamsız bir çıktıyı hemen eler, görmezden geliriz. Temiz, akıcı ve yanlış bir çıktıya ise güveniriz.

Üç tür halüsinasyon

Seviye 1'deki "kahverengi köpek kırmızı paspasta oturuyor" sahnesini referans alalım. Bu, fotoğrafın gerçeği. Model bu gerçeği üç farklı yerinden kırabilir. Her kırılma türünü, hangi kelimenin bozulduğuna bakarak görebilirsiniz.

1. Varlık halüsinasyonu

Var olmayan bir şeyi uydurmak.

Model, sahnede hiç bulunmayan bir nesneyi ortaya atar. Örnekte ortada hiç kedi yokken "bir kedi var" der. Metin dünyasındaki karşılığı, var olmayan bir kitaptan alıntı ya da uydurulmuş bir kaynak göstermektir. En kolay fark edilen ama en çok zarar veren türdür, çünkü kökten yoktan var eder.

2. Nitelik halüsinasyonu

Nesne doğru, özelliği yanlış.

Nesne gerçekten oradadır, ama modelin ona yüklediği özellik yanlıştır. Köpek vardır, fakat "kahverengi" yerine "siyah" denir. Metinde karşılığı: kişi gerçektir ama doğum tarihi yanlış, ürün gerçektir ama fiyatı uydurmadır. Yarısı doğru olduğu için fark edilmesi varlık halüsinasyonundan daha zordur.

3. İlişki halüsinasyonu

Nesneler doğru, aralarındaki bağ yanlış.

Tüm nesneler doğrudur, özellikleri bile doğru olabilir, ama aralarındaki ilişki terstir. Köpek de paspas da gerçektir; fakat köpek paspasın "üstünde" değil "altında" gösterilir. Metinde bu, "X şirketini Y kurdu" gibi yanlış neden-sonuç ya da yanlış eşlemelerdir. En sinsi türdür: her parça tek tek doğru göründüğü için bütündeki yanlış kolayca gözden kaçar.

Neden olur?

Seviye 2'deki üç tür hep aynı kökten çıkar. Onu anlamak için modelin ne olmadığını söylemek gerekir: bir LLM, içinde gerçeklerin yazılı olduğu bir veritabanı değildir. O bir sonraki kelime tahmincisidir. Önündeki kelimelere bakar ve "bundan sonra istatistiksel olarak en olası kelime hangisi?" diye tahmin eder. Tek yaptığı budur.

Model devasa metinle, akıcı ve olası görünme hedefiyle eğitilir; "doğru ol" diye değil, "eğitim verisine benzeyen metin üret" diye. Bu küçük ayrım her şeyi açıklar:

• Yerleşik bir doğruluk denetimi yoktur. Ödül, gerçekle örtüşmeye değil, eğitimdeki metne benzemeye verilir.
• Her zaman yanıtlama baskısı vardır. Bir sorunun en olası devamı, "bilmiyorum" değil, cevap biçiminde bir metindir. O yüzden boş bırakmaz.
• Boşluklar olasılıkla dolar. Gerçek bilgi eğitimde nadirse ya da hiç yoksa, kalıba en "uyan" devam, kendinden emin bir tahmindir.
• Bilgi sıkıştırılır, ayrıntı bulanıklaşır. Eğitim milyonlarca metni sıkıştırır; model bir ayrıntıyı tam hatırlamadığında, onu makul ama yanlış biçimde yeniden kurar. Tıpkı yanlış hatırlamak gibi.

Aşağıdaki temsilî araç bunu görünür kılar. Bir istem seçin; modelin "sonraki kelime" için biçtiği olasılıkları görün. Keskin bir dağılım (tek kelime baskın) bilginin sağlam olduğunu gösterir. Yayvan bir dağılım ise modelin emin olmadığını; ama dikkat, model yine de bir kelime seçmek zorundadır. İşte halüsinasyon tam bu yayvan anlarda doğar.

Ne yapabiliriz?

Seviye 3 bize çözümün yönünü verdi. Eğer sorun "kaynaksız üretim ve denetimsizlik" ise, mantıklı her çözüm bu ikisinden birine dokunur. Pratikte en çok kullanılan yöntemler şunlardır:

Topraklama (RAG)

Cevaplamadan önce gerçek kaynağa bak.

RAG (erişimle güçlendirilmiş üretim), modele yanıt vermeden önce ilgili gerçek belgeleri getirir ve "yalnızca bunlara dayanarak yanıtla, kaynağını göster" der. Ezberden konuşan bir anlatıcı yerine, rafdan kitabı çekip açan bir kütüphaneci gibi. Olgusal soru-yanıtta en etkili yöntemdir.

İstemle sınırlama

Ucuz ama kısmi.

Modele açıkça "emin değilsen bilmiyorum de", "kaynak iste", "sıcaklığı düşür" gibi talimatlar vermek. Hiçbir altyapı gerektirmez, hızlıdır; ama tek başına yalnızca azaltır, bitirmez.

Öz-tutarlılık ve insan denetimi

Çapraz kontrol.

Aynı soruyu birden çok kez veya farklı yollarla sorup yanıtları karşılaştırmak (öz-tutarlılık); yanıtlar birbirini tutmuyorsa güven düşüktür. Sağlık, hukuk, finans gibi yüksek riskli alanlarda ise nihai kontrol bir insandadır (human-in-the-loop).

Ve dört seviye burada birleşir: ne'yi (Seviye 2) ve neden'i (Seviye 3) bilmek, tam da doğru azaltma yöntemini (Seviye 4) seçmenizi sağlayan şeydir. Varlık halüsinasyonu mu sorun? Kaynak göster (RAG). İlişki mi karışıyor? İnsan kontrolü ekle. Halüsinasyonu anlamak, ondan kurtulmanın değil, onunla güvenle çalışmanın ilk adımıdır.