Yapay zekâ uydurma karar verirse ne olur? Atıf doğrulama nasıl çalışır
Dil modellerinin hukukta bilinen en ciddi riski, var olmayan bir karara ikna edici biçimde atıf üretmesidir. Bu riskin nereden çıktığını ve bir yazılımın buna karşı gerçekte ne yapabileceğini adım adım anlatıyoruz.
Bir dil modeline hukuki bir soru sorduğunuzda aldığınız cevap, çoğu zaman iyi yazılmış olur: başlıkları vardır, mantığı akar, sonunda da destekleyici birkaç Yargıtay kararı sıralanır — esas numarası, karar numarası, tarihi ve hepsi. Sorun şu ki bu kararlardan bir kısmı hiç var olmayabilir.
Bu, ara sıra olan bir arıza değil; modelin nasıl çalıştığının doğal sonucu. Ve hukukta, diğer alanlardan farklı olarak, faturası doğrudan avukata çıkar.
Model neden var olmayan bir karar uydurur?
Bir dil modeli, bir veritabanını sorgulayıp size kayıt döndürmez. Bir sonraki kelimeyi tahmin eder. "Yargıtay 9. Hukuk Dairesi" ifadesinden sonra bir esas numarası gelmesi gerektiğini bilir; hangi esas numarasının doğru olduğunu bilmez. Doğru biçimde, doğru formatta, doğru daireye ait görünen bir numara üretir. Biçim kusursuzdur, içerik uydurmadır.
Bunun tehlikeli tarafı da burada: uydurma atıf, yanlış olduğu belli olacak şekilde görünmez. Tam tersine, gerçek bir atıftan ayırt edilemeyecek kadar inandırıcı görünür. Yurt dışında, dilekçesine bu şekilde üretilmiş kararlar giren avukatların mahkeme tarafından yaptırımla karşılaştığı örnekler basına yansıdı. Türkiye'de de dilekçedeki bir atfın gerçekliğinden sorumlu olan taraf, o dilekçeyi imzalayan avukattır.
"Kaynak gösteriyor" ile "kaynağı doğrulanmış" aynı şey değil
Piyasadaki araçların çoğu bu riske karşı bir şeyler yapıyor, ama yapılanlar arasında büyük fark var. Üç farklı seviyeden söz edebiliriz:
Birinci seviye — uyarı metni. Cevabın altına "yapay zekâ hata yapabilir, kontrol ediniz" yazılır. Bu, riski bildirmektir; azaltmaz. Kontrol işi tümüyle sizde kalır.
İkinci seviye — kaynak gösterme. Model cevabın yanında kaynak listesi verir. Kulağa güvenli gelir, ama kritik soru şudur: o listeyi kim üretti? Eğer listeyi de model yazdıysa, uydurma atıf artık kaynak gösterilmiş bir uydurma atıftır. Görünürlük artmış, güvenilirlik artmamıştır.
Üçüncü seviye — doğrulama. Metindeki her karar referansı ayrıştırılır ve resmî kaynağa karşı sorgulanır: bu esas/karar numarası gerçekten var mı, bu daireye mi ait, künyesi tutuyor mu? Cevap hayırsa o atıf yayına girmez.
Aradaki fark, ürün açıklamalarında genellikle tek bir cümleye sıkışır. Değerlendirdiğiniz üründe hangisinin olduğunu anlamak için sorulacak soru sabittir: atıflar üretildikten sonra nereye karşı kontrol ediliyor?
Bizde işleyen zincir
Kendi tarafımızda bunu tek bir kontrol olarak değil, birbirine bağlı beş halka olarak kurduk. Ana sayfadaki Doğrulama Zinciri bölümü bunu görselleştiriyor; burada ne yaptıklarını açalım.
1. Girdi temizlenir. Yüklediğiniz belgenin içine gizlenmiş komutlar ayıklanır. Bu, bilinen bir saldırı biçimidir: karşı tarafın gönderdiği bir PDF'in içine göze görünmeyen bir talimat yerleştirilir ve model bunu sizin sorunuz sanır. Belgeleriniz modele veri olarak gider, komut olarak değil.
2. Kaynaklar canlı aranır. Emsal karar araması, elimizde tuttuğumuz bir kopyada değil, resmî sistemler üzerinden anlık yapılır. Bunun pratik anlamı: sonuçlar bayat değildir ve ortada zaten bulunmuş bir karar vardır. Model, olmayan bir şeyi hatırlamak yerine, gerçekten dönmüş bir sonuç kümesiyle çalışır.
3. Kanun maddeleri denetlenir. Metinde geçen kanun numarası gerçek mi, atıf yapılan düzenleme hâlâ yürürlükte mi diye bakılır. Mülga bir kanuna yapılan atıf uyarıyla işaretlenir — modeller eski metinlerle çokça karşılaştığı için bu hatayı sık yaparlar.
4. Karar atıfları sınanır. Üretilen metindeki esas/karar numaraları ve künyeler, ikinci adımda gerçekten dönmüş sonuçlara ve resmî kaynağa karşı karşılaştırılır.
5. Geçemeyen ele verilir. Sınavı geçemeyen atıf, metinde [⚠️ doğrulanmadı] damgasıyla açıkça işaretlenir — sessizce silinmez. Bunun bilinçli bir tercih olmasının sebebi şu: bir referansın neden bulunamadığını görmek çoğu zaman işinize yarar; sessiz silme ise size hiçbir şey söylemeden bilgiyi yok eder.
Asıl koruma bir adım sonrada: damga temizlenmeden nihai dilekçe belgesi üretilmez. Yani işaretlenmiş bir atıfı fark etmeden DOCX/PDF/UDF çıktısı alıp mahkemeye sunmanız engellenir; ya atfı düzeltirsiniz ya çıkarırsınız, ama damgalı hâliyle belge oluşmaz.
Ana sayfada da aynı cümleyi kuruyoruz: doğrulanamayan atıf işaretlenir, işaret temizlenmeden dilekçe üretilmez. "Hiç hata olmaz" demiyoruz, çünkü olmuyor.
Bu zincir neyi çözmez
Dürüst bir listenin eksik tarafı da yazılmalı:
- Yorum hatasını çözmez. Karar gerçek olabilir, künyesi doğru olabilir, ama olayınıza uymuyor olabilir. Bir atfın var olması ile yerinde olması farklı şeylerdir; ikincisini hiçbir yazılım sizin yerinize yapamaz.
- Eksik kaynağı çözmez. Resmî sistemlerde yayımlanmamış bir karar, hiçbir arama motorunda çıkmaz.
- Sorumluluğu devretmez. Çıktı her hâlükârda avukat denetimi gerektirir. Zincirin amacı, denetlemeniz gereken şeyi azaltmak; denetimi ortadan kaldırmak değil.
Kendi aracınızı test etmek için üç deneme
Hangi ürünü kullanıyor olursanız olun, birkaç dakikada kendiniz sınayabilirsiniz:
- Var olmayanı isteyin. Çok dar, muhtemelen içtihadı olmayan bir olay tarif edin ve "bu konuda Yargıtay kararı ver" deyin. Sağlıklı davranış, "bulunamadı" demektir. Üç tane kusursuz görünümlü karar geliyorsa, sistem kaynak sorgulamıyor, üretiyor demektir.
- Numarayı doğrulayın. Size verilen esas/karar numarasını resmî karar arama sistemlerinde aratın. Bulamıyorsanız cevabı aldınız.
- Mülga metni deneyin. Yürürlükten kalkmış bir kanuna (örneğin eski Türk Ticaret Kanunu'na) dayanan bir soru sorun. Ürün bunu fark edip uyarıyor mu, yoksa mülga metinle rahatça cevap mı veriyor?
Aynı testleri bizde de yapabilirsiniz; ana sayfadaki canlı örnek bölümünde zincirin nasıl çalıştığını görebilir, ücretsiz planla kendi sorunuzla deneyebilirsiniz.
Bu yazı genel bilgilendirme amacıyla hazırlanmıştır; hukuki tavsiye niteliği taşımaz. Yapay zekâ çıktıları kullanılmadan önce resmî kaynaktan doğrulanmalıdır.