Bir yapay zekâ aracı düzgün yazılmış bir yanıt verdiğinde güvenilir görünmesi kolaydır. Cümleler akıcıdır, gerekçe ikna edicidir ve sonuç çoğu zaman birkaç saniyede gelir. Ancak güvenilirlik sorusu, bu örneğin güzel görünmesinden daha geniştir. Aynı sistem eksik bilgiyle karşılaştığında ne yapar? Hatasını fark edebilir miyiz? Sonucu yanlış olan bir işlemden kim etkilenir? Bir ürünün kullanım değerini anlamak için bu soruların da yanıtlanması gerekir.
Amerikan Ulusal Standartlar ve Teknoloji Enstitüsü NIST’in risk yönetimi çerçevesi, değerlendirmeyi tasarımdan kullanıma ve sonuçların izlenmesine uzanan bir süreç olarak ele alır. İlk sürümü 2023’te yayımlanan çerçevenin kullanımı gönüllüdür; NIST ana çerçevenin revizyon sürecinde olduğunu belirtiyor. Bu yazı yeni bir zorunluluk duyurusunu değil, güvenilirliği nasıl değerlendirebileceğimize ilişkin yaklaşımı inceliyor.
Doğru cevap neden tek başına yetmiyor?
Bir sistemi yüz soruluk bir denemede ölçtüğümüzü ve doksan soruda doğru yanıt aldığımızı varsayalım. Bu sonuç yararlıdır; fakat kalan on hatanın ne olduğunu söylemez. Yazım önerisindeki küçük bir yanlışla önemli bir belgenin tarihini değiştiren hata aynı etkiye sahip değildir. Ortalama başarı, hataların dağılımı ve sonuçları bilinmeden eksik bir fotoğraf verir.
Soruların nasıl seçildiği de sonucu değiştirir. Deneme yalnız yaygın örneklerden oluşuyorsa, sıra dışı bir kullanımda sistemin ne yapacağı belirsiz kalır. Kısa ve düzgün yazılmış girdilerde iyi çalışan bir araç, uzun belgelerde veya birbiriyle çelişen kayıtlarda zorlanabilir. Kullanıcının gerçek işini temsil etmeyen bir sınama, etkileyici bir sayı üretirken asıl soruyu yanıtsız bırakabilir.
Bu nedenle değerlendirme yapılırken önce kullanımın sınırı çizilmelidir. Araç yalnız taslak mı hazırlıyor, yoksa başka bir sisteme bilgi mi kaydediyor? Sonuç bir kişi tarafından mı okunuyor, otomatik bir kararın parçası mı oluyor? Aynı teknik hata, bu iki durumda farklı ağırlık kazanır. Sistemin adı ve sürümü kadar iş akışındaki yeri de önemlidir.
Hatanın görünür olması gerekiyor
Varsayımsal bir belge özetleme aracını düşünelim. Araç doğru bilgiyi kısa biçimde aktarıyor olabilir; fakat hangi paragrafın hangi belgeye dayandığını göstermiyorsa kontrol maliyeti artar. Okur, düzgün bir cümlede kaynakta bulunmayan bir ayrıntının eklendiğini fark etmeyebilir. Burada açıklanabilirlik, her teknik işlemin ayrıntısını kullanıcıya dökmekten çok, sonucu denetlemek için işe yarayan izi sağlamaktır.
OECD’nin ilkeleri de bağlama uygun şeffaflık, güvenlik, sağlamlık ve hesap verebilirliği birlikte ele alır. Bu yaklaşım, bir sistemin ne yapabildiği kadar sınırlarının ve sonuçlarına itiraz yollarının da anlaşılmasını önemser. Bir aracın iç işleyişini bütünüyle bilmek her zaman mümkün olmayabilir. Yine de kaynağı, kullanım amacı ve sorumluluk zinciri hakkında anlamlı bilgi sağlanabilir.
Güven veren bir arayüz, bu bilgilerin yerini tutmaz. Bir onay işareti veya yüksek güven puanı, nasıl üretildiği bilinmediğinde yalnız görsel bir işaret olarak kalabilir. Tersine, sistemin emin olmadığını söylemesi ve sonucu kontrol edilebilir biçimde sunması, ilk bakışta daha az etkileyici görünse bile kullanım açısından daha yararlı olabilir.
Risk yönetimi bir kontrol listesi değildir
NIST’in uygulama rehberi dört işlevi öne çıkarır: yönetişim, bağlamı haritalama, ölçme ve yönetme. Bu başlıklar, bir kez doldurulup dosyalanacak kutular gibi düşünülemez. Sistem değiştikçe, kullanıcılar farklılaştıkça veya yeni bir kullanım ortaya çıktıkça aynı soruların yeniden sorulması gerekir. Değerlendirmenin yaşayan bir süreç olması buradan gelir.
Örneğin başlangıçta yalnız metin öneren bir araç, daha sonra dosya değiştirme yetkisi kazanabilir. Eski başarı ölçümü metin kalitesini ölçmüşse, yeni yetkinin doğurduğu hataları kapsamayabilir. Yanlış dosyanın güncellenmesi, işlemin geri alınamaması veya kaydın eksik tutulması artık değerlendirmeye eklenmelidir. İşlev büyüdükçe denetimin de aynı yerde kalması beklenemez.
Benzer biçimde bir hizmetin güncellenmesi, önceki deneme sonuçlarını otomatik olarak yeni sürüme taşımaz. Geliştirilen bir özellik başka bir davranışı değiştirebilir. Bu yüzden sürüm kaydı, aynı örneklerle yeniden deneme ve başarısızlıkların izlenmesi önem taşır. Böyle bir yaklaşım yeniliği durdurmayı değil, değişimin etkisini anlaşılır kılmayı amaçlar.
İnsanın denetimi ne zaman işe yarar?
Bir ekranda onay düğmesi bulunması, insanın anlamlı biçimde denetim yaptığı anlamına gelmez. İnceleyen kişiye yalnız sonuç veriliyor, dayanaklar gösterilmiyor ve karar için yeterli zaman ayrılmıyorsa onay kolayca alışkanlığa dönüşebilir. Denetimin değeri, düğmenin varlığından değil, hatayı fark etme ve işlemi durdurma imkânından gelir.
Varsayımsal bir haber hazırlama akışında editörün yalnız başlığı gördüğünü düşünelim. Başlık akıcıysa onay vermesi kolaydır; ancak kaynak tarihinin eski olduğunu veya iddianın kesinleşmediğini fark etmesi güçleşir. Kaynağın tarihi, ilgili alıntı ve belirsizlik notu aynı yerde gösterildiğinde inceleme daha somut hale gelir. İşin tasarımı, kişinin dikkatine yüklenen sorumluluğu değiştirir.
Öte yandan her adımı bir kişiye onaylatmak da bütün sorunları çözmez. Çok sayıda küçük karar arasında gerçekten önemli olanlar kaybolabilir. Hangi işlemin düşük etkili ve geri alınabilir, hangisinin ciddi sonuç doğurabilecek nitelikte olduğunu ayırmak gerekir. Böylece insan emeği, her düğmeye basmak yerine anlamlı değerlendirmeye yöneltilebilir.
Güvenilirliği hangi kanıtla konuşacağız?
Bir ürün hakkında sorulabilecek en yararlı sorulardan biri, yalnız nerede başarılı olduğunun değil nerede başarısız olduğunun belgelenip belgelenmediğidir. Hangi veriyle sınandığı, farklı kullanıcılar için sonuçların nasıl değiştiği ve hata sonrasında ne yapıldığı da bu kaydın parçalarıdır. Başarısızlık bilgisinin görünür olması, ürünü bütünüyle değersizleştirmez; nerede kullanılabileceğini daha iyi gösterir.
Güvenilirlik böyle bakıldığında tek bir puan veya bir kez kazanılan unvan değildir. Kullanım amacı, kanıt, yetki ve sorumluluk arasında sürekli kurulan bir ilişkidir. Etkileyici bir yanıt iyi bir başlangıç olabilir. O yanıta hangi koşullarda dayanabileceğimizi ve hangi koşullarda durmamız gerektiğini bilmek ise daha kalıcı bir ölçüdür.
Deneme kayıtları, bu sınırların zaman içinde değişip değişmediğini gösterebilir.