3.5 Açıklamaların Özellikleri
Bir yapay öğrenme modelinin tahminlerini açıklamak amacıyla, açıklamalar üreten bir açıklama yöntemine ihtiyaç duyarız. Genellikle bir açıklama, bir örneğin özellik değerlerini model tahmini ile insan tarafından anlaşılabilir bir şekilde ilişkilendirir. Diğer açıklama türleri, veri örneklerinden oluşan bir küme içerir (örneğin, k-en yakın komşu modeli durumunda). Örneğin, kanser riskini bir destek vektör makinesi kullanarak tahmin edebilir ve yerel vekil yöntemi ile tahminleri açıklayabiliriz; bu yöntem, açıklamalar için karar ağaçları oluşturur. Alternatif olarak destek vektör makinesi yerine doğrusal regresyon modeli de kullanılabilir. Doğrusal regresyon modeli, ağırlıkların yorumu ile birlikte zaten bir açıklama yöntemine sahiptir.
Açıklama yöntemleri ve açıklamaların bazı özelliklerine daha yakından bakıyoruz (Robnik-Sikonja ve Bohanec, 2018). Bu özellikler, bir açıklama yöntemi veya açıklamanın ne kadar iyi olduğunu değerlendirmede kullanılabilir. Bu özelliklerin hepsini doğru şekilde nasıl ölçebileceğimiz net olmamakla birlikte, bu özelliklerin nasıl hesaplanabileceğini formüle etmek önemli bir zorluktur.
Açıklama Yöntemlerinin Özellikleri
İfade Gücü: Yöntemin üretebildiği açıklamaların “dili” veya yapısıdır. Bir açıklama yöntemi IF-THEN kuralları, karar ağaçları, ağırlıklı toplam, doğal dil ya da başka bir formatta açıklamalar oluşturabilir.
Şeffaflık (Translucency): Açıklama yönteminin, yapay öğrenme modeline ve parametrelerine ne ölçüde bakarak çalıştığını ifade eder. Örneğin, doğrusal regresyon gibi doğrudan yorumlanabilir modellere dayanan açıklama yöntemleri oldukça şeffaftır (model-özgü). Yalnızca girdi manipülasyonu yaparak tahminleri gözlemleyen yöntemlerin şeffaflığı sıfırdır. Farklı senaryolarda farklı şeffaflık düzeyleri istenebilir. Yüksek şeffaflığın avantajı, yöntemin açıklama oluşturmak için daha fazla bilgiye dayanabilmesidir. Düşük şeffaflığın avantajı ise açıklama yönteminin daha taşınabilir olmasıdır.
Taşınabilirlik (Portability): Açıklama yönteminin uygulanabileceği yapay öğrenme modellerinin yelpazesini ifade eder. Şeffaflığı düşük olan yöntemlerin taşınabilirliği daha yüksektir, çünkü yapay öğrenme modelini bir kara kutu olarak ele alırlar. Vekil modeller, en yüksek taşınabilirliğe sahip açıklama yöntemlerinden biridir. Örneğin, yalnızca yinelenen sinir ağları için çalışan yöntemlerin taşınabilirliği düşüktür.
Algoritmik Karmaşıklık: Açıklamayı üreten yöntemin hesaplama karmaşıklığıdır. Hesaplama süresinin bir darboğaz olduğu durumlarda, bu özellik dikkate alınmalıdır.
Bireysel Açıklamaların Özellikleri
Doğruluk (Accuracy): Açıklama, görülmemiş veriyi ne kadar iyi tahmin eder? Eğer açıklama yapay öğrenme modelinin yerine tahminler için kullanılacaksa yüksek doğruluk önemlidir. Düşük doğruluk kabul edilebilir, eğer amaç kara kutu modelin ne yaptığına dair bir açıklama yapmaksa. Bu durumda yalnızca benzerlik (fidelity) önemlidir.
Benzerlik (Fidelity): Açıklama, kara kutu modelin tahminini ne kadar iyi temsil eder? Yüksek benzerlik, açıklamanın en önemli özelliklerinden biridir; düşük benzerliğe sahip bir açıklama, yapay öğrenme modelini açıklamak için yararsızdır. Doğruluk ve benzerlik yakından ilişkilidir. Kara kutu modelin doğruluğu yüksek ve açıklamanın benzerliği yüksekse, açıklama da yüksek doğruluğa sahiptir. Bazı açıklamalar yalnızca yerel benzerlik sağlar, yani açıklama yalnızca veri kümesinin bir alt kümesi veya tek bir veri örneği için model tahminine iyi uyum gösterir (örneğin, yerel vekil modeller veya Shapley değerleri).
Tutarlılık (Consistency): Aynı göreve yönelik eğitilmiş ve benzer tahminler üreten modeller arasında açıklama ne kadar farklıdır? Örneğin, aynı görev için bir destek vektör makinesi ve bir doğrusal regresyon modeli eğitip her ikisiyle benzer tahminler ürettiğimi varsayalım. Bir açıklama yöntemi kullanarak açıklamaları hesaplayıp farklılıklarını analiz ederim. Eğer açıklamalar çok benzerse, açıklamalar oldukça tutarlıdır. Ancak bu özellik bazı durumlarda karmaşıktır; örneğin, iki model farklı özellikleri kullanarak benzer tahminlerde bulunabilir (Rashomon Etkisi olarak da bilinir). Bu durumda yüksek tutarlılık istenmeyebilir, çünkü açıklamaların oldukça farklı olması gerekir.
Kararlılık (Stability): Benzer örnekler için açıklamalar ne kadar benzer? Tutarlılık, modeller arasındaki açıklamaları karşılaştırırken, kararlılık aynı modeldeki benzer örnekler için açıklamaları karşılaştırır. Yüksek kararlılık, bir örneğin özelliklerindeki hafif değişikliklerin açıklamada önemli bir değişiklik yaratmadığı anlamına gelir (bu küçük değişiklikler tahmini güçlü bir şekilde değiştirmedikçe). Yüksek varyansa sahip bir açıklama yöntemi, düşük kararlılığa neden olabilir. Başka bir deyişle, açıklama yöntemi, örneğin özellik değerlerindeki küçük değişikliklerden çok etkileniyordur. Kararlılığın olmaması, yerel vekil yöntemi gibi veri örneklemesi aşaması içeren rastgele bileşenlerden de kaynaklanabilir. Yüksek kararlılık her zaman arzu edilir.
Anlaşılabilirlik (Comprehensibility): İnsanlar açıklamaları ne kadar iyi anlar? Bu, birçok özellik arasında sadece bir özellik gibi görünse de, oldukça önemlidir. Tanımlanması ve ölçülmesi zor, ancak çok önemli bir özelliktir. Anlaşılabilirliğin kitleye bağlı olduğu konusunda birçok kişi hemfikirdir. Anlaşılabilirliği ölçmeye yönelik fikirler arasında, açıklamanın boyutunun ölçülmesi (doğrusal bir modelde sıfır olmayan ağırlığa sahip özelliklerin sayısı, karar kurallarının sayısı vb.) veya insanların yapay öğrenme modelinin davranışını açıklamalardan tahmin etme becerisi test edilebilir. Açıklamada kullanılan özelliklerin anlaşılabilirliği de dikkate alınmalıdır. Özelliklerin karmaşık bir dönüşümü, orijinal özelliklerden daha az anlaşılabilir olabilir.
Kesinlik (Certainty): Açıklama, yapay öğrenme modelinin tahmininin doğruluğunu yansıtıyor mu? Birçok yapay öğrenme modeli, tahminlerin doğruluğuna dair bir güven ifadesi olmaksızın tahmin yapar. Örneğin, model bir hasta için %4 kanser olasılığı tahmin ediyorsa, bu olasılık aynı değere sahip farklı özellik değerleri ile başka bir hasta için de aynı güvenle mi verilmiştir? Modelin kesinliğini içeren bir açıklama çok faydalıdır.
Önem Derecesi (Degree of Importance): Açıklama, özelliklerin veya açıklamanın bölümlerinin önemini ne kadar iyi yansıtıyor? Örneğin, bir bireysel tahmin için bir karar kuralı oluşturulursa, bu kuralın koşullarından hangisinin en önemli olduğu açıkça anlaşılabiliyor mu?
Yenilik (Novelty): Açıklama, açıklanacak veri örneğinin eğitim verisinin dağılımından oldukça farklı olup olmadığını yansıtıyor mu? Bu gibi durumlarda, modelin doğruluğu düşük olabilir ve açıklama işe yaramaz hale gelebilir. Yenilik kavramı kesinlik kavramı ile ilişkilidir. Yenilik ne kadar yüksekse, modelin veri eksikliğinden dolayı düşük kesinliğe sahip olma olasılığı o kadar yüksektir.
Temsil Edilebilirlik (Representativeness): Bir açıklama kaç örneği kapsar? Açıklamalar tüm modeli (ör. doğrusal regresyon modelinde ağırlıkların yorumu) ya da sadece tek bir tahmini (ör. Shapley değerleri) temsil edebilir.
Robnik-Sikonja, Marko ve Marko Bohanec. "Perturbation-based explanations of prediction models." Human and Machine Learning. Springer, Cham. 159-175. (2018).
Last updated