3.3 Yorumlanabilirliğin Kapsamı

Bir algoritma, tahminler üreten bir model eğitir. Her adım, şeffaflık veya yorumlanabilirlik açısından değerlendirilebilir.

3.3.1 Algoritma Şeffaflığı

Algoritma modeli nasıl oluşturur?

Algoritma şeffaflığı, algoritmanın verilerden bir model öğrenme süreci ve hangi tür ilişkileri öğrenebileceği ile ilgilidir. Örneğin, görüntü sınıflandırmada evrişimli sinir ağları kullanıldığında, algoritmanın en alt katmanlarda kenar algılayıcılar ve filtreler öğrendiği açıklanabilir. Bu, algoritmanın nasıl çalıştığını anlamaya yönelik bir bakış açısı sunar, ancak öğrenilen spesifik model veya bireysel tahminlerin nasıl yapıldığına dair bir açıklama sağlamaz. Algoritma şeffaflığı, yalnızca algoritmanın kendisine dair bilgi gerektirir; veri veya öğrenilmiş modele dair bilgiye ihtiyaç duymaz. Bu kitap model yorumlanabilirliğine odaklanmakta olup algoritma şeffaflığına odaklanmamaktadır. Doğrusal modeller için en küçük kareler yöntemi gibi algoritmalar iyi incelenmiş olup yüksek şeffaflık ile karakterize edilirken, milyonlarca ağırlığı bulunan bir ağı ileri doğru türev ile optimize eden derin öğrenme yaklaşımları daha az anlaşılmaktadır ve bu yaklaşımların iç işleyişleri araştırılmaya devam etmektedir. Bu yüzden derin öğrenme yaklaşımları daha az şeffaf olarak kabul edilir.

3.3.2 Küresel, Bütünsel Model Yorumlanabilirliği

Eğitilmiş model tahminleri nasıl yapar?

Bir modeli, tamamını bir kerede kavrayabiliyorsanız yorumlanabilir olarak tanımlayabilirsiniz (Lipton 2016). Küresel model çıktısını açıklamak için, eğitilmiş modelin yanı sıra algoritma ve veri bilgisine de ihtiyaç duyulur. Bu yorumlanabilirlik seviyesi, modelin karar alma sürecini modelin özellikleri ve ağırlıklar, diğer parametreler ve yapılar gibi öğrenilen tüm bileşenleri dikkate alarak anlamakla ilgilidir. Hangi özelliklerin önemli olduğu ve aralarındaki etkileşimler nelerdir? Küresel model yorumlanabilirliği, hedef çıktının dağılımını özellikler temelinde anlamaya yardımcı olur. Ancak, pratikte küresel model yorumlanabilirliğine ulaşmak oldukça zordur. Parametre veya ağırlık sayısı az olmayan bir modelin, ortalama bir insanın kısa süreli hafızasında tutulması olası değildir. Örneğin, beş özellikli bir doğrusal modeli hayal edebilmek, zihinde 5-boyutlu bir hiper düzlemi çizmeyi gerektirir ki, üç boyuttan büyük herhangi bir özellik uzayı insanların zihninde kavranamaz. Genellikle insanlar bir modeli anlamaya çalışırken, doğrusal modellerde ağırlıklar gibi sadece parçalarını dikkate alır.

3.3.3 Küresel Model Yorumlanabilirliği - Modüler Düzeyde

Modelin parçaları tahminleri nasıl etkiler?

Yüzlerce özelliğe sahip bir Naive Bayes modeli, bizlerin çalışma belleğinde tutamayacağı kadar büyük olurdu. Tüm ağırlıkları ezberlesek bile, yeni veri noktaları için hızlı tahminler yapmamız mümkün olmazdı. Ayrıca, her bir özelliğin önemini ve özelliklerin tahminleri nasıl etkilediğini değerlendirmek için tüm özelliklerin ortak dağılımını da zihnimizde bulundurmamız gerekir. Ancak, tek bir ağırlığı anlamak kolaydır. Küresel model yorumlanabilirliği çoğunlukla erişilemez olsa da, en azından bazı modellerin modüler düzeyde anlaşılması mümkündür. Her model, parametre düzeyinde yorumlanabilir olmayabilir. Doğrusal modellerde yorumlanabilir parçalar ağırlıklar, ağaçlarda ise bölünmeler (seçilen özellikler ve eşik değerleri) ve yaprak düğüm tahminleridir. Ancak, doğrusal modellerin bir ağırlığının yorumu, tüm diğer ağırlıklarla iç içedir; bir ağırlığın yorumu diğer giriş özelliklerinin aynı değerde kalması koşuluna bağlıdır, ki bu birçok gerçek uygulamada geçerli değildir. Örneğin, bir evin değerini tahmin eden bir doğrusal modelde, evin boyutu ve oda sayısı hem ele alınıyorsa, oda sayısı için negatif bir ağırlık söz konusu olabilir. Bu, evin büyüklüğü ile yüksek korelasyona sahip olduğu için meydana gelebilir. Ancak doğrusal model ağırlıkları, derin bir sinir ağının ağırlıklarına göre daha iyi yorumlanabilir.

3.3.4 Bireysel Tahmin İçin Yerel Yorumlanabilirlik

Model, bir örnek için belirli bir tahmini neden yaptı?

Tek bir örneğe odaklanarak modelin bu girdiye yönelik tahminini inceleyebilir ve nedenini açıklayabilirsiniz. Bireysel bir tahmine baktığınızda, karmaşık modelin davranışı daha basit görünebilir. Yerel düzeyde, tahmin yalnızca bazı özelliklere doğrusal veya monotonik olarak bağlı olabilir; karmaşık bağımlılık göstermek zorunda değildir. Örneğin, bir evin değeri büyüklüğüne göre doğrusal olmayan bir şekilde değişebilir, ancak yalnızca 100 metrekarelik bir ev için bakıldığında, tahminin büyüklüğe doğrusal olarak bağlı olması mümkündür. Tahmin edilen fiyatın, büyüklüğün 10 metrekare artırılması veya azaltılmasıyla nasıl değiştiğini simüle ederek bunu bulabilirsiniz. Bu nedenle, yerel açıklamalar küresel açıklamalardan daha doğru olabilir. Bu kitap, modelden bağımsız yöntemler bölümünde bireysel tahminleri daha yorumlanabilir kılabilecek yöntemler sunmaktadır.

3.3.5 Bir Grup Tahmin İçin Yerel Yorumlanabilirlik

Model, bir grup örnek için belirli tahminleri neden yaptı?

Birden fazla örnek için model tahminleri, küresel model yorumlama yöntemleri (modüler düzeyde) veya bireysel örnek açıklamaları ile açıklanabilir. Küresel yöntemler, örnek grubunu tüm veri kümesi gibi ele alıp küresel yöntemlerin bu alt kümeye uygulanmasıyla kullanılabilir. Bireysel açıklama yöntemleri ise her bir örneğe uygulanabilir ve daha sonra tüm grup için sıralanabilir veya birleştirilebilir.

---

Lipton, Zachary C. "The mythos of model interpretability." arXiv preprint arXiv:1606.03490, (2016).