9.5 Shapley Değerleri (Shapley Values)

Bir tahmin, örneğin her bir özellik değerinin, tahminin “ödeme” olduğu bir oyundaki “oyuncu” olarak ele alınmasıyla açıklanabilir. Shapley değerleri – koalisyonel oyun teorisinden gelen bir yöntem – “ödeme”nin özellikler arasında adil bir şekilde nasıl dağıtılacağını bize söyler.

9.5.1 Genel Fikir

Şu senaryoyu düşünün:

Bir apartman dairesinin fiyatını tahmin etmek üzere bir makine öğrenimi modeli eğittiniz. Belirli bir daire için modelin tahmini 300.000 € ve bu tahmini açıklamanız gerekiyor. Dairenin alanı 50 m², 2. katta bulunuyor, yakınında bir park var ve kedi beslemek yasak:

Figür 9.17: Yakındaki 2. katman bir apartman dairesi için tahmin edilen fiyat. Yakındaki park ve kedi yasağı olan 50 m²'lik 2. kat dairesi için tahmin edilen fiyat €300,000. Amacımız, bu özellik değerlerinin her birinin tahmine nasıl katkıda bulunduğunu açıklamaktır.

Bütün daireler için ortalama tahmin 310.000 €’dur. Bir özelliğin değeri, ortalama tahmine kıyasla tahmine ne kadar katkıda bulunmuştur?

Doğrusal regresyon modelleri için cevap basittir. Her özelliğin etkisi, özelliğin ağırlığının özelliğin değeriyle çarpılmasıdır. Bu, yalnızca modelin doğrusallığı sayesinde çalışır. Daha karmaşık modellerde farklı bir çözüme ihtiyacımız vardır. Örneğin, LIME etkileri tahmin etmek için yerel modeller önerir. Başka bir çözüm kooperatif (işbirlikçi) oyun teorisinden gelir: Shapley değeri, Shapley (1953)63 tarafından ortaya atılmış ve oyuncuların toplam ödemeye (payout) yaptıkları katkıya göre onlara ödeme atayan bir yöntemdir. Oyuncular bir koalisyonda işbirliği yapar ve bu işbirliğinden belirli bir kazanç elde ederler.

Oyuncular mı? Oyun mu? Ödeme mi? Makine öğrenimi tahminleri ve yorumlanabilirlik ile ne alakası var? “Oyun”, veri kümesindeki tek bir örnek için tahmin görevidir. “Kazanç”, bu örnek için gerçek tahmin ile tüm örneklerin ortalama tahmini arasındaki farktır. “Oyuncular”, belirli bir değeri tahmin etmek (= belirli bir değer öngörmek) için iş birliği yapan örneğin özellik değerleridir. Apartman örneğimizde, park-yakın, kedi-yasak, alan-50 ve kat-2 özellik değerleri 300.000 €’luk tahmini elde etmek için birlikte çalışır. Amacımız, gerçek tahmin (300.000 €) ile ortalama tahmin (310.000 €) arasındaki farkı açıklamaktır: -10.000 €’luk bir fark.

Cevap şöyle olabilir: Park-yakın 30.000 € katkıda bulundu; alan-50 10.000 € katkıda bulundu; kat-2 0 € katkıda bulundu; kedi-yasak -50.000 € katkıda bulundu. Bu katkılar, -10.000 €’luk farka (son tahmin ile tahmin edilen ortalama apartman fiyatı arasındaki fark) toplamda denk gelir.

Bir özellik için Shapley değeri nasıl hesaplanır?

Shapley değeri, bir özelliğin değerinin olası tüm koalisyonlar üzerindeki ortalama marjinal katkısıdır. Her şey şimdi anlaşılmış mıdır?

Aşağıdaki şekilde, park-yakın ve alan-50’den oluşan bir koalisyona kedi-yasak özelliğinin değeri eklendiğinde kedi-yasak’ın katkısını değerlendiriyoruz. Yalnızca park-yakın, kedi-yasak ve alan-50’nin koalisyonda olduğunu simüle etmek için verilerden rastgele başka bir apartman çekiyor ve onun kat değerini (özelliğini) kullanıyoruz. Kat-2 yerine rastgele çekilen apartmanda kat-1 değeri konuldu. Sonra bu kombinasyon ile apartman fiyatını tahmin ediyoruz (310.000 €). İkinci adımda, kedi-yasak’ı koalisyondan çıkarıyor, rastgele çekilen apartmandan kedi-izinli/yasaklı özelliğinin rastgele bir değerini (bu örnekte kedi-izinli) kullanıyoruz. Yine tahmin yapıyoruz, böylece park-yakın ve alan-50 koalisyonu ile apartman fiyatı 320.000 € çıkıyor. Kedi-yasak’ın katkısı 310.000 € - 320.000 € = -10.000 € olarak belirleniyor. Bu tahmin, kedi ve kat özellik değerleri için “verici” olarak kullanılan rastgele çekilen apartmanın değerlerine bağlıdır. Bu örnekleme adımını tekrarlar ve katkıları ortalamasını alırsak daha iyi tahminlere ulaşırız.

Figür 9.18: Park yakınlığı ve bölge-50 ile koalisyona eklendiğinde kedi yasağının tahmine katkısını tahmin etmek için cat-banned eklenmiş bir örnek tekrarı

Bu hesaplamayı tüm olası koalisyonlar için tekrarlarız. Shapley değeri, tüm olası koalisyonlara yapılan marjinal katkıların ortalamasıdır. Özellik sayısı arttıkça hesaplama süresi üstel olarak artar. Hesaplama süresini yönetilebilir kılmanın bir çözümü, olası koalisyonlardan yalnızca birkaç örnek için katkıları hesaplamaktır.

Aşağıdaki şekil, kedi-yasak (cat-banned) için Shapley değerini belirlemek üzere ihtiyaç duyulan tüm özellik değeri koalisyonlarını göstermektedir. İlk satırda, hiçbir özellik değerinin olmadığı koalisyon görülür. İkinci, üçüncü ve dördüncü satırlar, artan koalisyon boyutuna göre “|” ile ayrılmış farklı koalisyonları gösterir. Sonuç olarak, aşağıdaki koalisyonlar mümkündür:

• Özellik değeri yok

• park-nearby

• area-50

• floor-2nd

• park-nearby+area-50

• park-nearby+floor-2nd

• area-50+floor-2nd

• park-nearby+area-50+floor-2nd

Bu koalisyonların her biri için, cat-banned özelliği değeriyle ve olmadan tahmin edilen daire fiyatını hesaplarız ve farkını alarak marjinal katkıyı elde ederiz. Shapley değeri, bu marjinal katkıların (ağırlıklı) ortalamasıdır. Makine öğrenimi modelinden bir tahmin almak için, koalisyonda bulunmayan özelliklerin değerlerini daire veri setinden rastgele seçilmiş özellik değerleriyle değiştiririz.

Figür 9.19: Cat-banned özellik değerinin tam Shapley değerini hesaplamak için gereken tüm 8 koalisyon.

Bu yaklaşım ile, tüm özellik değerleri için Shapley değerlerini tahmin edersek, tahminin (ortalama tahminin eksiği) özellik değerleri arasında nasıl dağıldığını tamamen elde etmiş oluruz.

9.5.2 Örnekler ve Yorumlama

Bir özelliğin j değerine ait Shapley değerini yorumlarken: j-inci özelliğin değeri, veri setinin ortalama tahminine kıyasla, bu özel örneğin tahminine $\phi_j$kadar katkıda bulunmuştur.

Shapley değeri, olasılıklarla çalışıyorsak sınıflandırma için de, regresyon için de kullanılabilir.

Rahim ağzı kanserini tahmin eden bir rastgele orman modelinin tahminlerini analiz etmek için Shapley değerini kullanıyoruz:

Figür 9.20: Servikal kanser veri setindeki bir kadın için Shapley değerleri. Tahmin 0.57 olduğunda, bu kadının kanser olasılığı ortalama tahmin olan 0.03 ile karşılaştırıldığında 0.54 artmıştır. Tanı konulan STD'ler olasılığı en çok artırmıştır. Katkıların toplamı, gerçek ve ortalama tahmin arasındaki farkı (0.54) verir.

Bisiklet kiralama veri seti için, hava durumu ve takvim bilgileri kullanarak bir günde kiralanan bisiklet sayısını tahmin etmek üzere bir rastgele orman modeli de eğitiyoruz. Belirli bir güne ait rastgele orman tahmini için oluşturulan açıklamalar:

Figür 9.21: Gün 285 için Shapley değerleri. Tahmin edilen 2409 kiralanan bisiklet sayısı ile bu gün, ortalama tahmin olan 4518'in -2108 altında kalmaktadır. Hava durumu durumu ve nem en büyük negatif katkılara sahipti. Bu gündeki sıcaklık pozitif bir katkı sağladı. Shapley değerlerinin toplamı, gerçek ve ortalama tahmin farkını (-2108) verir.

Shapley değerini doğru yorumlamak konusunda dikkatli olun: Shapley değeri, bir özellik değerinin farklı koalisyonlardaki tahmine ortalama katkısıdır. Shapley değeri, özelliği modelden kaldırdığımızda tahminde oluşacak fark değildir.

9.5.3 Shapley Değerinin Ayrıntıları

Bu bölüm, meraklı okuyucu için Shapley değerinin tanımı ve hesaplanması konusunda daha derine iniyor. Teknik detaylarla ilgilenmiyorsanız bu bölümü atlayabilir ve doğrudan "Avantajlar ve Dezavantajlar" kısmına geçebilirsiniz.

Amacımız, her bir özelliğin bir veri noktasının tahmini üzerindeki etkisini öğrenmektir. Doğrusal bir modelde bireysel etkileri hesaplamak kolaydır. İşte bir veri örneği için doğrusal model tahmininin nasıl göründüğüne dair bir gösterim:

$$\hat{f}(x)=\beta_0+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p}$$

Burada x, katkılarını hesaplamak istediğimiz örneği ifade eder. Her $x_j, j = 1,\dots,p$ olmak üzere bir özellik değeridir. $\beta_j$, j-inci özelliğe karşılık gelen ağırlıktır.

$\hat{f}(x)$ üzerindeki j-inci özelliğin katkısı $\phi_j$ ise şöyledir:

$$\phi_j(\hat{f})=\beta_{j}x_j-E(\beta_{j}X_{j})=\beta_{j}x_j-\beta_{j}E(X_{j})$$

Burada, $E(\beta_j X_j)$ özellik 𝑗 için ortalama etki tahminini ifade eder. Katkı, özellik etkisi ile ortalama etki arasındaki farktır. Harika! Böylece her bir özelliğin tahmine ne kadar katkıda bulunduğunu biliyoruz. Eğer tek bir örnek için tüm özellik katkılarını toplarsak, sonuç aşağıdaki gibi olur:

$$\begin{align*}\sum_{j=1}^{p}\phi_j(\hat{f})=&\sum_{j=1}^p(\beta_{j}x_j-E(\beta_{j}X_{j}))\\=&(\beta_0+\sum_{j=1}^p\beta_{j}x_j)-(\beta_0+\sum_{j=1}^{p}E(\beta_{j}X_{j}))\\=&\hat{f}(x)-E(\hat{f}(X))\end{align*}$$

Bu, veri noktası x için tahmin edilen değer ile ortalama tahmin edilen değerin farkıdır. Özellik katkıları negatif olabilir.

Aynı şeyi her model türü için yapabilir miyiz? Bunu modelden bağımsız bir araç olarak kullanabilmek harika olurdu. Genellikle diğer model türlerinde benzer ağırlıklara sahip olmadığımız için farklı bir çözüme ihtiyacımız var.

Beklenmedik bir yerden yardım geliyor: işbirlikçi (kooperatif) oyun teorisi. Shapley değeri, herhangi bir makine öğrenimi modeli için tekil tahminlere ait özellik katkılarını hesaplamada bir çözümdür.

9.5.3.1 Shapley Değeri

Shapley değeri, SSS içindeki oyuncuların bir değer fonksiyonu val\text{val}val aracılığıyla tanımlanır.

Bir özellik değerinin Shapley değeri, olası tüm özellik değeri kombinasyonları üzerinden ağırlıklandırılıp toplanmış şekilde, o özelliğin “ödemeye” (payout) yaptığı katkıdır:

$$\phi_j(val)=\sum_{S\subseteq\{1,\ldots,p\} \backslash \{j\}}\frac{|S|!\left(p-|S|-1\right)!}{p!}\left(val\left(S\cup\{j\}\right)-val(S)\right)$$

Burada, 𝑆, modelde kullanılan özelliklerin bir alt kümesidir; 𝑥 , açıklanacak örneğin özellik değerleri vektörüdür; ve 𝑝, özellik sayısıdır. $val_x{S}$ ise, 𝑆 kümesinde yer alan özellik değerleri için tahmindir ve 𝑆 kümesinde olmayan özellikler üzerinde marjinalleştirme (ortalama etkisini alma) yapılır:

$$val_{x}(S)=\int\hat{f}(x_{1},\ldots,x_{p})d\mathbb{P}_{x\notin{}S}-E_X(\hat{f}(X))$$

Aslında, SS kümesinde bulunmayan her özellik için birden fazla integrasyon gerçekleştirirsiniz. Somut bir örnek: Makine öğrenimi modeli, $x_1, x_2, x_3, ve, x_4$​ olmak üzere 4 özellikle çalışmaktadır ve biz, $x_1$ ve $x_3$​ özellik değerlerinden oluşan S koalisyonu için tahmini değerlendiriyoruz:

$$val_{x}(S)=val_{x}(\{1,3\})=\int_{\mathbb{R}}\int_{\mathbb{R}}\hat{f}(x_{1},X_{2},x_{3},X_{4})d\mathbb{P}_{X_2X_4}-E_X(\hat{f}(X))$$

Bu, doğrusal modeldeki özellik katkılarına çok benziyor!

“Değer” kelimesinin birçok kullanımından dolayı kafanız karışmasın: Özellik değeri, bir özelliğin ve örneğin sayısal veya kategorik değeridir; Shapley değeri, tahmine yapılan özellik katkısıdır; değer fonksiyonu (value function) ise oyuncuların (özellik değerlerinin) oluşturduğu koalisyonlar için ödeme fonksiyonudur.

Shapley değeri, Efficiency, Symmetry, Dummy ve Additivity özelliklerini karşılayan tek atıf (katkı) yöntemidir; bu özellikler bir arada adil bir ödemenin tanımı olarak kabul edilebilir:

• Efficiency (Etkinlik): Özellik katkıları, x için tahmin ile ortalama tahmin arasındaki farka eşit olacak şekilde toplanmalıdır.

$$\sum\nolimits_{j=1}^p\phi_j=\hat{f}(x)-E_X(\hat{f}(X))$$

Symmetry (Simetri): İki özelliğin j ve k değerleri, tüm olası koalisyonlara eşit katkıda bulunuyorsa, katkıları da aynı olmalıdır. Eğer

$$val(S \cup \{j\})=val(S\cup\{k\})$$

tüm

$$S\subseteq\{1,\ldots, p\} \backslash \{j,k\}$$

sonra

$$\phi_j=\phi_{k}$$

Dummy (Etkisiz Öznitelik): Bir öznitelik jjj, hangi özellik kümesine eklenirse eklensin tahmin edilen değeri değiştirmiyorsa, bu öznitelik için Shapley değeri 0 olmalıdır. Eğer

$$val(S\cup\{j\})=val(S)$$

tüm

$$S\subseteq\{1,\ldots,p\}$$

sonra

$$\phi_j = 0$$

Additivity (Toplanabilirlik) Bir val+val+\text{val} + \text{val}+val+val+ birleştirilmiş ödemeler oyununda ilgili Shapley değerleri şu şekildedir:

$$\phi_j+\phi_j^{+}$$

Varsayalım ki bir random forest (rastgele orman) eğittiniz, bu da tahminin birçok karar ağacının ortalaması olduğu anlamına gelir. Additivity (Toplanabilirlik) özelliği, bir özellik değeri için her ağaca ayrı ayrı Shapley değerini hesaplayıp ortalamasını aldığınızda, elde edeceğiniz sonucun o özellik değeri için tüm rastgele orman üzerindeki Shapley değeri olacağını garanti eder.

9.5.3.2 Sezgisel Anlatım

Shapley değerini anlamanın sezgisel bir yolu şöyledir: Özellik değerleri rastgele bir sırayla odaya girerler. Odaya girmiş olan tüm özellik değerleri oyuna katılır (= tahmine katkıda bulunur). Bir özellik değerinin Shapley değeri, söz konusu özellik değeri odaya katıldığında odada zaten bulunan koalisyonun aldığı tahminin ne kadar değiştiğinin ortalamasıdır.

9.5.3.3 Shapley Değerini Yaklaşık Hesaplama

j’inci özellik olmadan ve onunla birlikte, tüm olası özellik değeri koalisyonlarının (kümelerinin) değerlendirilmesi gerekir ki tam Shapley değeri hesaplanabilsin. Özellik sayısı birkaçdan fazlaysa, bu sorunun tam çözümü sorunlu hale gelir çünkü olası koalisyonların sayısı, eklenen her bir özellikle üstel olarak artar. Strumbelj ve arkadaşları (2014)64 bu soruna Monte Carlo örneklemesi yoluyla bir yaklaşım önermiştir:

$$\hat{\phi}_{j}=\frac{1}{M}\sum_{m=1}^M\left(\hat{f}(x^{m}_{+j})-\hat{f}(x^{m}_{-j})\right)$$

burada $\hat{f}(x_{m}^{+j})$, x için yapılan tahmindir ancak j-inci özellik değeri hariç rastgele seçilen bir veri noktası z'nin özellik değerleriyle değiştirilmiş bir dizi özelliğe sahiptir. x-vektörü $x_{m}^{-j}$ ise, $x_{m}^{+j}$'ye neredeyse özdeştir ancak $x_{m}^{j}$değeri de örneklenen z'den alınır. Bu M yeni örneklerin her biri, iki örnekten birleştirilmiş bir tür “Frankenstein’ın Canavarı” gibidir. Şunu unutmayın ki aşağıdaki algoritmada, özelliklerin sırası gerçekte değiştirilmez – her özellik, tahmin fonksiyonuna geçilirken vektörde aynı konumda kalır. Burada sıra yalnızca bir “hile” olarak kullanılır: Özelliklere yeni bir sıra vererek, bize “Frankenstein’ın Canavarı”nı birleştirmemize yardımcı olacak rastgele bir mekanizma elde ederiz. $x_j$ özelliğinin solunda görünen özellikler için değerleri özgün gözlemden alırız, sağında kalan özellikler için ise rastgele bir örnekten alınan değerleri kullanırız.

Tek bir özellik değeri için yaklaşık Shapley tahmini:

Çıktı: j-inci özelliğin değeri için Shapley değeri Gerekli: Yineleme sayısı M, ilgi duyulan örnek x, özellik indeksi j, veri matrisi X ve yapay öğrenimi modeli f

1. Tüm $m = 1,\dots,M$ iiçin:

   1. Veri matrisi X'ten rastgele bir örnek z çekin

   2. Özelliklerin rastgele bir sırası o seçin

   3. x örneğini sıraya göre yeniden düzenleyin: $x_o = \bigl(x^{(1)}, \dots, x^{(j)}, \dots, x^{(p)}\bigr)$

   4. z örneğini sıraya göre yeniden düzenleyin: $z_o = \bigl(z^{(1)}, \dots, z^{(j)}, \dots, z^{(p)}\bigr)$

   5. İki yeni örnek oluşturun

      1. j ile : $x_{+j}=(x_{(1)},\ldots,x_{(j-1)},x_{(j)},z_{(j+1)},\ldots,z_{(p)})$

      2. j olmadan: $x_{-j}=(x_{(1)},\ldots,x_{(j-1)},z_{(j)},z_{(j+1)},\ldots,z_{(p)})$

   6. Marjinal katkıyı hesapla: $\phi_j^{m}=\hat{f}(x_{+j})-\hat{f}(x_{-j})$

   Shapley değerini ortalama olarak hesapla: $\phi_j(x)=\frac{1}{M}\sum_{m=1}^M\phi_j^{m}$

Öncelikle, ilgi duyulan bir örnek x, bir özellik j ve yineleme sayısı M seçin. Her yinelemede, verilerden rastgele bir örnek z seçilir ve özelliklerin rastgele bir sırası oluşturulur. İki yeni örnek, ilgi duyulan örnek x ile örnek z’nin değerlerini birleştirerek oluşturulur. $x^{+j}$ örneği, ilgi duyulan örnektir, ancak j özelliğinden sonra gelen sıradaki tüm değerler örnek z’den alınan özellik değerleriyle değiştirilir. $x^{-j}$ ise $x^{+j}$ ile aynıdır, ancak ek olarak j özelliği de örnek z’den alınan değerle değiştirilmiştir.

Siyah kutu modelinden elde edilen tahmin farkı şu şekilde hesaplanır:

$$\phi_j^{m}=\hat{f}(x^m_{+j})-\hat{f}(x^m_{-j})$$

Tüm bu farkların ortalaması alınır ve sonuç olarak

$$\phi_j(x)=\frac{1}{M}\sum_{m=1}^M\phi_j^{m}$$

Tahminin ortalama tahmin üzerinden dağıtılması, X’in olasılık dağılımı tarafından dolaylı olarak ağırlıklandırılır.

Bu prosedür, tüm Shapley değerlerini elde etmek için her bir özellik için tekrarlanmak zorundadır.

9.5.4 Avantajlar

Bir örnek için tahmin ile ortalama tahmin arasındaki farkın, örneğin özellik değerleri arasında adil bir şekilde dağıtılması (Shapley değerlerinin “Efficiency” özelliği) sağlanır. Bu özellik, Shapley değerini LIME gibi diğer yöntemlerden ayırır. LIME, tahmini özellikler arasında adil şekilde dağıtmayı garanti etmez. Shapley değeri, tam bir açıklama sunabilen tek yöntem olabilir. Yasanın açıklanabilirlik gerektirdiği durumlarda – örneğin AB’nin “açıklama hakkı” – Shapley değeri hukuken uyumlu olabilecek tek yöntem olabilir, çünkü sağlam bir teoriye dayanır ve etkileri adil bir şekilde dağıtır. Ben bir avukat değilim, bu yalnızca gereksinimlerle ilgili sezgimi yansıtıyor.

Shapley değeri karşıt (kontrastif) açıklamalara izin verir. Bir tahmini, tüm veri setinin ortalama tahminiyle karşılaştırmak yerine, bir alt küme veya tek bir veri noktasıyla karşılaştırabilirsiniz. Bu karşıtlık, LIME gibi yerel modellerde yoktur.

Shapley değeri, sağlam bir teoriye sahip tek açıklama yöntemidir. Aksiyomlar – etkinlik (efficiency), simetri (symmetry), etkisiz (dummy), toplanabilirlik (additivity) – açıklamaya makul bir temel sağlar. LIME gibi yöntemler, makine öğrenimi modelinin yerel olarak doğrusal davrandığını varsayar, ancak bunun neden işe yaraması gerektiğine dair bir teori yoktur.

Bir tahmini, özellik değerlerinin oynadığı bir oyun olarak açıklamak oldukça etkileyicidir.

9.5.5 Dezavantajlar

Shapley değeri çok fazla hesaplama süresi gerektirir. Gerçek dünya problemlerinin %99,9’unda yalnızca yaklaşık (approximate) çözüm uygulanabilir. Shapley değerinin tam hesaplanması maliyetlidir, çünkü özellik değerlerinin oluşturduğu olası $2^k$ koalisyon vardır ve bir özelliğin “yokluğunu” simüle etmek için rastgele örnekler çekerek (bu da Shapley değerleri tahminindeki varyansı artırır) tahmin almak gerekir. Koalisyonların üstel sayısı, koalisyonları örnekleyerek ve yineleme sayısı M’i sınırlandırarak ele alınır. M’i azaltmak hesaplama süresini kısaltır ancak Shapley değerinin varyansını artırır. M için iyi bir pratik kural yoktur. M, Shapley değerlerini doğru şekilde tahmin edebilecek kadar büyük ama makul bir sürede hesaplamayı tamamlayacak kadar küçük olmalıdır. Chernoff sınırlarına (Chernoff bounds) dayalı bir M seçimi yapmak mümkün olmalıdır, ancak makine öğrenimi tahminleri için Shapley değerlerine yönelik böyle bir çalışmaya rastlamadım.

Shapley değeri yanlış anlaşılabilir. Bir özelliğin Shapley değeri, o özelliği modelden kaldırdıktan sonra elde edilen tahmin farkı değildir. Shapley değerinin yorumu şudur: Mevcut özellik değerleri kümesi göz önüne alındığında, bir özellik değerinin gerçek tahmin ile ortalama tahmin arasındaki farka yaptığı katkı, tahmini Shapley değeridir.

Seyrek (az sayıda özelliğe sahip) açıklamalar arıyorsanız, Shapley değeri yanlış bir yöntemdir. Shapley değeri yöntemiyle oluşturulan açıklamalar her zaman tüm özellikleri kullanır. İnsanlar, LIME’ın ürettiği gibi daha seçici açıklamaları tercih eder. LIME, alan dışı kişilerin anlaması gereken durumlarda daha iyi bir tercih olabilir. Başka bir çözüm de, Lundberg ve Lee (2016) tarafından sunulan ve Shapley değerine dayanan ancak az sayıda özellikle de açıklama sunabilen SHAP’tır.

Shapley değeri, özellik başına basit bir değer döndürür, ancak LIME gibi bir tahmin modeli döndürmez. Bu, girdideki değişiklikler için tahminde oluşacak değişikliklerle ilgili (“Yılda 300 € daha fazla kazansam kredi puanım 5 puan yükselir.” gibi) çıkarımlar yapılamayacağı anlamına gelir.

Son bir dezavantaj, yeni bir veri örneği için Shapley değerini hesaplamak isterseniz veriye erişmeniz gerekmesidir. Sadece tahmin fonksiyonuna erişmek yeterli değildir, çünkü ilgi duyulan örneğin bazı kısımlarını veri setinden rastgele çekilen örneklerin değerleriyle değiştirmeye ihtiyacınız vardır. Bu, ancak gerçek veri örneklerine benzeyen, ancak eğitim verilerindeki gerçek örnekler olmayan veri örnekleri oluşturabilirseniz önlenebilir.

Birçok başka permütasyon tabanlı yorumlama yöntemi gibi, Shapley değeri yöntemi de özellikler korelasyonlu olduğunda gerçekçi olmayan veri örneklerinin dahil edilmesinden muzdariptir. Bir özelliğin koalisyonda olmadığı durumu simüle etmek için, bu özelliği marjinalize ederiz. Bu, özelliğin marjinal dağılımından değerler çekilerek gerçekleştirilir. Özellikler bağımsız olduğu sürece bu sorun oluşturmaz. Özellikler bağımlı olduğunda, bu örnek için mantıklı olmayan özellik değerleri örnekleyebiliriz. Ama yine de bu değerleri kullanarak özelliğin Shapley değerini hesaplarız. Bir çözüm, korelasyonlu özelliklerin birlikte permüte edilmesi ve onlar için tek bir ortak Shapley değeri elde edilmesidir. Başka bir uyarlama ise koşullu örneklemedir (conditional sampling): Özellikler, hâlihazırda “takım”da bulunan özelliklere koşullu olarak örneklenir. Koşullu örnekleme, gerçekçi olmayan veri noktaları sorununu düzeltse de yeni bir sorun yaratır: Elde edilen değerler artık oyunumuza ait Shapley değerleri değildir, çünkü Sundararajan ve ark. (2019) ile Janzing ve ark. (2020) tarafından gösterildiği üzere, bu durum simetri aksiyomunu ihlal eder.

9.5.6 Yazılım ve Alternatifler

Shapley değerleri, R için iml ve fastshap paketlerinde uygulanmıştır. Julia’da Shapley.jl kullanılabilir.

Shapley değerleri için alternatif bir tahmin yöntemi olan SHAP, bir sonraki bölümde tanıtılacaktır.

Başka bir yaklaşım, breakDown adı verilen ve R’daki breakDown paketinde68 uygulanmış yaklaşımdır. breakDown da her bir özelliğin tahmine katkısını gösterir, ancak adım adım hesaplar. Aynı oyun benzetmesini yeniden kullanalım: Boş bir takımla başlarız, tahmine en çok katkıyı yapacak özellik değerini ekleriz ve tüm özellik değerleri eklenene kadar tekrarlamaya devam ederiz. Her özellik değerinin ne kadar katkıda bulunduğu, zaten “takım”da bulunan özellik değerlerine bağlıdır; bu da breakDown yönteminin en büyük dezavantajıdır. Shapley değerine göre daha hızlıdır ve etkileşimlerin olmadığı modellerde sonuçlar aynıdır.

---

Shapley, Lloyd S. “A value for n-person games.” Contributions to the Theory of Games 2.28 (1953): 307-317.↩︎

Štrumbelj, Erik, and Igor Kononenko. “Explaining prediction models and individual predictions with feature contributions.” Knowledge and information systems 41.3 (2014): 647-665.↩︎

Lundberg, Scott M., and Su-In Lee. “A unified approach to interpreting model predictions.” Advances in Neural Information Processing Systems (2017).↩︎

Sundararajan, Mukund, and Amir Najmi. “The many Shapley values for model explanation.” arXiv preprint arXiv:1908.08474 (2019).↩︎

Janzing, Dominik, Lenon Minorics, and Patrick Blöbaum. “Feature relevance quantification in explainable AI: A causal problem.” International Conference on Artificial Intelligence and Statistics. PMLR (2020).↩︎

Staniak, Mateusz, and Przemyslaw Biecek. “Explanations of model predictions with live and breakDown packages.” arXiv preprint arXiv:1804.01955 (2018).↩︎