9.1 Bireysel Koşullu Beklenti (Individual Conditional Expectation)

Bireysel Koşullu Beklenti (ICE) grafikleri, bir özelliğin değeri değiştiğinde, her bir örnek için tahminin nasıl değiştiğini gösteren bir çizgi sağlar.

Bir özelliğin ortalama etkisi için Partial Dependence Plot (PDP) küresel bir yöntemdir, çünkü belirli örneklere değil, genel bir ortalamaya odaklanır. Bireysel veri örnekleri için PDP’nin karşılığı, Bireysel Koşullu Beklenti (ICE) grafiği olarak adlandırılır (Goldstein ve arkadaşları, 2017). ICE grafiği, bir özelliğin tahmin üzerindeki bağımlılığını her bir örnek için ayrı ayrı görselleştirir ve bu da her bir örnek için bir çizgi ile sonuçlanır. PDP'de ise tek bir ortalama çizgi bulunur. PDP, bir ICE grafiğindeki çizgilerin ortalamasıdır.

Bir çizginin (ve bir örneğin) değerleri, diğer tüm özellikleri sabit tutarak, bu örneğin varyantlarını oluşturup, özelliğin değerini bir ızgaradan alınan değerlerle değiştirerek ve bu yeni oluşturulan örnekler için kara kutu modelle tahminler yaparak hesaplanabilir. Sonuç, bir örnek için ızgaradan alınan özellik değeri ve ilgili tahminlerle bir nokta kümesidir.

Bireysel beklentilere neden bakılmalı?

Bireysel beklentilere bakmak, PDP'nin gözden kaçırabileceği heterojen bir ilişkiyi ortaya çıkarabilir. PDP'ler, bir özellik ile tahmin arasındaki ortalama ilişkiyi gösterebilir. Ancak bu, yalnızca PDP'nin hesaplandığı özellik ile diğer özellikler arasındaki etkileşimler zayıf olduğunda iyi çalışır. Eğer etkileşimler varsa, ICE grafiği çok daha fazla içgörü sağlayabilir.

Daha resmi bir tanım:

ICE grafikleri, her bir örnek için, $\{(x_{S}^{(i)},x_{C}^{(i)})\}_{i=1}^N$, $\hat f_s^ {(i)}$ eğrisinin $x_s^{(i)}$'ye karşı $x_C^{(i)}$çizidirlmesiyle elde edilir.

9.1.1 Örnekler

Serviks kanseri veri setine geri dönelim ve her bir örnek için tahminin "Yaş" özelliğiyle nasıl ilişkili olduğunu inceleyelim. Bu analizde, bir kadının risk faktörlerine dayanarak kanser olasılığını tahmin eden bir rastgele orman modeli kullanacağız. Partial Dependence Plot (PDP)'da, kanser olasılığının 50 yaş civarında arttığını gördük, ancak bu veri setindeki her kadın için doğru mu? ICE grafiği, çoğu kadın için yaş etkisinin, 50 yaşında bir artış gösteren ortalama deseni takip ettiğini ortaya koyuyor. Ancak bazı istisnalar var: Genç yaşta yüksek tahmin edilen kanser olasılığına sahip az sayıda kadın için, tahmin edilen kanser olasılığı yaşla birlikte çok fazla değişmiyor.

Figür 9.1: Yaş tarafından servikal kanser olasılığının ICE grafiği. Her çizgi bir kadını temsil eder. Çoğu kadın için tahmin edilen kanser olasılığı yaş arttıkça artar. Tahmin edilen kanser olasılığı 0.4'in üzerinde olan bazı kadınlarda, yüksek yaşta tahmin değişmez.

Bir sonraki şekil, bisiklet kiralama tahminine ait ICE grafiklerini göstermektedir. Bu grafikte kullanılan tahmin modeli, bir rastgele orman (random forest) modelidir.

Figür 9.2: Hava koşullarına göre tahmin edilen bisiklet kiralamaları için ICE grafikler. Kısmi bağımlılık grafiklerinde gözlemlenen aynı etkiler gözlemlenebilir.

$$\{(x_{S}^{(i)},x_{C}^{(i)})\}_{i=1}^N$$

Tüm eğriler aynı yolu izliyormuş gibi görünüyor, dolayısıyla belirgin bir etkileşim bulunmuyor. Bu da PDP'nin, görüntülenen özellikler ile tahmin edilen bisiklet sayısı arasındaki ilişkileri özetlemek için zaten iyi bir yöntem olduğunu gösteriyor.

9.1.1.1 Merkezlenmiş ICE Grafiği

ICE grafikleriyle ilgili bir sorun, bireyler arasındaki eğrilerin farklı tahminlerle başlaması nedeniyle farklılık gösterip göstermediğini anlamanın zor olabilmesidir. Basit bir çözüm, eğrileri bir özelliğin belirli bir noktasında merkezlemek ve sadece bu noktaya olan tahmin farkını göstermektir. Ortaya çıkan grafik, merkezlenmiş ICE grafiği (c-ICE) olarak adlandırılır. Eğrileri özelliğin alt sınırına sabitlemek iyi bir seçimdir. Yeni eğriler şu şekilde tanımlanır:

$$\hat{f}_{cent}^{(i)}=\hat{f}^{(i)}-\mathbf{1}\hat{f}(x^{a},x^{(i)}_{C})$$

Burada 1, uygun sayıda boyuta sahip (genellikle bir veya iki) birler vektörüdür, $\hat{f}$, öğrenilmiş (eğitilmiş) modeldir, $x^a$ sabitleme noktasıdır (anchor point).

9.1.1.2 Örnek

Örneğin, serviks kanseri için yaş özelliğine ait ICE grafiğini ele alalım ve eğrileri gözlemlenen en genç yaşa göre merkezleyelim.

Figür 9.3: Yaş tarafından tahmin edilen kanser olasılığı için merkezlenmiş ICE grafiği. Çizgiler, 14 yaşında 0'a sabitlenmiştir. 14 yaşına kıyasla, çoğu kadın için tahminler 45 yaşına kadar değişmeden kalır ve tahmin edilen olasılık artar.

Merkezlenmiş ICE grafikleri, bireysel örneklerin eğrilerini karşılaştırmayı kolaylaştırır. Bu, tahmin edilen bir değerin mutlak değişimini değil, bir özellik aralığının sabit bir noktasına kıyasla tahmindeki farkı görmek istediğimiz durumlarda faydalı olabilir.

Şimdi, bisiklet kiralama tahmini için merkezlenmiş ICE grafiklerine bakalım:

Figür 9.4: Hava koşullarına göre tahmin edilen bisiklet sayısı için merkezlenmiş ICE grafikler. Çizgiler, ilgili özellik değerinin gözlemlenen minimumundaki tahmin ile karşılaştırıldığında tahminde oluşan farkı gösterir.

9.1.1.3 Türev ICE Grafiği (Derivative ICE Plot)

Heterojenliği görsel olarak daha kolay fark etmenin bir başka yolu, bir özelliğe göre tahmin fonksiyonunun bireysel türevlerine bakmaktır. Ortaya çıkan grafik, türev ICE grafiği (d-ICE) olarak adlandırılır.

Bir fonksiyonun (veya eğrinin) türevleri, değişikliklerin olup olmadığını ve hangi yönde gerçekleştiğini gösterir. Türev ICE grafiği ile, kara kutu tahminlerinin (en azından bazı) örnekler için değiştiği özellik değer aralıklarını kolayca tespit edebilirsiniz.

Eğer analiz edilen özellik $x_s$ ile diğer özellikler $x_c$ arasında bir etkileşim yoksa, tahmin fonksiyonu şu şekilde ifade edilebilir:

$$\hat{f}(x)=\hat{f}(x_S,x_C)=g(x_S)+h(x_C),\quad\text{with}\quad\frac{\delta\hat{f}(x)}{\delta{}x_S}=g'(x_S)$$

Eğer etkileşimler yoksa, bireysel kısmi türevler tüm örnekler için aynı olmalıdır. Eğer türevler farklılık gösteriyorsa, bu etkileşimlerden kaynaklanır ve türev ICE (d-ICE) grafiğinde görünür hale gelir. Tahmin fonksiyonunun SS özelliğine göre türevinin bireysel eğrilerini göstermekle birlikte, türevin standart sapmasını da göstermek, SS özelliğindeki heterojenlik bölgelerini vurgulamaya yardımcı olur. Ancak, türev ICE grafiğinin hesaplanması uzun sürer ve oldukça pratik değildir.

9.1.2 Avantajlar

Bireysel koşullu beklenti eğrileri (ICE), partial dependence plotlara (PDP) kıyasla daha sezgisel bir şekilde anlaşılabilir. Bir çizgi, ilgi özelliği değiştirildiğinde bir örnek için yapılan tahminleri temsil eder.

Partial dependence plotlardan farklı olarak, ICE eğrileri heterojen ilişkileri ortaya çıkarabilir.

9.1.3 Dezavantajlar

ICE eğrileri yalnızca bir özelliği anlamlı bir şekilde gösterebilir, çünkü iki özellik birden fazla üst üste binen yüzeylerin çizilmesini gerektirir ve grafikte bir şey görmek mümkün olmaz.

ICE eğrileri, PDP'lerle aynı sorundan muzdariptir: İlgi özelliği diğer özelliklerle ilişkiliyse, çizgilerdeki bazı noktalar, özelliklerin ortak dağılımına göre geçersiz veri noktaları olabilir.

Çok sayıda ICE eğrisi çizilirse, grafik aşırı kalabalık hale gelir ve bir şey göremezsiniz. Çözüm: Çizgilere biraz şeffaflık eklemek veya yalnızca çizgilerin bir örneklemini çizmek.

ICE grafiklerinde ortalamayı görmek zor olabilir. Basit çözüm: Bireysel koşullu beklenti eğrilerini partial dependence plot ile birleştirmek.

9.1.4 Yazılım ve Alternatifler

ICE grafikleri, R paketlerinden iml (bu örneklerde kullanılmıştır), ICEbox ve pdp'de uygulanmıştır. ICE’ye çok benzeyen bir şey yapan bir diğer R paketi condvis’dir. Python’da, partial dependence plotlar scikit-learn 0.24.0 ve sonraki sürümlerde yerleşik olarak mevcuttur.

---

Goldstein, Alex, Adam Kapelner, Justin Bleich, and Emil Pitkin. “Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation.” journal of Computational and Graphical Statistics 24, no. 1 (2015): 44-65.↩︎

Goldstein, Alex, Adam Kapelner, Justin Bleich, and Maintainer Adam Kapelner. “Package ‘ICEbox’.” (2017).↩︎