8.6 Küresel Vekil Modeli (Global Surrogate)

Küresel bir vekil model, bir kara kutu modelinin tahminlerini yaklaşık olarak temsil etmek için eğitilmiş, yorumlanabilir bir modeldir. Kara kutu modeli hakkında sonuçlara, vekil modeli yorumlayarak ulaşabiliriz. Makine öğreniminde yorumlanabilirliği, daha fazla makine öğrenimi kullanarak çözmek!

8.6.1 Teori Vekil modeller mühendislikte de kullanılır: Eğer ilgi duyulan bir sonuç pahalı, zaman alıcı ya da başka bir şekilde ölçülmesi zor (örneğin, karmaşık bir bilgisayar simülasyonundan kaynaklanıyorsa) ise, bu sonucun ucuz ve hızlı bir vekil modeli kullanılabilir. Mühendislikte kullanılan vekil modeller ile yorumlanabilir makine öğrenimindeki vekil modeller arasındaki fark, altta yatan modelin bir makine öğrenim modeli (simülasyon değil) olması ve vekil modelin yorumlanabilir olması gerektiğidir. Yorumlanabilir vekil modellerin amacı, altta yatan modelin tahminlerini olabildiğince doğru bir şekilde yaklaşık olarak temsil etmek ve aynı zamanda yorumlanabilir olmaktır. Vekil model kavramı farklı isimler altında bulunabilir: Yaklaşım modeli, metamodel, yanıt yüzeyi modeli, emülatör, …

Teori hakkında: Vekil modelleri anlamak için aslında çok fazla teoriye gerek yok. Kara kutu tahmin fonksiyonumuz ff'yi, yorumlanabilir gg fonksiyonu altında olabildiğince yakından yaklaşık olarak temsil etmek istiyoruz, ancak gg yorumlanabilir olma kısıtına sahiptir. Fonksiyon gg için yorumlanabilir modeller bölümünden herhangi bir model kullanılabilir.

Örneğin bir doğrusal model:

$$g(x)=\beta_0+\beta_1{}x_1{}+\ldots+\beta_p{}x_p$$

Ya da bir karar ağacı modeli:

$$g(x)=\sum_{m=1}^Mc_m{}I\{x\in{}R_m\}$$

Bir vekil modeli eğitmek, modelden bağımsız bir yöntemdir, çünkü kara kutu modelinin iç işleyişi hakkında herhangi bir bilgi gerektirmez, yalnızca verilere ve tahmin fonksiyonuna erişim yeterlidir. Altta yatan makine öğrenim modeli başka bir modelle değiştirilse bile, vekil yöntemini yine kullanabilirsiniz. Kara kutu model türü ve vekil model türü seçimi birbirinden bağımsızdır.

Bir vekil model elde etmek için şu adımları izleyin:

1. Bir veri seti XX seçin. Bu, kara kutu modelinin eğitimi için kullanılan veri seti ya da aynı dağılımdan alınan yeni bir veri seti olabilir. Uygulamanıza bağlı olarak verinin bir alt kümesini ya da bir nokta ızgarasını da seçebilirsiniz.

2. Seçilen veri seti XX için kara kutu modelinin tahminlerini alın.

3. Yorumlanabilir bir model türü seçin (doğrusal model, karar ağacı, …).

4. Yorumlanabilir modeli, veri seti XX ve kara kutu modelinin tahminleri üzerinde eğitin.

5. Tebrikler! Artık bir vekil modele sahipsiniz.

6. Vekil modelin kara kutu modelin tahminlerini ne kadar iyi tekrar ettiğini ölçün.

7. Vekil modeli yorumlayın.

Vekil modeller için bazı ek adımlara sahip veya biraz farklı yaklaşımlar bulabilirsiniz, ancak genel fikir genellikle burada açıklandığı gibidir.

Vekilin kara kutu modeli ne kadar iyi tekrar ettiğini ölçmenin bir yolu, R-kare ölçüsüdür:

$$R^2=1-\frac{SSE}{SST}=1-\frac{\sum_{i=1}^n(\hat{y}_*^{(i)}-\hat{y}^{(i)})^2}{\sum_{i=1}^n(\hat{y}^{(i)}-\bar{\hat{y}})^2}$$

Burada, $y^{(i)}_∗$ , vekil modelin ii-inci örnek için tahmini, $\hat{y}(i)$, kara kutu modelin tahmini ve $\overline{\hat{y}}$, kara kutu model tahminlerinin ortalamasıdır.

SSE, kareler toplamı hatasını (sum of squares error) ve SST, toplam kareler toplamını (sum of squares total) ifade eder. R-kare ölçüsü, vekil modelin yakaladığı varyans yüzdesi olarak yorumlanabilir. Eğer R-kare 1'e yakınsa (SSE düşük), yorumlanabilir model kara kutu modelin davranışını çok iyi şekilde yaklaşıklar. Yorumlanabilir model kara kutu modele çok yakınsa, karmaşık modeli yorumlanabilir modelle değiştirmek isteyebilirsiniz. Eğer R-kare 0'a yakınsa (SSE yüksek), yorumlanabilir model kara kutu modeli açıklamada başarısızdır.

Dikkat edilmesi gereken bir nokta, kara kutu modelin temel performansından, yani gerçek sonuçları tahmin etmede ne kadar iyi ya da kötü olduğundan bahsetmemiş olmamızdır. Kara kutu modelin performansı, vekil modeli eğitmekte bir rol oynamaz. Vekil modelin yorumu hala geçerlidir, çünkü model hakkında ifadelerde bulunur, gerçek dünya hakkında değil. Ancak, kara kutu model kötü ise, yorumlanabilir vekil modelin yorumu da önemsiz hale gelir, çünkü kara kutu modelin kendisi önemsiz olur.

Orijinal verilerin bir alt kümesine dayalı bir vekil model de oluşturabiliriz ya da örnekleri yeniden ağırlıklandırabiliriz. Bu şekilde, vekil modelin girdisinin dağılımını değiştiririz, bu da yorumun odağını değiştirir (artık gerçekten küresel olmaz). Eğer veriyi belirli bir örneğe göre yerel olarak ağırlıklandırırsak (seçilen örneğe daha yakın olan örnekler daha yüksek ağırlık alır), örneğin bireysel tahmini açıklayabilen bir yerel vekil model elde ederiz. Yerel modeller hakkında daha fazla bilgiyi bir sonraki bölümde okuyabilirsiniz.

8.6.2 Örnek Vekil modelleri göstermek için bir regresyon ve bir sınıflandırma örneğini ele alacağız.

İlk olarak, hava durumu ve takvim bilgileri verilerek günlük kiralanan bisiklet sayısını tahmin etmek için bir destek vektör makinesi eğitiyoruz. Destek vektör makinesi çok yorumlanabilir değildir, bu yüzden destek vektör makinesinin davranışını yaklaşık olarak temsil etmek için yorumlanabilir model olarak bir CART karar ağacıyla bir vekil model eğitiyoruz.

Figür 8.28: Bisiklet kiralama veri seti üzerinde eğitilmiş bir destek vektör makinesinin tahminlerini yaklaşıklaştıran bir vekil ağacın terminal düğümleri. Düğümlerdeki dağılımlar, vekil ağacın sıcaklık 13 derece Santigrat'ın üzerinde olduğunda ve gün 2 yıllık dönemin ilerleyen dönemlerinde olduğunda kiralanan bisiklet sayısının daha fazla tahmin edildiğini gösteriyor (kesim noktası 435 gün).

Vekil modelin R-kare değeri (açıklanan varyans) 0.77’dir; bu, kara kutu modelin davranışını oldukça iyi şekilde yaklaşık olarak temsil ettiğini, ancak mükemmel olmadığını gösterir. Eğer uyum mükemmel olsaydı, destek vektör makinesini atabilir ve onun yerine ağacı kullanabilirdik.

İkinci örneğimizde, rastgele orman modeliyle serviks kanseri olasılığını tahmin ediyoruz. Yine, orijinal veri setiyle bir karar ağacı eğitiyoruz, ancak bu sefer rastgele ormanın tahminlerini sonuç olarak kullanıyoruz; veri setindeki gerçek sınıflar (sağlıklı vs. kanser) yerine.

Figür 8.29: Servikal kanser veri seti üzerinde eğitilmiş bir rastgele ormanın tahminlerini yaklaşıklaştıran bir vekil ağacın terminal düğümleri. Düğümlerdeki sayımlar, vekil ağacın düğümlerdeki black box modellerin sınıflandırmalarının sıklığını gösterir.

Vekil modelin R-kare değeri (açıklanan varyans) 0.19’dur. Bu, rastgele orman modelini iyi şekilde yaklaşık olarak temsil etmediğini ve karar ağacını kullanarak karmaşık model hakkında sonuç çıkarırken aşırı yorum yapmamamız gerektiğini gösterir.

8.6.3 Avantajlar

Vekil model yöntemi esnektir: Yorumlanabilir modeller bölümündeki herhangi bir model kullanılabilir. Bu, yalnızca yorumlanabilir modeli değil, aynı zamanda altta yatan kara kutu modelini de değiştirebileceğiniz anlamına gelir. Örneğin, karmaşık bir model oluşturup bunu şirketinizdeki farklı ekiplerle açıklıyorsunuz. Bir ekip doğrusal modellere aşina, diğer ekip ise karar ağaçlarını anlayabiliyor. Orijinal kara kutu modeli için iki vekil model (doğrusal model ve karar ağacı) eğitip iki farklı türde açıklama sunabilirsiniz. Daha iyi performans gösteren bir kara kutu model bulursanız, yorumlama yöntemini değiştirmenize gerek yoktur; aynı sınıf vekil modelleri kullanabilirsiniz.

Bu yaklaşımın çok sezgisel ve basit olduğunu söyleyebilirim. Bu, uygulamasını kolaylaştırdığı gibi veri bilimi veya makine öğrenimine aşina olmayan kişilere açıklamayı da kolaylaştırır.

R-kare ölçüsü ile vekil modellerimizin kara kutu tahminlerini ne kadar iyi yaklaşık olarak temsil ettiğini kolayca ölçebiliriz.

8.6.4 Dezavantajlar

Vekil modelin gerçek sonuçları hiç görmediği için model hakkında sonuçlar çıkarırken veriler hakkında sonuçlar çıkarmadığınızı bilmelisiniz.

R-kare için hangi eşik değerinin vekil modelin kara kutu modele yeterince yakın olduğundan emin olmamızı sağladığı net değildir. Açıklanan varyansın %80’i mi? %50’si mi? %99’u mu?

Vekil modelin kara kutu modele ne kadar yakın olduğunu ölçebiliriz. Ancak, diyelim ki model genel olarak yeterince yakın ama bazı veri alt kümeleri için oldukça iyi çalışırken diğer alt kümeler için geniş farklılıklar gösteriyor. Bu durumda basit model için yapılan yorumlama tüm veri noktaları için eşit derecede iyi olmaz.

Vekil olarak seçtiğiniz yorumlanabilir model, tüm avantaj ve dezavantajlarıyla birlikte gelir.

Bazı insanlar, genel olarak hiçbir modelin (doğrusal modeller ve karar ağaçları dahil) doğası gereği yorumlanabilir olmadığını ve yorumlanabilirlik yanılsamasına sahip olmanın tehlikeli olabileceğini savunur. Bu görüşü paylaşıyorsanız, elbette bu yöntem sizin için uygun değildir.

8.6.5 Yazılım Örnekler için iml R paketi kullandım. Eğer bir makine öğrenimi modeli eğitebiliyorsanız, vekil modelleri kendiniz de uygulayabilirsiniz. Basitçe, kara kutu modelin tahminlerini tahmin etmek için yorumlanabilir bir model eğitin.