3.1 Yorumlanabilirliğin Önemi
Last updated
Last updated
Eğer bir makine öğrenimi modeli iyi performans gösteriyorsa, neden modeli sadece güveniyor ve belirli bir kararı neden verdiğini göz ardı etmiyoruz? “Sorun, sınıflandırma doğruluğu gibi tek bir metriğin, çoğu gerçek dünya görevinin eksik bir tanımı olmasıdır.” (Doshi-Velez ve Kim 2017 6)
Yorumlanabilirliğin neden bu kadar önemli olduğunu daha derinlemesine inceleyelim. Tahminsel modelleme söz konusu olduğunda, bir takas yapmanız gerekir: Sadece neyin tahmin edildiğini mi bilmek istiyorsunuz? Örneğin, bir müşterinin aboneliğini bırakma olasılığı veya bir ilacın bir hasta için ne kadar etkili olacağı. Yoksa tahminin neden yapıldığını mı bilmek istiyorsunuz ve muhtemelen yorumlanabilirlik için tahmin performansında bir düşüş ödemeyi mi kabul ediyorsunuz? Bazı durumlarda, bir kararın neden verildiği umursamazsınız, sadece test veri setindeki tahmin performansının iyi olduğunu bilmek yeterlidir. Ancak diğer durumlarda, 'neden'i bilmek, problemi, verileri ve bir modelin neden başarısız olabileceğini daha iyi anlamanıza yardımcı olabilir. Bazı modeller, düşük riskli bir ortamda kullanıldıkları için açıklamalara ihtiyaç duymayabilirler, yani bir hata ciddi sonuçlar doğurmaz (örneğin, bir film öneri sistemi) veya yöntem zaten kapsamlı bir şekilde incelenmiş ve değerlendirilmiştir (örneğin, optik karakter tanıma). Yorumlanabilirliğe duyulan ihtiyaç, problem formülasyonundaki eksiklikten kaynaklanmaktadır (Doshi-Velez ve Kim 2017), bu da belirli problemler veya görevler için tahminin (neyin) yeterli olmadığını, modelin tahmine nasıl ulaştığını da açıklaması gerektiği anlamına gelir (neden). Çünkü doğru bir tahmin, orijinal probleminizi yalnızca kısmen çözer. Aşağıdaki nedenler, yorumlanabilirlik ve açıklamalara olan talebi artırmaktadır (Doshi-Velez ve Kim 2017 ve Miller 2017).
İnsan Merakı ve Öğrenme: İnsanların, beklenmedik bir şey olduğunda güncellenen çevrelerinin zihinsel bir modeli vardır. Bu güncelleme, beklenmedik olaya bir açıklama bularak gerçekleştirilir. Örneğin, bir insan beklenmedik bir şekilde hasta hisseder ve "Neden bu kadar hasta hissediyorum?" diye sorar. Her seferinde o kırmızı meyveleri yediğinde hasta olduğunu öğrenir. Zihinsel modelini günceller ve meyvelerin hastalığa neden olduğunu ve bu yüzden kaçınılması gerektiğine karar verir. Opak makine öğrenimi modelleri araştırmalarda kullanıldığında, model sadece tahminler veriyorsa ve açıklamalar sağlamıyorsa bilimsel bulgular tamamen gizli kalır. Öğrenmeyi kolaylaştırmak ve makinelerin neden belirli tahminler veya davranışlar oluşturduğunu merak etmeyi tatmin etmek için yorumlanabilirlik ve açıklamalar çok önemlidir. Tabii ki, insanlar olan her şey için açıklamalara ihtiyaç duymazlar. Çoğu insanın, bir bilgisayarın nasıl çalıştığını anlamaması sorun değil. Beklenmedik olaylar bizi meraklandırır. Örneğin: Neden bilgisayarım beklenmedik bir şekilde kapanıyor?
Öğrenmeye Yakın Olan İnsanların Dünyada Anlam Bulma İsteği: İnsanların dünyada anlam bulma arzusu öğrenmeye yakındır. Bilgi yapılarımızın öğeleri arasında çelişkileri veya tutarsızlıkları uyumlu hale getirmek isteriz. “Neden köpeğim beni ısırdı, daha önce hiç yapmadığı halde?” diye sorabilir bir insan. Köpeğin geçmiş davranış bilgisi ile ısırmanın yeni, hoş olmayan deneyimi arasında bir çelişki vardır. Veteriner hekimin açıklaması, köpek sahibinin çelişkisinin uzlaşmasını sağlar: “Köpek stres altındaydı ve ısırdı.” Bir makinenin kararı bir kişinin hayatını ne kadar çok etkilerse, makinenin davranışını açıklaması o kadar önemli hale gelir. Bir makine öğrenimi modeli bir kredi başvurusunu reddediyorsa, bu başvuru sahipleri için tamamen beklenmedik olabilir. Başvuru sahipleri, beklenti ile gerçeklik arasındaki bu tutarsızlığı bir tür açıklama ile sadece uzlaştırabilirler. Açıklamalar aslında durumu tam olarak açıklamak zorunda değildir, ancak ana bir nedeni ele almalıdır. Başka bir örnek, algoritmik ürün önerisidir. Kişisel olarak, neden belirli ürünlerin veya filmlerin bana algoritmik olarak önerildiğini her zaman düşünürüm. Genellikle oldukça açıktır: Reklamlar, yakın zamanda bir çamaşır makinesi aldığım için beni internet üzerinde takip eder ve sonraki günlerde çamaşır makineleri için reklamlar tarafından takip edileceğimi bilirim. Evet, alışveriş sepetimde zaten bir kış şapkası varsa eldiven önermek mantıklıdır. Algoritma bu filmi, benim beğendiğim diğer filmleri beğenen kullanıcıların da önerilen filmi beğendiği için önerir. Artan bir şekilde, internet şirketleri önerilerine açıklamalar eklemektedir. İyi bir örnek, sıkça satın alınan ürün kombinasyonlarına dayanan ürün önerileridir:
Çok sayıda bilimsel disiplinde nitel yöntemlerden nicel yöntemlere (örneğin, sosyoloji, psikoloji) ve ayrıca makine öğrenimine (biyoloji, genomik) doğru bir değişim vardır. Bilimin amacı bilgi kazanmaktır, ancak birçok problem büyük veri setleri ve black box makine öğrenimi modelleri ile çözülmektedir. Modelin kendisi, verilerin yerine bilginin kaynağı haline gelir. Yorumlanabilirlik, model tarafından yakalanan bu ek bilgiyi çıkarmayı mümkün kılar.
Makine Öğrenimi Modelleri Güvenlik Önlemleri ve Test Gerektiren Gerçek Dünya Görevlerini Üstlenir. Otomatik sürüş yapan bir araba, derin öğrenme sistemi temelinde bisikletlileri otomatik olarak tespit ettiğini hayal edin. Sistemin öğrendiği soyutlamanın hatasız olduğundan %100 emin olmak istersiniz, çünkü bisikletçilere çarpmak oldukça kötüdür. Bir açıklama, öğrenilen en önemli özelliğin bir bisikletin iki tekerleğini tanımak olduğunu ortaya koyabilir ve bu açıklama, tekerlekleri kısmen kaplayan yan çantalı bisikletler gibi sınır durumlarını düşünmenize yardımcı olabilir.
Varsayılan Olarak, Makine Öğrenimi Modelleri Eğitim Verilerindeki Önyargıları Alır. Bu, makine öğrenimi modellerinizi az temsil edilen gruplara karşı ayrımcılık yapan ırkçı modellere dönüştürebilir. Yorumlanabilirlik, makine öğrenimi modellerindeki önyargıları tespit etmek için kullanışlı bir hata ayıklama aracıdır. Kredi başvurularını otomatik olarak onaylama veya reddetme için eğittiğiniz makine öğrenimi modelinin, tarihsel olarak oyundan mahrum bırakılmış bir azınlığa karşı ayrımcılık yapması mümkündür. Ana hedefiniz, kredileri sonunda geri ödeyecek olan kişilere vermektir. Bu durumda problem formülasyonundaki eksiklik, sadece kredi temerrütlerini minimize etmek istemekle kalmayıp, aynı zamanda belirli demografik özelliklere (örneğin, ırksal) dayanarak ayrımcılık yapmamak zorunda olmanızdadır. Bu, problem formülasyonunuzun bir parçası olan (düşük riskli ve uyumlu bir şekilde krediler vermek) ek bir kısıtlamadır ve makine öğrenimi modelinin optimize edildiği kayıp fonksiyonu tarafından kapsanmamaktadır.
Makineleri ve Algoritmaları Günlük Yaşamımıza Entegre Etme Süreci. Sosyal kabulü artırmak için yorumlanabilirlik gerektirir. İnsanlar, nesnelere inançlar, istekler, niyetler vb. atfederler. Ünlü bir deneyde, Heider ve Simmel (1944) katılımcılara, bir dairenin “kapıyı” açarak “oda”ya (sadece bir dikdörtgen) girdiği şekillerin videolarını gösterdi. Katılımcılar, şekillerin eylemlerini bir insan ajanının eylemlerini tanımlayacak şekilde açıkladı, şekillere niyetler ve hatta duygular ve kişilik özellikleri atadı. Robotlar iyi bir örnektir, örneğin "Doge" adını verdiğim elektrikli süpürgem. Doge sıkıştığında, "Doge temizlemeye devam etmek istiyor ama sıkıştığı için benden yardım istiyor" diye düşünürüm. Daha sonra, Doge temizlemeyi bitirdiğinde ve yeniden şarj olmak için ev tabanını aradığında, "Doge şarj olmak istiyor ve ev tabanını bulmayı planlıyor" diye düşünürüm. Ayrıca kişilik özellikleri atfederim: "Doge biraz aptal, ama sevimli bir şekilde." Bunlar, özellikle Doge'nin sadakatle evi süpürürken bir bitkiyi devirdiğini öğrendiğimde düşündüğüm şeylerdir. Tahminlerini açıklayan bir makine veya algoritma, daha fazla kabul görür. Ayrıca, açıklamaların sosyal bir süreç olduğunu savunan açıklamalar bölümüne de bakabilirsiniz.
Açıklamalar Sosyal Etkileşimleri Yönetmek İçin Kullanılır. Bir şeyin ortak bir anlamını yaratarak, açıklayıcı, açıklamanın alıcısının eylemlerini, duygularını ve inançlarını etkiler. Bir makinenin bizimle etkileşime geçebilmesi için duygularımızı ve inançlarımızı şekillendirmesi gerekebilir. Makineler bizi “ikna” etmek zorundadır, böylece amaçladıkları hedefe ulaşabilirler. Robot elektrikli süpürgemi, davranışını bir dereceye kadar açıklamazsa tamamen kabul etmezdim. Elektrikli süpürge, örneğin, bir “kaza”yı (yine banyodaki halıyı sıkışması gibi) açıklayarak ortak bir anlam yaratır, sadece durup yorum yapmadan çalışmayı durdurmak yerine. İlginç bir şekilde, açıklayan makinenin amacı (güven oluşturmak) ile alıcının amacı (tahmin veya davranışı anlamak) arasında bir uyumsuzluk olabilir. Belki de Doge'nin neden sıkıştığının tam açıklaması, pilin çok düşük olması, tekerleklerden birinin düzgün çalışmaması ve robotun engel olmasına rağmen aynı noktaya tekrar tekrar gitmesini sağlayan bir hatanın varlığı olabilir. Bu nedenler (ve birkaç tanesi daha) robotun sıkışmasına neden oldu, ancak sadece bir şeyin yolunda olduğunu açıkladı ve bu, davranışına güvenmem ve o kazanın ortak anlamını elde etmem için yeterliydi. Bu arada, Doge tekrar banyoda sıkıştı. Her seferinde Doge'yi süpürmeden önce halıları çıkarmamız gerekiyor.
Makine Öğrenimi Modelinin Kararları Açıklayabildiğini Sağlarsanız: Aşağıdaki özellikleri daha kolay kontrol edebilirsiniz (Doshi-Velez ve Kim 2017):
Adalet: Tahminlerin önyargısız olmasını ve az temsil edilen gruplara karşı örtük veya açık ayrımcılık yapmamasını sağlamak. Yorumlanabilir bir model, belirli bir kişinin neden kredi alamayacağını size söyleyebilir ve kararın öğrenilmiş demografik (örneğin, ırksal) önyargıya dayalı olup olmadığını insanın değerlendirmesini kolaylaştırır.
Gizlilik: Verilerdeki hassas bilgilerin korunmasını sağlamak.
Güvenilirlik veya Dayanıklılık: Girdilerdeki küçük değişikliklerin tahminde büyük değişikliklere yol açmadığını sağlamak.
Nedensellik: Sadece nedensel ilişkilerin alındığını kontrol etmek.
Güven: İnsanların, kararlarını açıklayan bir sisteme güvenmesi, black box bir sisteme göre daha kolaydır.
Yorumlanabilirliğe İhtiyaç Duyulmayan Durumlar:
Aşağıdaki senaryolar, makine öğrenimi modellerinin yorumlanabilirliğine ihtiyaç duyulmadığını veya hatta istenmediğini göstermektedir.
Modelin Önemli Bir Etkisi Yoksa Yorumlanabilirlik Gerekmez. Facebook verilerine dayalı olarak arkadaşlarının bir sonraki tatillerini nerede geçireceklerini tahmin etmek için bir makine öğrenimi yan projesi üzerinde çalışan Mike adında birini hayal edin. Mike, arkadaşlarını tatillerine nerede gideceklerine dair eğitilmiş tahminlerle şaşırtmayı seviyor. Modelin yanlış olması (en kötü ihtimalle Mike için biraz utanç) gerçek bir sorun değildir, modelin çıktısını açıklayamaması da bir sorun değildir. Bu durumda yorumlanabilirliğe sahip olmamak tamamen uygundur. Model bu tahminlere dayalı olarak bir iş kurmaya başladıysa durum değişir. Model yanlışsa, iş para kaybedebilir veya model, öğrenilmiş ırksal önyargılar nedeniyle bazı insanlar için daha kötü çalışabilir. Modelin finansal veya sosyal olarak önemli bir etkisi olduğu anda, yorumlanabilirlik ilgili hale gelir.
Problem İyi İncelendiğinde Yorumlanabilirlik Gerekmez. Bazı uygulamalar yeterince iyi incelenmiştir, böylece modelle ilgili yeterli pratik deneyim vardır ve modelle ilgili problemler zamanla çözülmüştür. İyi bir örnek, zarf görüntülerini işleyen ve adresleri çıkaran optik karakter tanıma için bir makine öğrenimi modelidir. Bu sistemler üzerinde yıllarca deneyim vardır ve çalıştıkları açıktır. Ayrıca, mevcut göreve dair ek içgörüler kazanmakla ilgilenmeyiz.
Yorumlanabilirlik, İnsanların veya Programların Sistemi Manipüle Etmesine Olanak Tanıyabilir. Sistemi aldatan kullanıcılarla ilgili problemler, yaratıcı ile modelin kullanıcıları arasındaki hedeflerin uyumsuzluğundan kaynaklanır. Kredi puanlama böyle bir sistemdir çünkü bankalar, kredilerin sadece geri ödeme olasılığı yüksek olan başvuru sahiplerine verilmesini sağlamak isterken, başvuru sahipleri bankanın istememesine rağmen krediyi almayı hedefler. Bu hedef uyumsuzluğu, başvuru sahiplerinin kredi alma şanslarını artırmak için sistemi manipüle etmeleri için teşvikler oluşturur. Bir başvuru sahibi, iki kredi kartından fazlasının puanını olumsuz etkilediğini biliyorsa, puanını artırmak için üçüncü kredi kartını geri verir ve kredi onaylandıktan sonra yeni bir kart düzenler. Puanı artarken, krediyi geri ödeme olasılığı gerçekte değişmemiş olur. Sistem, girdiler nedensel bir özellik için vekil ise ve sonucu gerçekten etkilemiyorsa manipüle edilebilir. Mümkün olduğunda, vekil özellikler kaçınılmalıdır çünkü bu, modellerin manipüle edilebilir olmasını sağlar. Örneğin, Google, grip salgınlarını tahmin etmek için Google Flu Trends adında bir sistem geliştirdi. Sistem, Google aramalarını grip salgınları ile ilişkilendirdi – ve kötü performans gösterdi. Arama sorgularının dağılımı değişti ve Google Flu Trends birçok grip salgınını kaçırdı. Google aramaları gribi tetiklemez. İnsanlar “ateş” gibi semptomları aradıklarında, bu sadece gerçek grip salgınları ile bir korelasyondur. İdeal olarak, modeller sadece nedensel özellikleri kullanır çünkü bunlar manipüle edilemez.
Doshi-Velez, Finale, and Been Kim. “Towards a rigorous science of interpretable machine learning,” no. Ml: 1–13. http://arxiv.org/abs/1702.08608 (2017).↩︎
Heider, Fritz, and Marianne Simmel. “An experimental study of apparent behavior.” The American Journal of Psychology 57 (2). JSTOR: 243–59. (1944).↩︎
