5.1 Doğrusal Regresyon (Linear Regression)

Bir doğrusal regresyon modeli hedef değişkenini girdilerin ağırlıklı toplamı olarak tahmin eder. Öğrenilen ilişkinin doğrusallığı yorumlamayı kolaylaştırır. Doğrusal regresyon modelleri uzun süredir istatistikçiler, bilgisayar mühendisleri ve sayısal problemlerle uğraşan diğer araştırmacılar tarafından uzun süredir kullanılmaktadır.

Doğrusal modeller, bir regresyon hedefi olan y’nin bazı özellikler x’e bağlılığını modellemek için kullanılabilir. Öğrenilen ilişkiler doğrusaldır ve tek bir örnek iii için aşağıdaki gibi yazılabilir;

$$y = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p + \epsilon$$

Bir örneğin tahmini sonucu, özelliklerinin ppp sayısının ağırlıklı bir toplamıdır. Betalar (βj) öğrenilen özellik ağırlıklarını veya katsayılarını temsil eder. Toplamdaki ilk ağırlığa (β0​) "kesişim" denir ve bir özellik ile çarpılmaz. Epsilon (ϵ) ise tahminde yapılan hata olup, tahmin ile gerçek sonuç arasındaki farktır. Bu hataların pozitif ve negatif yönlerde gerçekleşen, çoğunlukla küçük ve nadiren büyük hataların yapıldığı bir Gauss dağılımına uyduğu varsayılır.

Optimal ağırlıkları tahmin etmek için çeşitli yöntemler kullanılabilir. Genellikle en küçük kareler yöntemi kullanılarak, gerçek sonuçlar ile tahmin edilen sonuçlar arasındaki kare farklarını en aza indiren ağırlıklar bulunur:

$$\hat{\boldsymbol{\beta}}=\arg \min _{\beta_0, \ldots, \beta_p} \sum_{i=1}^n\left(y^{(i)}-\left(\beta_0+\sum_{j=1}^p \beta_j x_j^{(i)}\right)\right)^2$$

Optimal ağırlıkların nasıl bulunduğunu ayrıntılı olarak tartışmayacağız; ancak ilginizi çekiyorsa, Friedman, Hastie ve Tibshirani'nin "The Elements of Statistical Learning" (2009) adlı kitabının 3.2. bölümünü veya doğrusal regresyon modelleri üzerine çevrimiçi kaynaklardan birini inceleyebilirsiniz.

Doğrusal regresyon modellerinin en büyük avantajı doğrusallıktır: Bu, tahmin prosedürünü basitleştirir ve en önemlisi, bu doğrusal denklemler modüler düzeyde (örneğin, ağırlıklar) anlaşılması kolay bir yoruma sahiptir. Bu, doğrusal modelin ve benzer modellerin tıp, sosyoloji, psikoloji gibi akademik alanlarda ve diğer birçok nicel araştırma alanında bu kadar yaygın kullanılmasının ana nedenlerinden biridir. Örneğin, tıp alanında, yalnızca bir hastanın klinik sonucunu tahmin etmek değil, aynı zamanda ilacın etkisini nicelendirmek ve bunu yaparken cinsiyet, yaş gibi diğer özellikleri de anlaşılır bir şekilde hesaba katmak önemlidir.

Tahmin Edilen Ağırlıkların Güven Aralıkları

Tahmin edilen ağırlıklar, güven aralıklarıyla birlikte gelir. Güven aralığı, belirli bir güvenle "gerçek" ağırlığı kapsayan bir tahmin aralığıdır. Örneğin, bir ağırlığın %95 güven aralığı 2 ise, bu aralık 1 ile 3 arasında olabilir. Bu aralığın yorumu şu şekildedir: Eğer tahmini yeni örnekleme verileriyle 100 kez tekrar edersek, doğrusal regresyon modelinin veri için doğru model olduğu varsayımı altında güven aralığı gerçek ağırlığı 100 durumdan 95’inde içerecektir.

Bir modelin "doğru" model olup olmadığı, verilerdeki ilişkilerin belirli varsayımları karşılayıp karşılamamasına bağlıdır. Bu varsayımlar şunlardır: doğrusallık, normallik, homoskedastiklik, bağımsızlık, sabit özellikler ve çoklu doğrusallığın olmaması.

Doğrusallık

Doğrusal regresyon modeli, tahmini bir özelliklerin doğrusal bir kombinasyonu olmaya zorlar, bu hem en büyük gücü hem de en büyük sınırlamasıdır. Doğrusallık, yorumlanabilir modeller oluşturmaya yol açar. Doğrusal etkiler kolayca nicelenebilir ve tanımlanabilir. Bu etkiler toplamsaldır; dolayısıyla etkileri birbirinden ayırmak kolaydır. Özellik etkileşimleri veya bir özellik ile hedef değer arasında doğrusal olmayan bir ilişki olduğundan şüpheleniyorsanız, etkileşim terimleri ekleyebilir veya regresyon splinelerini kullanabilirsiniz.

Normallik

Özellikler verildiğinde hedef sonucun normal dağılıma uyduğu varsayılır. Bu varsayım ihlal edilirse, özellik ağırlıklarının tahmin edilen güven aralıkları geçerli olmaz.

Homoskedastiklik (Sabit Varyans)

Hata terimlerinin varyansının tüm özellik uzayında sabit olduğu varsayılır. Örneğin, bir evin değerini metrekaresine göre tahmin etmek istiyorsanız, doğrusal bir model tahmin edilen yanıt etrafındaki hatanın evin büyüklüğünden bağımsız olarak aynı varyansa sahip olduğunu varsayar. Ancak, ev büyüdükçe fiyatının da artması ve fiyat dalgalanmalarına daha fazla yer olması nedeniyle hata terimleri etrafındaki varyansın daha büyük evlerde daha yüksek olması beklenebilir. Doğrusal regresyon modelinizdeki ortalama hata 50.000 Euro ise, homoskedastiklik varsayımı yaparak 50.000'lik ortalama hatanın hem 1 milyon Euro’luk evler hem de yalnızca 40.000 Euro’luk evler için geçerli olduğunu varsayarsınız. Bu mantıksız olur çünkü bu, negatif ev fiyatlarını öngörmeyi beklemeniz anlamına gelir.

Bağımsızlık

Her bir örneğin diğer herhangi bir örnekten bağımsız olduğu varsayılır. Örneğin, bir hastanın birden fazla kan testi gibi tekrarlanan ölçümler yaptığınızda veri noktaları bağımsız değildir. Bağımlı veriler için, karma etki modelleri veya GEEs gibi özel doğrusal regresyon modelleri kullanmanız gerekir. "Normal" doğrusal regresyon modelini kullanırsanız, modelden yanlış sonuçlar çıkarabilirsiniz.

Sabit Özellikler

Girdi özelliklerinin "sabit" olduğu varsayılır. Sabit, özelliklerin "verili sabitler" olarak kabul edilmesi ve istatistiksel değişkenler olarak ele alınmaması anlamına gelir. Bu, özelliklerin ölçüm hatalarından arınmış olduğu varsayımını getirir. Bu, oldukça gerçek dışı bir varsayımdır. Bu varsayım olmadan, özelliklerinizin ölçüm hatalarını hesaba katan çok karmaşık ölçüm hatası modelleri oluşturmanız gerekecektir ve genellikle bunu yapmak istemezsiniz.

Çoklu Doğrusallığın Olmaması

Ağırlık tahminlerini karmaşık hale getirdiği için güçlü bir şekilde ilişkili özellikler istemezsiniz. İki özellik güçlü bir şekilde ilişkili olduğunda, ağırlıkları tahmin etmek sorunlu hale gelir çünkü özellik etkileri toplamsaldır ve etkileri ilişkili özelliklerden hangisine atfetmeniz gerektiği belirsiz hale gelir.

---

5.1.1 Yorumlama Doğrusal regresyon modelindeki bir ağırlığın yorumu, karşılık gelen özelliğin türüne bağlıdır.

Sayısal Özellik: Sayısal özelliğin bir birim artırılması, tüm diğer özellikler sabit kalırken, tahmin edilen sonucu ağırlığı kadar değiştirir. Örneğin, sayısal bir özellik olarak bir evin büyüklüğünü ele alabiliriz.

İkili Özellik: Her örnek için iki olası değerden birini alan bir özelliktir. Örneğin, “Evin bahçesi var mı?” özelliği ikili bir özelliktir. Değerlerden biri referans kategorisi olarak kabul edilir (bazı programlama dillerinde “0” ile kodlanır), örneğin “Bahçe yok”. Özellik referans kategorisinden diğer kategoriye değiştirildiğinde tahmin edilen sonuç özellik ağırlığı kadar değişir.

Birden Fazla Kategoriye Sahip Kategorik Özellik: Sabit sayıda olası değere sahip bir özelliktir. Örneğin, "zemin tipi" özelliği için "halı", "laminat" ve "parke" kategorileri vardır. Birden çok kategoriyle başa çıkmak için kullanılan bir çözüm, her kategorinin kendi ikili sütununa sahip olduğu one-hot-encoding yöntemidir. L kategoriye sahip bir kategorik özellik için yalnızca L-1 sütuna ihtiyacınız vardır; çünkü L. sütun, fazladan bilgi taşıyacaktır (örneğin, bir örnek için sütunlar 1'den L-1'e kadar 0 değeri aldığında, bu örneğin kategorik özelliğinin L kategorisini aldığı bilinir). Her kategori için yorumlama, ikili özellikler için yapılan yorumlamayla aynıdır. R gibi bazı diller, kategorik özellikleri farklı şekillerde kodlamanıza olanak tanır ve bu bölümde daha sonra açıklanacaktır.

Kesişim (Intercept) ($\beta_0$) : Kesişim, "sabit özellik" için ağırlığı ifade eder ve bu sabit özellik tüm örnekler için her zaman 1'dir. Çoğu yazılım paketi, kesişimi tahmin edebilmek için bu “1” özelliğini otomatik olarak ekler. Yorumlanışı şu şekildedir: Tüm sayısal özelliklerin değeri sıfır olduğunda ve kategorik özellikler referans kategorilerdeyken, model tahmini kesişim ağırlığına eşittir. Kesişimin yorumu genellikle anlamlı değildir çünkü tüm özellik değerlerinin sıfır olduğu durumlar çoğu zaman mantıklı değildir. Kesişim yorumu, yalnızca özellikler standartlaştırıldığında (ortalama sıfır, standart sapma bir) anlamlı hale gelir. Bu durumda kesişim, tüm özelliklerin ortalama değerlerine sahip bir örnek için tahmin edilen sonucu yansıtır.

Doğrusal Regresyon Modelinde Özelliklerin Yorumu

Özelliklerin yorumlanması, aşağıdaki metin şablonları kullanılarak otomatikleştirilebilir.

Sayısal Özelliklerin Yorumu Bir sayısal özellik $x_k$ bir birim artırıldığında, diğer tüm özellik değerleri sabit kaldığında, $y$ tahmini $\beta_k$​ birim artar.

Kategorik Özelliklerin Yorumu Bir kategorik özellik $x_k$ referans kategorisinden diğer kategoriye değiştirildiğinde, diğer tüm özellikler sabit kaldığında, $y$ tahmini $\beta_k$​ kadar artar.

Doğrusal modelleri yorumlamak için önemli bir diğer ölçüm R-kare $R^2$ değeridir. R-kare, modelin hedef çıktının toplam varyansının ne kadarını açıkladığını belirtir. R-kare ne kadar yüksekse, model veriyi o kadar iyi açıklar. R-kareyi hesaplama formülü şu şekildedir:

$$R^2=1-SSE/SST$$

HKT (Hata Kareler Toplamı) - SSE (Sum of Squared Errors): Hata terimlerinin karelerinin toplamıdır.

$$SSE=\sum_{i=1}^n(y^{(i)}-\hat{y}^{(i)})^2$$

TKK (Toplam Kareler Toplamı)-SST (Sum of Squared Totals): Verinin toplam varyansının kareleri toplamıdır.

$$SST=\sum_{i=1}^n(y^{(i)}-\bar{y})^2$$

SSE (Hata Kareleri Toplamı), doğrusal model uygulandıktan sonra ne kadar varyansın kaldığını gösterir ve bu, tahmin edilen değerler ile gerçek hedef değerler arasındaki kare farkları ile ölçülür. SST (Toplam Kareler Toplamı) ise hedef çıktının toplam varyansını ifade eder. R-kare (R-squared), doğrusal modelin bu varyansın ne kadarını açıklayabildiğini belirtir. R-kare, modelin veriyi hiç açıklamadığı durumlarda 0 ile verideki tüm varyansı açıkladığı durumlarda 1 arasında değişir. Ancak, matematiksel kuralları ihlal etmeden R-kare negatif bir değer de alabilir. Bu, SSE'nin SST'den büyük olduğu durumlarda ortaya çıkar; yani model, verideki trendi yakalayamaz ve hedefin ortalamasını tahmin olarak kullanmaktan daha kötü bir uyum sağlar.

Burada bir püf noktası var: R-kare, modeldeki özellik sayısı arttıkça artar; bu, özellikler hedef değer hakkında herhangi bir bilgi içermese bile geçerlidir. Bu nedenle, modelde kullanılan özellik sayısını hesaba katan düzeltilmiş R-kare (adjusted R-squared) kullanmak daha iyidir. Bunun hesaplama formülü şöyledir:

$$\bar{R}^2=1-(1-R^2)\frac{n-1}{n-p-1}$$

Burada, p özellik sayısını, n ise örnek sayısını temsil eder.

Düşük (düzeltilmiş) R-kare değerine sahip bir modeli yorumlamak anlamlı değildir, çünkü böyle bir model, temelde varyansın büyük bir kısmını açıklamaz. Bu durumda ağırlıkların herhangi bir yorumu da anlamlı olmayacaktır.

Özellik Önemini Belirleme

Doğrusal regresyon modelinde bir özelliğin önemi, t-istatistiğinin mutlak değeri ile ölçülebilir. T-istatistiği, tahmin edilen ağırlığın standart hatası ile ölçeklendirilmiş halidir:

$$t_{\hat{\beta}_j}=\frac{\hat{\beta}_j}{SE(\hat{\beta}_j)}$$

Bu formül bize şunu söyler: Bir özelliğin önemi, ağırlık arttıkça artar. Bu mantıklıdır çünkü tahmin edilen ağırlığın varyansı ne kadar büyükse (yani doğru değerden ne kadar emin olmadığımızı gösterir), o kadar az önemli hale gelir.

5.1.2 Örnek

Bu örnekte, hava durumu ve takvim bilgilerine dayanarak belirli bir günde kiralanan bisiklet sayısını tahmin etmek için doğrusal regresyon modelini kullanıyoruz. Yorumlama için, tahmin edilen regresyon ağırlıklarını inceliyoruz. Özellikler, sayısal ve kategorik özelliklerden oluşmaktadır. Her bir özellik için, tablo tahmin edilen ağırlığı, tahminin standart hatasını (SE) ve t-istatistiğinin mutlak değerini (|t|) göstermektedir.

	Katsayı	Standard Hata	|t|
(Intercept)	2399.4	238.3	10.1
seasonSPRING	899.3	122.3	7.4
seasonSUMMER	138.2	161.7	0.9
seasonFALL	425.6	110.8	3.8
holidayHOLIDAY	-686.1	203.3	3.4
workingdayWORKING DAY	124.9	73.3	1.7
weathersitMISTY	-379.4	87.6	4.3
weathersitRAIN/SNOW/STORM	-1901.5	223.6	8.5
temp	110.7	7.0	15.7
hum	-17.4	3.2	5.5
windspeed	-42.5	6.9	6.2
days_since_2011	4.9	0.2	28.5

Sayısal bir özelliğin yorumu (sıcaklık): Sıcaklığın 1 derece Celsius artması, diğer tüm özellikler sabit kaldığında, tahmin edilen bisiklet sayısını 110.7 birim artırır.

Kategorik bir özelliğin yorumu (“weathersit”): Yağmur, kar veya fırtına olduğunda tahmin edilen bisiklet sayısı, iyi hava durumuna kıyasla 1901.5 birim daha düşüktür. Diğer tüm özellikler sabit kaldığında, hava sisli olduğunda tahmin edilen bisiklet sayısı iyi havaya göre 379.4 birim daha azdır.

Önemli Not: Tüm yorumlar her zaman “diğer tüm özellikler sabit kaldığında” ifadesiyle birlikte gelmelidir. Bu, doğrusal regresyon modellerinin doğası gereğidir. Tahmin edilen hedef, ağırlıklı özelliklerin doğrusal bir kombinasyonudur. Tahmin edilen doğrusal denklem, özellik/hedef uzayında bir hiper düzlemdir (tek bir özellik durumunda basit bir çizgi). Ağırlıklar, hiper düzlemin her yöndeki eğimini (gradyan) belirler. Olumlu tarafı, toplamsallık, bireysel bir özelliğin etkisinin diğer tüm özelliklerden bağımsız olarak yorumlanmasını sağlar. Bu, denklemin içindeki tüm özellik etkilerinin (ağırlık çarpı özellik değeri) artı işareti ile birleştirilmesiyle mümkün olur. Ancak olumsuz tarafı, özelliklerin ortak dağılımını göz ardı eder. Bir özelliği artırmak, ancak diğerini değiştirmemek, gerçekçi olmayan veya en azından olası olmayan veri noktalarına yol açabilir. Örneğin, oda sayısını artırmak, evin boyutunu artırmadan gerçekçi olmayabilir.

---

5.1.3 Görsel Yorumlama

Doğrusal regresyon modelini insanlar için kolay ve hızlı bir şekilde kavranabilir hale getiren çeşitli görselleştirme yöntemleri mevcuttur.

5.1.3.1 Ağırlık Grafiği (Weight Plot)

Ağırlık tablosundaki (ağırlık ve varyans tahminleri) bilgiler, bir ağırlık grafiğinde görselleştirilebilir. Aşağıdaki grafik, önceki doğrusal regresyon modelinden elde edilen sonuçları göstermektedir:

FIGÜR 5.1: Ağırlıklar noktalar olarak gösterilmiş, %95 güven aralıkları ise çizgilerle belirtilmiştir.

Ağırlık grafiği, yağmurlu/kar yağışlı/fırtınalı hava koşullarının tahmin edilen bisiklet sayısı üzerinde güçlü bir olumsuz etkiye sahip olduğunu göstermektedir. Çalışma günü özelliğinin ağırlığı sıfıra yakındır ve %95'lik güven aralığı sıfırı içerir; bu da etkinin istatistiksel olarak anlamlı olmadığını gösterir. Bazı güven aralıkları çok kısadır ve tahminler sıfıra yakındır; buna rağmen, bu özelliklerin etkileri istatistiksel olarak anlamlı bulunmuştur. Sıcaklık buna örnek bir özelliktir.

Ağırlık grafiğinin bir dezavantajı, özelliklerin farklı ölçeklerde ölçülmesidir. Örneğin, hava durumu için tahmin edilen ağırlık, iyi hava ile yağmurlu/kar yağışlı/fırtınalı hava arasındaki farkı yansıtırken, sıcaklık için yalnızca 1 derece Celsius artışını yansıtır. Doğrusal modeli oluşturmadan önce özellikleri (ortalama sıfır ve standart sapma bir olacak şekilde) ölçekleyerek tahmin edilen ağırlıkları daha karşılaştırılabilir hale getirebilirsiniz.

5.1.3.2 Etki Grafiği (Effect Plot)

Doğrusal regresyon modelinin ağırlıkları, gerçek özellik değerleriyle çarpıldığında daha anlamlı bir şekilde analiz edilebilir. Ağırlıklar, özelliklerin ölçeğine bağlıdır ve örneğin, bir kişinin boyunu ölçen bir özellikte metre yerine santimetre kullanırsanız, ağırlık değişir; ancak verinizdeki gerçek etkiler değişmez.

Verinizdeki bir özelliğin dağılımını bilmek de önemlidir, çünkü varyans çok düşükse bu, neredeyse tüm örneklerin bu özelliğe benzer katkıda bulunduğu anlamına gelir. Etki grafiği, ağırlık ve özellik kombinasyonunun tahminlere ne kadar katkı sağladığını anlamanıza yardımcı olabilir. Öncelikle, her bir örnek için ağırlığın özellik değeriyle çarpımı olan etkileri hesaplayarak başlayın:

$$\text{effect}_{j}^{(i)}=w_{j}x_{j}^{(i)}$$

Etkiler, boxplot (kutu grafiği) ile görselleştirilebilir. Bir boxplot içindeki kutu, verinin yarısı için (etki dağılımının %25 ila %75'lik çeyrek dilimleri) etki aralığını içerir. Kutunun içindeki dikey çizgi, medyan etkiyi gösterir; yani, örneklerin %50'sinin etkisi bu değerin altında, diğer %50'sinin ise üstündedir.

Grafikteki noktalar ise aykırı değerleri temsil eder. Aykırı değerler, üçüncü çeyrek dilimin (Q3) 1.5 * IQR (çeyrekler arası aralık) üzerindeki veya birinci çeyrek dilimin (Q1) 1.5 * IQR altındaki noktalar olarak tanımlanır.

Boxplot'ta iki yatay çizgi (whiskers) bulunur:

• Alt whisker, birinci çeyrek dilim altında aykırı olmayan noktaları,

• Üst whisker, üçüncü çeyrek dilim üzerinde aykırı olmayan noktaları bağlar.

Eğer aykırı değer yoksa, whisker'lar minimum ve maksimum değerlere kadar uzanır.

Kategorik özellikler, ağırlık grafiğinde her kategori için ayrı bir satırda gösterilirken, boxplot içinde tek bir grafikte özetlenebilir. Bu, kategorik özelliklerin etkilerinin bir arada kolayca karşılaştırılabilmesini sağlar.

Figür 5.2 : Özellik etki grafiği, her bir özellik için verilerdeki etkilerin (özellik değeri × özellik ağırlığı) dağılımını gösterir.

Kiralanan bisiklet sayısına en büyük katkıyı sağlayan özellikler, sıcaklık ve gün sayısı özellikleridir. Gün sayısı, zamanla bisiklet kiralama trendini yakalar. Sıcaklık, tahminlere ne kadar katkı sağladığı konusunda geniş bir aralığa sahiptir. Gün trendi özelliği, sıfırdan büyük pozitif katkılara kadar uzanır. Veri kümesindeki ilk gün (01.01.2011), çok küçük bir trend etkisine sahiptir ve bu özellik için tahmin edilen ağırlık pozitiftir (4.93). Bu, her geçen gün etkisinin arttığı ve veri kümesindeki son gün (31.12.2012) için en yüksek olduğu anlamına gelir.

Negatif ağırlığa sahip etkiler için, pozitif etkiye sahip örnekler, negatif özellik değerine sahip olanlardır. Örneğin, rüzgar hızı için yüksek negatif etkiye sahip günler, genellikle yüksek rüzgar hızına sahip günlerdir.

---

5.1.4 Bireysel Tahminleri Açıklama

Bir örnekteki her bir özellik tahmine ne kadar katkıda bulundu? Bu, o örnek için etkiler hesaplanarak yanıtlanabilir. Bireysel bir örneğe ait etkilerin yorumu, ancak her bir özellik için etki dağılımı ile karşılaştırıldığında anlamlı hale gelir.

Doğrusal modelin bisiklet veri kümesindeki 6. örnek için yaptığı tahmini açıklamak istiyoruz. Bu örnek, aşağıdaki özellik değerlerine sahiptir:

TABLO 5.1: 6. Örneğin Özellik Değerleri

Özellik	Değer
season	WINTER
yr	2011
mnth	JAN
holiday	NO HOLIDAY
weekday	THU
workingday	WORKING DAY
weathersit	GOOD
temp	1.604356
hum	51.8261
windspeed	6.000868
cnt	1606
days_since_2011	5

Bir örneğin özellik etkilerini elde etmek için, özellik değerlerini doğrusal regresyon modelinden gelen ilgili ağırlıklarla çarpmamız gerekir. Örneğin, "workingday" özelliği "WORKING DAY" değerine sahipse, etki 124.9 olacaktır. Sıcaklık 1.6 derece Celsius olduğunda, etki 177.6 olur. Bu bireysel etkileri, veri kümesindeki etkilerin dağılımını gösteren grafikte çarpılar olarak ekleyebiliriz. Bu, bireysel etkileri tüm veri setindeki etkilerle karşılaştırmamıza olanak tanır.

Figür 5.3: Bir örneğin etki grafiği, ilgili örneğin etkisinin dağılımını ve önemli noktalarını gösterir.

Eğitim verilerindeki örnekler için tahminleri ortalama aldığımızda, 4504 bisiklet kiralaması gibi bir ortalama elde ederiz. Buna kıyasla, 6. örneğin tahmini oldukça düşüktür, çünkü yalnızca 1571 bisiklet kiralanacağı öngörülmüştür. Etki grafiği, bunun nedenini ortaya koyar. Boxplot'lar, veri kümesindeki tüm örnekler için etkilerin dağılımını gösterirken, çarpılar ise 6. örnek için etkileri gösterir. 6. örnekte sıcaklık etkisi düşüktür çünkü o gün sıcaklık 2 derece olup, çoğu diğer güne kıyasla oldukça düşüktür (ve sıcaklık özelliğinin ağırlığının pozitif olduğunu hatırlayın). Ayrıca, "days_since_2011" trend özelliğinin etkisi de diğer örneklere kıyasla küçüktür, çünkü bu örnek 2011 yılının başlarından (5. gün) gelmektedir ve trend özelliği için ağırlık pozitiftir. Bu nedenle, daha eski tarihler düşük trend etkisine sahiptir.

---

5.1.5 Kategorik Özelliklerin Kodlanması

Kategorik bir özelliği kodlamak için birkaç farklı yöntem vardır ve seçilen yöntem, ağırlıkların yorumlanmasını etkiler.

Doğrusal regresyon modellerinde standart yöntem treatment kodlamasıdır, ki çoğu durumda yeterlidir. Farklı kodlama yöntemleri kullanmak, kategorik özellik içeren tek bir sütundan farklı (tasarım) matrisler oluşturmaya dayanır. Bu bölüm, üç farklı kodlama yöntemini sunar, ancak daha birçok yöntem de bulunmaktadır.

Örnek olarak, altı adet örneğe ve üç kategorili bir kategorik özelliğe sahip bir veri kümesi ele alalım. İlk iki örnek, A kategorisini; üçüncü ve dördüncü örnek, B kategorisini; son iki örnek ise C kategorisini alır.

Treatment Kodlaması

Treatment kodlamasında, her kategori için ağırlık, ilgili kategori ile referans kategori arasındaki tahmin farkını temsil eder. Doğrusal modelin kesişimi (intercept), referans kategorinin ortalamasıdır (diğer tüm özellikler sabit olduğunda).

• Tasarım matrisinin ilk sütunu, her zaman 1 olan kesişimi temsil eder.

• İkinci sütun, örnek iii’nin B kategorisinde olup olmadığını belirtir.

• Üçüncü sütun, örnek iii’nin C kategorisinde olup olmadığını belirtir.

A kategorisi için ayrı bir sütuna gerek yoktur, çünkü bu durumda doğrusal denklem aşırı belirlenmiş olur ve ağırlıklar için tekil bir çözüm bulunamaz. Bunu bilmek yeterlidir: Bir örnek ne B ne de C kategorisindeyse, A kategorisindedir.

Özellik Matrisi Örneği

$$\begin{pmatrix}1&0&0\\1&0&0\\1&1&0\\1&1&0\\1&0&1\\1&0&1\\\end{pmatrix}$$

Etki (Effect) Kodlaması: Effect kodlamasında, her kategori için ağırlık, ilgili kategorinin genel ortalamadan olan tahmin farkını temsil eder (diğer tüm özelliklerin sıfır veya referans kategoride olduğu varsayılır).

• İlk sütun, kesişimi (intercept) tahmin etmek için kullanılır.

• Kesişimle ilişkili ağırlık $\beta_0$ genel ortalamayı ifade eder.
• İkinci sütundaki ağırlık $\beta_1$ kategori B'nin genel ortalamadan farkını belirtir.
• B kategorisinin toplam etkisi şu şekildedir: $\beta_0 + \beta_1$

C kategorisi için yorumlama da benzerdir.

• A referans kategorisi için ise, $-(\beta_1 + \beta_2)$ genel ortalamadan farkı ve $\beta_0 -(\beta_1 + \beta_2)$ toplam etkiyi temsil eder.

Özellik Matrisi Örneği:

$$\begin{pmatrix}1&-1&-1\\1&-1&-1\\1&1&0\\1&1&0\\1&0&1\\1&0&1\\\end{pmatrix}$$

Kukla (Dummy) Kodlaması

Bu kodlamada her kategoriye karşılık gelen $\beta$ ağırlığı, her kategorinin tahmin edilen ortalama $y$ değerini ifade eder (diğer tüm özellik değerleri sıfır veya referans kategori olduğunda). Burada dikkat edilmesi gereken nokta, doğrusal denklemde tekil bir çözüm elde edebilmek için kesişim $\beta_0$ teriminin çıkarılmış olmasıdır. Bu kodlama yöntemiyle multicollinearity (çoklu doğrusal ilişki) sorununu önlemenin bir başka yolu, kategorilerden birini dışarıda bırakmaktır.

Özellik Matrisi Örneği:

$$\begin{pmatrix}1&0&0\\1&0&0\\0&1&0\\0&1&0\\0&0&1\\0&0&1\\\end{pmatrix}$$

Kategorik değişkenlerin farklı kodlamaları hakkında daha fazla detay öğrenmek isterseniz, bu internet adresi ve blog postunu inceleyebilirsiniz.

5.1.6 Doğrusal Modeller İyi Açıklamalar Yaratır mı?

İyi bir açıklamanın özelliklerine bakıldığında (İnsan-Dostu Açıklamalar bölümünde sunulan), doğrusal modeller en iyi açıklamaları oluşturmazlar. Bu modeller karşılaştırmalı (contrastive) açıklamalar sunarlar, ancak referans örneği, tüm sayısal özelliklerin sıfır olduğu ve kategorik özelliklerin referans kategorilerde olduğu bir veri noktasıdır. Bu, genellikle yapay ve anlamsız bir örnektir ve gerçekte verinizde bulunma olasılığı düşüktür.

Bir istisna vardır: Eğer tüm sayısal özellikler ortalama merkezli (özellikten ortalama çıkarılmış) ve tüm kategorik özellikler effect kodlaması kullanılarak kodlanmışsa, referans örnek, tüm özelliklerin ortalama değerleri aldığı bir veri noktası olur. Bu da aslında var olmayan bir veri noktası olabilir, ancak en azından daha anlamlı veya olası bir durum yaratır. Bu durumda, ağırlıklar ile özellik değerlerinin çarpımı (özellik etkileri), “ortalama-örnek” ile karşılaştırmalı olarak tahmin edilen sonuca olan katkıyı açıklar.

İyi bir açıklamanın bir diğer özelliği seçiciliktir. Bu, doğrusal modellerde daha az özellik kullanarak veya seyrek doğrusal modeller eğiterek elde edilebilir. Ancak, varsayılan olarak doğrusal modeller seçici açıklamalar oluşturmaz. Doğrusal modeller, doğru model ilişkisini temsil ettiği sürece gerçekçi (truthful) açıklamalar üretir. Ancak, veri setinde daha fazla doğrusal olmayan ilişki ve etkileşim varsa, doğrusal model o kadar doğru olmayacak ve açıklamalar da o kadar gerçekçi olmayacaktır. Doğrusallık, açıklamaları daha genel ve basit hale getirir. Bence, doğrusal modellerin ilişkileri açıklamak için bu kadar yaygın kullanılmasının ana nedeni budur.

---

5.1.7 Seyrek Doğrusal Modeller (Sparse Linear Models)

Seçtiğim doğrusal model örneklerinin hepsi oldukça düzenli ve basit görünüyor, değil mi? Ancak, gerçekte sadece birkaç özellik değil, yüzlerce veya binlerce özellik olabilir. Bu durumda doğrusal regresyon modellerinin yorumlanabilirliği hızla azalır. Hatta bazen örneklerden daha fazla özelliğiniz olabilir ve standart bir doğrusal model oluşturmak imkânsız hale gelir. Neyse ki, doğrusal modellere seyreklik (sparsity = az sayıda özellik) eklemenin yolları vardır.

---

5.1.7.1 Lasso (Least Absolute Shrinkage and Selection Operator)

Lasso, doğrusal regresyon modeline seyreklik kazandırmanın otomatik ve kullanışlı bir yoludur. Lasso, “en küçük mutlak küçültme ve seçim operatörü” anlamına gelir ve doğrusal regresyon modeline uygulandığında özellik seçimi ve seçilen özellik ağırlıklarının düzenlenmesini sağlar.

Ağırlıkların optimize ettiği minimizasyon problemi şu şekildedir:

$$min_{\boldsymbol{\beta}}\left(\frac{1}{n}\sum_{i=1}^n(y^{(i)}-x_i^T\boldsymbol{\beta})^2\right)$$

Lasso bu optimizasyon problemine bir terim ekliyor,

$$min_{\boldsymbol{\beta}}\left(\frac{1}{n}\sum_{i=1}^n(y^{(i)}-x_{i}^T\boldsymbol{\beta})^2+\lambda||\boldsymbol{\beta}||_1\right)$$

$||\beta||_1$ terimi, özellik vektörünün L1-normunu ifade eder ve bu, büyük ağırlıkları cezalandırır. L1-normu kullanıldığından, ağırlıkların birçoğu 0 değerini alır ve diğerleri küçülür. Düzenleme etkisinin gücünü kontrol eden $\lambda$ parametresi genellikle çapraz doğrulama (cross-validation) ile ayarlanır. Özellikle $\lambda$ değeri büyük olduğunda, birçok ağırlık sıfır olur. Ağırlıklar, ceza terimi$\lambda$ $\lambda$'ya bağlı bir fonksiyon olarak görselleştirilebilir. Aşağıdaki şekilde, her özellik ağırlığı bir eğri ile temsil edilmiştir.

Bu görselleştirme, ceza teriminin artmasıyla hangi özelliklerin sıfırlandığını ve hangilerinin hala katkıda bulunduğunu gösterir.

Figür 5.4: Ağırlıklara uygulanan ceza (penalty) arttıkça, sıfır olmayan ağırlık tahmini alan özelliklerin sayısı azalır. Bu eğriler, düzenleme yolları (regularization paths) olarak adlandırılır. Grafiğin üzerinde gösterilen sayı, sıfır olmayan ağırlıkların sayısını belirtir.

Hangi lambda değeri seçilmelidir? Eğer ceza terimini (penalization term) bir ayar parametresi olarak görüyorsanız, çapraz doğrulama (cross-validation) ile model hatasını en aza indiren lambda değerini bulabilirsiniz. Lambda ayrıca modelin yorumlanabilirliğini kontrol eden bir parametre olarak da düşünülebilir. Ceza arttıkça, modelde daha az özellik kalır (çünkü ağırlıkları sıfırlanır) ve model daha kolay yorumlanabilir hale gelir.

---

Lasso Kullanım Örneği

Bu örnekte, Lasso kullanarak bisiklet kiralama sayılarını tahmin edeceğiz. Modelde kaç özellik kullanmak istediğimizi önceden belirleyebiliriz. İlk olarak, 2 özellik ile başlayalım:

Özellik	Ağırlık
seasonWINTER	0.00
seasonSPRING	0.00
seasonSUMMER	0.00
seasonFALL	0.00
holidayHOLIDAY	0.00
workingdayWORKING DAY	0.00
weathersitMISTY	0.00
weathersitRAIN/SNOW/STORM	0.00
temp	52.33
hum	0.00
windspeed	0.00
days_since_2011	2.15

Sonuç:

• Sıfır olmayan ağırlıklara sahip ilk iki özellik: sıcaklık ("temp") ve zaman trendi ("days_since_2011").

Bu, Lasso'nun özellik seçimi ve düzenlemeyi nasıl gerçekleştirdiğini gösterir. Yalnızca en önemli özelliklere ağırlık verir ve gereksiz olanları sıfırlar.

Şimdi, 5 öznitelik seçelim.

Weight
seasonWINTER	-389.99
seasonSPRING	0.00
seasonSUMMER	0.00
seasonFALL	0.00
holidayHOLIDAY	0.00
workingdayWORKING DAY	0.00
weathersitMISTY	0.00
weathersitRAIN/SNOW/STORM	-862.27
temp	85.58
hum	-3.04
windspeed	0.00
days_since_2011	3.82

Dikkat edin, “temp” ve “days_since_2011” için ağırlıklar, yalnızca iki özellikli modeldeki ağırlıklardan farklıdır. Bunun nedeni, $\lambda$ değeri azaldıkça, zaten modelde olan özelliklerin daha az cezalandırılması ve dolayısıyla daha büyük mutlak ağırlık alabilmesidir. Lasso ağırlıklarının yorumu, doğrusal regresyon modelindeki ağırlıkların yorumuyla aynıdır. Ancak burada dikkat edilmesi gereken nokta, özelliklerin standartlaştırılıp standartlaştırılmadığıdır; çünkü bu, ağırlıkları etkiler. Bu örnekte, özellikler yazılım tarafından standartlaştırılmış, ancak ağırlıklar, özelliklerin orijinal ölçeklerine uygun şekilde otomatik olarak geri dönüştürülmüştür.

---

Doğrusal Modellerde Seyreklik Sağlamak İçin Diğer Yöntemler

Doğrusal modelde kullanılan özellik sayısını azaltmak için birçok farklı yöntem kullanılabilir:

Ön İşleme Yöntemleri:

1. Manuel Özellik Seçimi: Uzman bilgisi kullanarak bazı özellikleri seçebilir veya eleyebilirsiniz. Ancak bu yöntem otomatikleştirilemez ve veriyi iyi anlayan birine ihtiyaç duyarsınız.

2. Tek Değişkenli Seçim (Univariate Selection): Örneğin, korelasyon katsayısı kullanılabilir. Yalnızca belirli bir korelasyon eşiğini aşan özellikler dikkate alınır. Ancak bu yöntem, özellikleri bireysel olarak ele alır. Bazı özellikler, diğer özellikler hesaba katılana kadar korelasyon göstermeyebilir. Bu nedenle, bazı önemli özellikler bu yöntemle gözden kaçabilir.

Adım Adım (Step-wise) Yöntemler:

1. İleri Seçim (Forward Selection): Modeli tek bir özellikle başlatarak oluşturun. Bunu her özellik için tekrarlayın ve en iyi performansı gösteren modeli seçin (örneğin, en yüksek R-kare değeri). Daha sonra, kalan özellikler arasından en iyi performansı sağlayanı ekleyerek modeli genişletin. Bu işlemi, modeldeki maksimum özellik sayısı gibi belirli bir kriter karşılanana kadar devam ettirin.

2. Geriye Doğru Seçim (Backward Selection): İleri seçim yöntemine benzer. Ancak burada, özellik eklemek yerine tüm özellikleri içeren modelle başlarsınız ve performansı en çok artıracak özelliği çıkararak modeli iyileştirirsiniz. Bu işlemi, belirli bir durma kriteri karşılanana kadar tekrarlayın.

Lasso'yu tavsiye ediyorum, çünkü otomatikleştirilebilir, tüm özellikleri aynı anda değerlendirir ve $\lambda$ ile kontrol edilebilir. Ayrıca lojistik regresyon modeli ile sınıflandırma için de kullanılabilir.

---

5.1.8 Avantajları

1. Tahminlerin ağırlıklı toplam olarak modellenmesi, tahminlerin nasıl üretildiğini şeffaf hale getirir. Lasso ile, kullanılan özellik sayısının küçük kalması sağlanabilir.

2. Doğrusal regresyon modelleri, tahmin modellemesi ve çıkarım yapmak için yaygın olarak kullanılır ve birçok kişi tarafından kabul görmüştür. Eğitim materyalleri ve yazılım uygulamaları dahil olmak üzere, doğrusal regresyon modelleri hakkında geniş bir deneyim ve bilgi birikimi vardır. R, Python, Java, Julia, Scala, Javascript gibi birçok programlama dilinde doğrusal regresyon bulunabilir.

3. Matematiksel olarak, ağırlıkları tahmin etmek basittir ve veriler model varsayımlarını karşıladığı sürece optimal ağırlıkları bulma garantiniz vardır.

4. Ağırlıklarla birlikte güven aralıkları, testler ve sağlam bir istatistiksel teori elde edersiniz. Ayrıca doğrusal regresyon modelinin birçok genişletmesi vardır (GLM, GAM ve diğer modeller hakkında daha fazla bilgi için ilgili bölüme bakınız).

---

5.1.9 Dezavantajları

1. Doğrusal regresyon modelleri, yalnızca doğrusal ilişkileri temsil edebilir; yani, giriş özelliklerinin ağırlıklı bir toplamıdır. Her doğrusallık dışı ilişki veya etkileşim, model girdisi olarak elle oluşturulmalı ve açıkça verilmelidir.

2. Doğrusal modeller genellikle tahmin performansı açısından zayıf kalır, çünkü öğrenilebilecek ilişkiler sınırlıdır ve çoğu zaman karmaşık gerçekliği aşırı basitleştirirler.

3. Bir ağırlığın yorumu, tüm diğer özelliklere bağlı olduğundan sezgisel olmayabilir. Örneğin, y ile yüksek pozitif korelasyona sahip bir özellik ve başka bir özellik, doğrusal modelde negatif bir ağırlık alabilir. Bunun nedeni, diğer özellik hesaba katıldığında yüksek boyutlu uzayda negatif korelasyona sahip olmasıdır. Tamamen korelasyonlu özellikler, doğrusal denklem için tek bir çözüm bulunmasını imkânsız hale getirir.

   Örnek: Bir evin değerini tahmin eden bir modeliniz var ve özellikler arasında oda sayısı ile evin büyüklüğü bulunuyor. Evin büyüklüğü ile oda sayısı yüksek korelasyona sahiptir: Evin boyutu arttıkça oda sayısı da artar. Bu iki özelliği doğrusal modele dahil ederseniz, evin büyüklüğü daha iyi bir tahminci olabilir ve büyük bir pozitif ağırlık alabilir. Ancak oda sayısı, aynı boyutta bir evde oda sayısının artırılması değeri düşürebilir veya güçlü korelasyon olduğunda doğrusal denklem daha az kararlı hale gelebilir.

---

Kaynak: Friedman, Jerome, Trevor Hastie, and Robert Tibshirani. “The elements of statistical learning”. hastie.su.domains/ElemStatLearn (2009).