Teknik olarak, logistic regression’ı gizli katmansız çok basit sinir ağı modeli olarak düşünebiliriz. Yalnızca giriş ve çıkış katmanına sahiptir. Logistic regression ikili sınıflandırma (binary classification) gerçekleştirdiği için, çıkış katmanı yalnızca tek node’a / düğüme sahiptir.
Logistic regression modeli nedir ?
Her ne kadar isminin içinde regresyon ifadesi bulunsa da, aslında bir SINIFLANDIRMA algoritmasıdır. Burada regresyon devamlılık anlamında kullanılıyor, yani tek bir devamlı çizgi anlamında.
Lojistik regresyon, ikili sınıflandırm için kullanılan, denetimli makine öğrenmesi algoritmasıdır. 0 ve 1 arasında yatan bir ihtimal çıktı verir. Ihtimal verisi bazında, verilen girdinin hangi spesifik sınıfa ait olduğuna karar verebiliriz. Çıkış değeri 0.5 genellikle threshold/eşik olarak düşünülür. Bu değerden küçük herhangi bir şey bir sınıfa ve bu değerden büyük herhangi bir şey başka bir sınıfa aittir. Bu lojistik regresyonun ikili sınıflandırmayı nasıl icra ettiği ile ilgilidir.
Lojistik regresyon algoritmasının matematiğinin derinine inelim.
Algoritma önce oranların doğal logaritması olan “logit fonksiyonu” üzerinde hesaplamalar yapar.
L=Logit fonksiyonu
P=Olasılık
Burada, L Logit fonksiyonudur. P bir olayın başarılı olma olasılığıdır. Bu yüzden, 1-P aynı olayın başarısız olma olasılığıdır.
Başarı olasılığı ile başarısızlık olasılığı arasındaki oran, “olayın olasılığı” olarak tanımlanır. Olasılığa, doğal algoritmayı uyguladığımızda, genellikle “log olasılığı” olarak bilinir.
Şimdi, lojistik regresyon algoritmasından istenen çıktıyı almak için P değişkenini izole etmemiz gerekiyor. Bunu yaptıktan sonra, aslında sigmoid fonksiyonu olan aşağıdaki fonksiyonu elde ederiz!
Yukarıdaki fonksiyona birkaç modifikasyon yapıyoruz. L’yi B0 ve B1 katsayıları ile değiştiriyoruz. Algoritma, eğitim esnasında bu katsayılar için optimal değerleri bulur.
Bu fonksiyon daima verilen girdinin olasılığını çıktı verir. Çıktı değeri daima 0 ve 1 arasında yatar.
Sinir ağı zihniyetine sahip lojistik regresyon modeli ilginçtir. Şimdi, aşağıdaki diyagramı düşünün.
Perceptron’un z fonksiyonu aşağıdaki gibi hesaplanır.
Sonrasında, z’ye sigmoid aktivasyon fonksiyonunu uyguluyoruz ve nihai çıktıyı (y) elde ederiz.
Bu çıktı, lojistik regresyon algoritmasının çıktısı ile tamamen aynıdır!
Terminolojideki farklılıklar :
Lojistik regresyon terminolojisinde, B0 kesen (intercept) olarak adlandırılır ve B1 katsayı(coefficient) olarak çağrılır. Sinir ağı terminolojisinde, b bias olarak ve w1 ağırlık olarak çağrılır. Tüm bunlar, modelin parametreleri olarak adlandırılır.
Her iki bağlamda terminoloji arasında farklılıklar olsa da B0 ve b aynı şeyleri ifade eder, ve aynı şekilde B1 ve w1 aynı şeyleri ifade eder..