2 gizli katmanı olan yukarıdaki gibi bir sinir ağımız olduğunu düşünelim.
Burada giriş verileri ve parametre değerlerini matrislerle gösteririz. Devamındaki matematik ifadesinde, X giriş verisini yansıtır. W1,W2 ve W3 ağırlık matrisleri ve b1,b2 ve b3 bias vektörleridir.
Herhangi bir aktivasyon fonksiyonu kullanmadan hesaplama yapalım.
Gizli katman 1 : giriş X’tir.
=X*W1+b1
Gizli Katman 2 : Giriş bu sefer X*W1+b1’dir.
=(X*W1+b1)*W2+b2
Çıkış Katmanı : Giriş artık (X*W1+b1)*W2+b2 .
=((X*W1+b1)*W2+b2)*W3+b3
Eğer bir sinir ağında herhangi bir aktivasyon fonksiyonu kullanılmazsa, DEVASA bir lineer regresyon modeline döner.
Dahası, gizli katmanlar gereksiz olacaktır ve model, veriden non-lineer ilişkileri öğrenemeyecektir.
Model yalnızca gerçek dünya verisinde zor olan, lineer ilişkiyi öğrenecektir.
Bu yüzden, sinir ağı modelimizin gerçek dünya verilerinden kompleks non-lineer ilişkileri öğrenebilmesi için gizli katmanlarda non-lineer aktivasyon fonksiyonları ve çıkış katmanlarından yine uygun aktivasyon fonksiyonlarını kullanmalıyız.
