GÜREŞEN–KAYAKUTLU
66
KHO BİLİM DERGİSİ CİLT: 23 SAYI: 1 YIL: 2013
Düzenleme algoritmaları (Regularization) göreli büyük bir ağ yapısı ile
başlar ve bu yapıdaki sonuca etkisi az olan ama hala hatanın düşürülmesine
yardımcı olan bağlantıları düzenlemeye çalışırlar (Ma ve Khorasani, 2003). Bu
bağlantılar eğitim verisinde hatayı düşürse de yeni bir veri ile karşılaşıldığında
genelleme yeteneklerini kaybettiklerinden hatanın artmasına sebep olurlar (Ma
ve Khorasani, 2003). Bu sorunu aşmak için düzenleme algoritmaları
düzenleme kuralları oluşturarak bu kurallara göre daha az önemli olan
ağırlıkların sıfıra çekilmesini yani silinmesini sağlarlar. Düzenleme kuralları
Thodberg (1996) ile Buntine ve Weigend (1991)’de olduğu gibi Bayes
kuramına dayalı yöntemlerle oluşturulabilir. Ancak Ma ve Khorasani (2003) bu
kurallarda Bayesyen kanıtların olmadığını ve bazen yeterince iyi sonuçlar
vermediğini belirlemişlerdir.
Evrimsel algoritmalar literatürde yapay sinir ağlarının parametre tespitinde
kullanılmaktadır Çınar (2007). Kullanılan (veya kullanılması umulan) bu
evrimsel algoritmaların çeşitleri Kiranyaz ve diğ. (2009)’da şöyle sıralamıştır;
genetik algoritmalar (Goldberg, 1989), genetik programlama (Koza, 1992),
evrimsel stratejiler (Back ve Kursawe, 1995), evrimsel programlama (Fayyad
ve diğ., 1996), parcacıkk sürü algoritmaları (partical swarm optimization)
(Kennedy ve Eberhart, 1995) olarak söylenebilir. Evrimsel algoritmalar
popülasyon tabanlı stokastik süreçlerdir ve yerel optimumlara takılı kalmayı
önlemek amacıyla kullanılmaktadır (Kiranyaz ve diğ., 2009).
Yapay sinir ağı parametrelerinden öğrenme oranını evrimsel algoritma
kullanarak belirleyenlere Kim ve Bae (2005); Wang ve Huang (2007); Yi-Hui
(2007)’nun çalışmaları örnek olarak verilebilir. Evrimsel algoritmalar ile
başlangıç ağırlıklarını tespit edenlere ise Castillo ve diğ. (2000), Kim ve Bae
(2005), Wang ve Huang (2007), Kuo (2001)’nın çalışmaları, gizli katman
sayısını ve bu katmanlardaki işlem elemanı sayısını tespit edenlere ise Castillo
ve diğ. (2000), Niska ve diğ. (2004), Ferentinos (2005), Kim ve Bae (2005),
Wang ve Huang (2007), Yi-Hui (2007)’nın çalışmaları, işlem elemanlarının
transfer fonksiyonunun türünü tespit edenlere ise Ferentinos (2005)’un
GÜREŞEN–KAYAKUTLU
67
KHO BİLİM DERGİSİ CİLT: 23 SAYI: 1 YIL: 2013
çalışması örnek gösterilebilir. Evrimsel algoritmalarla ayrıca hangi girdilerin
kullanılacağı araştırılmış yani başlangıç elemanları tespit edilmiştir. Bu tip
çalışmalara ise Niska ve diğ. (2004), Sexton ve diğ. (2004), Doganis ve diğ.
(2006)’nin çalışmaları örnek verilebilir.
Dört temel yaklaşım incelendiğinde, yapıcı algoritmaların göreli küçük
ağlarla başlaması, hesaplama süresi açısından yapıcı algoritmalara diğer
yaklaşımlardan daha hızlı çalışma fırsatı sunmaktadır. Ayrıca budama ve
düzenleme algoritmaları mevcut yapay sinir ağı yapısına herhangi bir ekleme
yapmadığından öğrenme değil sadece kavrama yapaktadırlar. Benzer şekilde
evrimsel algoritmalar da yazında sadece yapay sinir ağlarının parametre
optimizasyonunda kullanıldığından kavrama yapmakta ancak öğrenme
yapmamaktadırlar. Kavramanın yanında öğrenme yapabilecek algoritmalar
olarak yapıcı algoritmalar işleyiş olarak ayrıntılı bir incelemeyi gerektirecek
potansiyele sahiptirler.
a. Yapıcı Yapay Sinir Ağı Algoritmaları
Dinamik Düğüm Yaratma (Dynamic Node Creation) algoritmaları ilk
olarak Ash (1989) tarafından ortaya atılmıştır. Temelde bu algoritmalar gizli
katmana her seferinde yeni bir gizli sinir hücresi (GSH) eklerler ve tüm YSA
tekrar eğitilir (Kwok ve Yeung, 1997a). Azimi-Sadjadi ve diğ. (1993) hem
ağırlıkları güncelleyen hem de gizli katmandaki GSH sayısını tek tek arttıran bir
algoritma oluşturmuştur. Zhang (1994) ise dinamik düğüm yaratma benzeri
SELF adındaki algoritmayı geliştirmiştir ve bu algoritma ile gizli katmandaki en
iyi GSH sayısını bulmaya çalışmaktadır.
İzdüşüm Takip Regresyonu (Projection Pursuit regression) algoritmaları
temel olarak Friedman ve Stuetzle (1981)’nin bu konudaki çalışmalarını ele
alırlar. Temel olarak bu algoritmalarda çok değişkenli veriyi iki katmanlı bir ağ
yardımıyla çok boyutlu bir uzaydan izdüşümlerle daha az boyutlu bir uzaya
taşırlar (Hwang ve diğ., 1994). Saha ve diğ. (1993) ise radyal temelli
GÜREŞEN–KAYAKUTLU
68
KHO BİLİM DERGİSİ CİLT: 23 SAYI: 1 YIL: 2013
fonksiyonlar kullanılan problemlerin gözlem/boyut oranını düşürmek için çoklu
lineer izdüşüm kullanmışlardır. Shin ve Ghosh (1995) Ridge Polinom Ağlarını,
izdüşüm takip regresyonunun özel bir durumu; her zaman aynı fonksiyonu
kullanan versiyonu olarak özetlemiştir. Verkooijen ve Daniels (1994) ise
izdüşüm takip regresyonunda kullanılacak fonksiyonları ayrı ayrı yapay sinir
ağı olarak ele almış ve bu ağları eğiterek uygun fonksiyonu bulmuştur.
Basamak-Korelasyon algoritması (Cascade-Corelation Algorithm) ilk defa
Fahlman ve Lebiere (1990) tarafından ilk olarak geliştirilmiştir. Bu algoritmada
her seferinde yeni bir GSH eklenmektedir. Bu yeni eklenen GSH diğer tüm gizli
katmandaki GSH’lere bağlanmaktadır. Böylece aslında her eklenen GSH, bir
GSH’den oluşan bir gizli katman oluşturmaktadır (Kwok ve Yeung, 1997a).
Phatak ve Koren (1994), basamak-korelasyon algoritmasını her bir gizli katman
birden fazla GSH alabilecek şekilde değiştirmişler böylece tüm girdi sinir
hücrelerinin GSH’lere bağlantısı olmamasını sağlamışlar. Sjogaard (1992)
ikinci dereceden basamak-korelasyon algoritması kullanarak eklenen tüm
GSH’lerin aynı gizli katmanda ve birbirlerinden etkilenmeyecek (birinin çıktısı
diğerinin girdisi olmayacak) şekilde toplamıştır. Kwok ve Yeung (1997b) farklı
korelasyon tabanlı farklı fonksiyonları kullanarak farklı zaman ve uzay
ihtiyaçlarını karşılaştırarak performans analizleri yapmışlardır.
Kaynak dağıtım ağları (Resource Allocation Networks; RAN) her seferinde
bir adet GSH’yi gizli katmana eklemektedirler ve diğer yapıcı algoritmalardan
temel farkı öğrenme izlerini hatırlayarak bunları kullanmalarıdır (Kwok ve
Yeung 1997a). Sadece gizli katmandaki GSH’leri artırarak ya da azaltarak
adaptasyon yeteneğini artırırlar.
İlk defa Platt (1991) tarafından ortaya atılan kaynak dağıtım ağı iki katmanlı
bir radyal tabanlı fonksiyon (RTF) ağıdır (Li ve diğ., 2010). Fritzke (1993,
1994a, 1994b) yaptığı çalışmalarda hem gözetimli hem de gözetimsiz eğitim
için büyüyen hücre yapıları (growing cell structures) adlı algoritmayı
geliştirmiştir. Daha sonra Fritzke (1995a, 1995b) bu algoritmayı büyüyen sinir
Dostları ilə paylaş: |