Karar ağacı öğrenmesi, öğrenilen fonksiyonun bir karar ağacı tarafından temsil edildiği, kesikli değerli hedef fonksiyonlarını yaklaştırmak için kullanılan bir denetimli öğrenme algoritmasıdır. Hem kategorik hem de sürekli giriş ve çıkış değişkenleri için çalışır. Karar ağacı, bir ağaç yapısı biçiminde sınıflandırma veya regresyon modelleri oluşturur. Bir veri kümesini daha küçük ve daha küçük alt kümelere bölerken, aynı zamanda ilişkili bir karar ağacı aşamalı olarak geliştirilir. Nihai sonucu, karar düğümleri ve yaprak düğümleri olan bir ağaçtır.
Topluluk karar ağaçlarını gerçekleştirmek için birkaç teknik vardır, bunlar:
1.Torba (bagging)
2.Arttırma (boosting)
Bagging (Bootstrap Aggregation), bir karar ağacının varyansını azaltmak istediğimiz zaman kullanılır. Buna örnek olarak Rastgele Orman algoritması verilebilir.
Boosting, bir öngörü koleksiyonu oluşturmak için kullanılan diğer bir topluluk tekniğidir. Bu teknikte öğreniciler, erken öğrenenlerin basit modellerini verilerle uyuşturduktan sonra hatalar için verileri analiz ederek sırayla öğrenmeye dayanır. Bu tekniğe örnek olarak Gradient Boosting örnek verilebilir.
Analizimde yine diabets verisini kullanacağım. Bunun için veri setimi çağırdıktan sonra modelimi kuruyorum ve model parametrelerimi inceliyorum.
Tahmin aşamasına geçince test setimi tahmin et dedikten sonra ilkel test doğruluk oranını hesaplıyorum.
Şimdi model tuning aşamasına geçebilirim. Model için önemli olan parametre değerlerini girdikten sonra 10 katlı cross validation yaptırıyorum.
En optimum değerleri bul dedikten sonra bu değerlere göre modeli tune ediyorum ve doğrulanmış accuracy oranını hesapladıktan sonra analizimi bitiriyorum.
Yorumlar
Yorum Gönder