Klasifikasi Decision Tree

Assalamualaikum warahmatullahi wabarakatuh...

Halo teman teman semua pada blog sebelumnya kita telah membahas klasifikasi Naive Bayes dan untuk judul kali ini kita akan membahas klasifikasi dari Decision Tree. 

Decision Tree adalah model klasifikasi yang menggunakan struktur pohon, dimana tiap node mempresentasikan atribut dan cabangnya mempresentasikan nilai dari atribut, sedangkan daunnya digunakan untuk mempresentasikan kelas.

Berikut contoh dari model klasifikasi Decision Tree 

Dari data tersebut, terdapat 4 atribut (nilai x) yaitu age, income, student dan credit rating. Kelas nilai y pada data tersebut adalah buys computer dimana ada 2 kelas  yaitu yes dan no. Dan yang menjadi root (akar) pada data tersebut adalah age.

Terdapat empat tahapan algoritma decision tree, antara lain sebagai berikut:

1.    Menyiapkan data training

2.    memilih atribut sebagai akar

3.    Membuat cabang untuk tiap-tiap nilai

4.    Mengulangi proses untuk setiap cabang sampai semua kasus pada cabang memiliki kelas yang  sama.

Untuk memperjelas uraian tersebut dapat kita liat pada contoh berikut ini :

- Mempersiapkan data trainning

- Memilih atribut sebagai akar 

Untuk memilih atribut akar, berdasarkan pada nilai Gain tertinggi dari atribut-atribut yang ada. Untuk mendapatkan nilai Gain, harus ditentukan terlebih dahulu nilai Entropy berikut adalah rumusnya :

Dalam menghitung Entropy dan Gain Akar, agar dapat mempermudah kita dalam melakukan perhitungan, kita dapat membuat menggunakan excel seperti gambar berikut:

[Setelah Dirapikan]

[Setelah dimasukan kedalam rumus excel]

Berikut ini adalah perhitungan pada Entropy akar : 

Untuk menghitung Gain Akar dapat kita lihat pada gambar di bawah ini :

 Node 1, dapat kita ketahui bahwa atribut dengan Gain tertinggi adalah HUMADITY yaitu sebesar 0.37051. Dengan demikian HUMADITY dapat menjadi node akar.