contoh perhitungan naive bayes

Belajar Naive Bayes: Alur Algoritma, Rumus dan Contoh Perhitungan Naive Bayes

Pada artikel sebelumnya kita sudah membahas mengenai apa itu algoritma naive bayes. Jika kamu belum mengenali apa itu algoritma naive bayes kita akan membahasanya sedikit dahulu sebelum masuk ke topik yang lebih mendalam. 

Algoritma naive bayes adalah metode klasifikasi data berdasarkan faktor-faktor probabilitas. Algoritma ini merupakan pengklasifikasian dengan metode probabilitas dan statistik yang ditemukan oleh Thomas Bayes.

naive bayes
Thomas Bayes

Nah, pada pembahasan ini kita akan lebih fokus kepada alur algoritma, rumus dan contoh perhitungan naive bayes.

Rumus dan Alur Algoritma Naive Bayes

Untuk bisa lebih memahami algoritma ini, berikut rumus umum Teorema Bayes yang menjadi dasar Naive bayes.

Rumus Teorema Bayes
Rumus Teorema Bayes

Keterangan.

X = Sampel data yang memiliki class  (label) yang tidak diketahui.

= Hipotesis bahwa adalah data class (label).

P(C) = Probabilitas hipotesis C.

P(X) = Peluang dari data sampel yang diamati (probabilitas C).

P(X|C) = Probabilitas berdasarkan kondisi pada hipotesis.

Adapun alur dari metode naive bayes sebagai berikut.

  1. Menghitung nilai peluang kasus baru dari setiap hipotesa dengan class (label) yang ada di P(Ci).
  2. Menghitung nilai akumulasi peluang dari setiap kelas P(X|Ci).
  3. Menghitung nilai P(X|Ci) x P(Ci).
  4. Menentukan class dari kasus baru tersebut.

Namun jika atribut ke-i bersifat kontinu, maka P(Xi|C) diestimasi dengan fungsi densitas Gaussian.

rumus naive bayes fungsi densitas gaussian
Rumus Fungsi Densitas Gaussian

Rumus Teorema Bayes diatas tadi menjelaskan bahwa peluang masuknya sampel karakteristik tertentu dalam class C (posterior) adalah peluang munculnya kelas C ( sebelum masuknya sampel tersebut, sering kali disebut prior), dikali dengan peluang kemunculan karakteristik-karakteristik sampel pada class C (disebut juga likelihood) kemudian dibagi dengan peluang kemunculan karakteristik sampel secara global (disebut juga evidence). Oleh karena itu rumus dapat pula ditulis sebagai berikut.

Baca juga :   Enkripsi Adalah: Cara Kerja, Jenis, Penerapan dan Manfaat

rumus naive bayes posterior

Nilai evidence selalu tetap untuk setiap class pada satu sampel. Nilai dari posterior tersebut nantinya akan dibandingkan dengan nilai posterior class lainnya untuk menentukan class apa suatu sampel akan diklasifikasikan.

Contoh Soal Data Diskrit

Berikut ini adalah contoh perhitungan naive bayes dengan menggunakan data diskrit.

Untuk menentukan suatu daerah akan dipilih sebagai lokasi untuk mendirikan perumahan dan telah dihimpun 10 aturan (data). Ada 4 atribut yang akan digunakan yaitu.

  1. Harga tanah per meter persegi (C1).
  2. Jarak daerah tersebut dari pusat kota (C2).
  3. Ada atau tidaknya angkutan umum di daerah tersebut (C3).
  4. Keputusan untuk memilih daerah tersebut sebagai lokasi perumahan (C4).

Dengan soal, suatu daerah dengan harga tanah mahal, jarak dari pusat kota sedang dan ada angkutan umum. Maka tentukan apakah daerah tersebut dipilih untuk mendirikan perumahan?

Aturan ke- Harga tanah (C1)Jarak dari pusat kota (C2)Ada angkutan umum (C3)Dipilih untuk Perumahan (C4)
1MurahDekatTidakIya
2SedangDekatTidakIya
3MahalDekatTidakIya
4MahalJauhTidakTidak
5MahalSedangTidakTidak
6SedangJauhAdaTidak
7MurahJauhAdaTidak
8MurahSedangTidakIya
9MahalJauhAdaTidak
10SedangSedangAdaIya

Hal yang pertama kamu lakukan adalah mencari probabilitas kemunculan setiap nilai untuk atribut (class).

  • Probabilitas kemunculan setiap nilai untuk atribut Harga tanah (C1).
Harga tanahJumlah kejadian ‘dipilih’ IyaJumlah kejadian ‘dipilih’ TidakProbabilitas IyaProbabilitas Tidak
Murah212/51/5
Sedang212/51/5
Mahal131/53/5
Jumlah5511
  • Probabilitas kemunculan setiap nilai untuk atribut Jarak dari pusat kota (C2).
Jarak dari pusat kotaJumlah kejadian ‘dipilih’ IyaJumlah kejadian ‘dipilih’ TidakProbabilitas IyaProbabilitas Tidak
Dekat30 3/50
Sedang212/51/5
Jauh0 40/54/5
Jumlah5511
  • Probabilitas kemunculan setiap nilai untuk atribut Ada angkutan umum (C3).
Baca juga :   Message Broker Adalah: Pengertian, Cara Kerja dan Implementasi
Ada angkutan umumJumlah kejadian ‘dipilih’ IyaJumlah kejadian ‘dipilih’ TidakProbabilitas IyaProbabilitas Tidak
Ada131/53/5
Tidak424/52/5
Jumlah5511
  • Probabilitas kemunculan setiap nilai untuk atribut Dipilih untuk perumahan (C4).
Dipilih untuk perumahanJumlah kejadian ‘dipilih’ IyaJumlah kejadian ‘dipilih’ TidakProbabilitas IyaProbabilitas Tidak
Jumlah551/21/2

Berdasarkan data tersebut, apabila diketahui suatu daerah dengan harga tanah mahal, jarak dari pusat kota sedang dan ada angkutan umum, maka dapat dihitung:

Likelihood Iya = 1/5 * 2/5 * 1/5 * 5/10 = 1/125 = 0,008

Likelihood Tidak = 3/5 * 1/5 * 3/5 * 5/10 = 9/250 = 0,036

Nilai probabilitas  dapat dihitung dengan melakukan normalisasi terhadap likelihood tersebut sehingga jumlah nilai yang diperoleh = 1.

Probabilitas Iya = 0,008 / (0,008+0,036) = 0,182

Probabilitas Tidak = 0,036 / (0,008+0,036) = 0,818

Jadi dapat disimpulkan dari hasil yang kita dapat diatas bahwa di lokasi tersebut tidak dibangun perumahan.

Contoh Data Kontinu

Berikut ini kita akan lanjut dengan contoh perhitungan naive bayes menggunakan data kontinu.

Contoh untuk data kontinu kita adaptasi dari soal sebelumnya. Apabila C1 = 300, C2 = 17, C3 = Tidak, maka tentunkan apakah lokasi akan di bangun perumahan?

Aturan ke- Harga tanah (C1)Jarak dari pusat kota (C2)Ada angkutan umum (C3)Dipilih untuk Perumahan (C4)
11002TidakIya
22001TidakIya
35003TidakIya
460020TidakTidak
55508TidakTidak
625025AdaTidak
77515AdaTidak
88010TidakIya
970018AdaTidak
101808AdaIya

Hal yang pertama kamu lakukan adalah mencari probabilitas kemunculan setiap nilai untuk atribut (class).

  • Probabilitas kemunculan setiap nilai untuk atribut Harga tanah (C1).
Baca juga :   Algoritma RProp: Pengertian, Cara Kerja dan Implementasi
IyaTidak
1100600
2200550
3500250
48075
5180700
Mean212435
Deviasi standar168,8787261,9637
  • Probabilitas kemunculan setiap nilai untuk atribut Jarak dari pusat kota (C2).
IyaTidak
1220
218
3325
41015
5818
Mean4,817,2
Deviasi standar3,96236,3008

Untuk data yang diskrit kita ambil lansung nilainya dari tabel contoh soal perhitungan naive bayes dengan data diskrit supaya tidak berlama-lama. Berdasarkan hasil dari perhitungan dan soal tersebut, maka:

proses c1 dengan gaussian


Ketika nilai C1 dan C2 sudah dapat dengan rumus Gaussian, jadi kita lanjut untuk mencari nilai likelihood.

Likelihood Iya = (0,0021) x (0,0009) x 4/5 x 5/10 = 0,000000756

Likelihood Tidak = (0,0013) x (0,0633) x 2/5 x 5/10 = 0,000016458

Nilai probabilitas dapat dihitung dengan melakukan normalisasi terhadap likelihood tersebut sehingga jumlah niali yang diperoleh = 1.

Probabilitas Iya = 0,000000756 / (0,000000756 + 0,000016458) = 0,0439

Probabilitas Tidak = 0,000016458 / (0,000000756 + 0,000016458) = 0,9561

Maka dari hasil akhir kita dapat menyimpulkan bahwa pada lokasi tersebut tidak dibangun perumahan.

Penutup

Nah, sekarang kamu sudah lebih paham mengenai algoritma naive bayes. Kamu sudah mengerti bagaimana alur dan proses perhitungan yang terjadi di algoritma naive bayes. 

Untuk kamu yang tertarik seperti topik ini kamu bisa baca artikel lainya di Data Mining dan jangan lupa tulis di komentar ya topik apa yang akan dibahas untuk selanjutnya..