gradient boosting

Gradient Boosting: Pengertian, Cara Kerja dan Contoh Skripsi

Gradient Boosting merupakan salah satu teknik Machine Learning yang berkembang pada awal tahun 2000-an. Teknik ini pertama kali dikembangkan oleh Jerome Friedman pada tahun 1999 dan diterbitkan dalam makalah yang berjudul “Additive Logistic Regression: A  Statistical View of Boosting”.

Nah, sebenarnya apasih Gradient Boosting ini? yuk simak kita akan belajar bersama-sama.

Pengertian Gradient Boosting

gradient boosting adalah

Gradient Boosting adalah salah satu metode Machine Learning yang berfokus pada perbaikan kinerja model melalui peningkatan performa model sebelumnya. Algoritma ini menggunakan pendekatan boosting yang melibatkan peningkatan performa model dengan memanfaatkan informasi dari model-model sebelumnya.

Gradient Boosting merupakan algoritma machine learning yang menggabungkan beberapa model kecil menjadi satu model yang lebih kuat dan lebih baik dalam memprediksi data. Algoritma ini bekerja dengan mengukur eror dari model sebelumnya dan menggunakan informasi tersebut untuk memperbaiki performa model berikutnya.

Cara Kerja Gradient Boosting

Cara kerja algoritma ini melibatkan proses pembentukan dan perbaikan model. Proses ini dilakukan dengan beberapa langkah sebagai berikut.

1. Inisialisasi Prediksi

Pada tahap ini kita melihat data yang mewakili prediksi awal untuk setiap individu. Untuk metode klasifikasi, inisialisasi akan sama dengan log(odss) dari variabel dependen. Setelah itu, dilanjutkan dengan memasukan hasil log(odss) ke dalama rumus logistic function.

cara kerja gradient boosting tahap 1

2. Menghitung Nilai Residual

Setelah mengetahui predicted value, selanjutnya adalah menghitung nilai residual menggunakan rumus residual dengan actial value bernilai 0 untuk No dan 1 untuk Yes.

Baca juga :   Sentiment Analysis: Pengertian, Cara Kerja dan Manfaat

Residual = Actual value – Predicted value

3. Memprediksi Nilai Residual

Dalam tahap ini akan dibuat Decision Tree yang berisikan angka prediksi nilai residual. Diperlukan proses transformasi untuk menghitung prediksi nilai resiudal di setiap datanya. Berikut merupakan rumus umum yang digunakan untuk transformasi.

cara kerja gradient boosting tahap 2

4. Nilai Probabilitas Baru untuk Data yang Dependen

Sampel dataset akan dijalankan dengan melalui Decision Tree yang berisikan nilai residual yang baru. Residual yang diperoleh untuk setiap pengamatan akan ditambahkan ke prediksi sebelumnya untuk mengetahui keakuratan dari data tersebut.

cara kerja gradient boosting tahap 3

5. Mendapatkan Nilai Baru Residual

Setelah mengetahui nilai probabilitas dari seluruh data, selanjutnya adalah menghitung nilai residual dari masing-masing data dengan mengurangi nilai prediksi baru dari actual value.

Ulangi tahap ke tiga hingga nilai residual mendekati nol atau jumlah literasi sesuai dengan hyperparameter ketika menjalankan algoritmanya.

6. Komputasi Final

Setelah mengetahui semua nilai probabilitas dan residual yang baru, maka nilai final dari prediksi suatu data didapatkan dari rumus berikut.

cara kerja gradient boosting tahap 4

Dengan demikian dapat disimpulkan cara bekerjanya dengan membentuk dan memperbaiki model dengan mengukur error dan memanfaatkan informasi yang diperoleh untuk memperbaiki model berikutnya.

Kelebihan dan Kekurangan

Adapun kelebihan dan kekurangannya sebagai berikut.

Kelebihan

  1. Memiliki performa yang baik dalam mengatasi masalah overfitting dan memperbaiki performa model.
  2. Bisa digunakan dalam berbagai aplikasi machine learning seperti klasifikasi, regresi dan analisis kesalahan.
  3. Kemampuan untuk memperbaiki performa model dengan memanfaatkan informasi error dari model sebelumnya.
  4. Dapat digunakan dengan berbagai jenis data, baik data numerik maupun data kategorik.

Kekurangan

  1. Sangat sensitif terhadap oulier dan noise pada data, yang dapat mempengaruhi performa model.
  2. Membutuhkan tunning parameter yang baik untuk mencapai performa baik.
  3. Bisa menjadi sulit untuk dipahami bagi pemula.
  4. Membutuhkan pengetahuan dan pemahaman tentang gradient descent.
Baca juga :   Algoritma Adalah: Jenis, Fungsi dan Contoh

Judul Skripsi Gradient Boosting

Berikut beberapa contoh judul skripsi yang menggunakan algoritma ini.

  1. Analisa prediksi harga saham dengan menggunakan algoritma Gradient Boosting.
  2. Penerapan Gradient Boosting untuk memprediksi kualitas biner produk.
  3. Perbandingan performa algoritma Gradient Boosting dan Random Forest untuk klasifikasi sentimen.
  4. Pemodelan prediksi penjualan dengan algoritma Gradient Boosting.
  5. Penggunaan Gradient Boosting untuk memprediksi pertandingan sepak bola.

Kesimpulan

Pada pembelajaran kita di atas dapat kita simpulkan bahwa Gradient Boosting adalah teknik machine learning yang berkembang pada awal tahun 2000-an dan pertama kali dikembangkan oleh Jerome Friedman. Teknik ini menggabungkan beberapa model kecil menjadi satu model besar dengan teknik boosting dan membuat model baru dengan memperbaiki model sebelumnya.

Artikel ini merupakan bagian dari seri artikel belajar Kecerdasan Buatan dan jika ada ide topik yang mau kami bahas silahkan komen di bawah ya..