Gradient Boosting: Pengertian, Cara Kerja dan Contoh Skripsi

Gradient Boosting merupakan salah satu teknik Machine Learning yang berkembang pada awal tahun 2000-an. Teknik ini pertama kali dikembangkan oleh Jerome Friedman pada tahun 1999 dan diterbitkan dalam makalah yang berjudul “Additive Logistic Regression: A  Statistical View of Boosting”.

Nah, sebenarnya apasih Gradient Boosting ini? yuk simak kita akan belajar bersama-sama.

Apa Itu Gradient Boosting?

Gradient Boosting adalah salah satu metode Machine Learning yang berfokus pada perbaikan kinerja model melalui peningkatan performa model sebelumnya. Algoritma ini menggunakan pendekatan boosting yang melibatkan peningkatan performa model dengan memanfaatkan informasi dari model-model sebelumnya.

Gradient Boosting merupakan algoritma machine learning yang menggabungkan beberapa model kecil menjadi satu model yang lebih kuat dan lebih baik dalam memprediksi data. Algoritma ini bekerja dengan mengukur eror dari model sebelumnya dan menggunakan informasi tersebut untuk memperbaiki performa model berikutnya.

Cara Kerja Gradient Boosting

Cara kerja algoritma ini melibatkan proses pembentukan dan perbaikan model. Proses ini dilakukan dengan beberapa langkah sebagai berikut.

1. Prediksi Awal

Proses Gradient Boosting dimulai dengan membuat prediksi awal yang sangat sederhana. Pada kasus regresi, prediksi awal biasanya berupa nilai rata-rata dari seluruh data target:

$$\hat{y}_{0}=\frac{1}{n}\sum_{i=1}^{n} y_{i}$$

Keterangan:

• $\hat{y}_{0}$​ : prediksi awal model
• $y_{i}$ ​ : nilai aktual data ke-$i$i
• $n$ : jumlah data

Prediksi awal ini berfungsi sebagai baseline sebelum model melakukan perbaikan bertahap.

2. Menghitung Error (Residual)

Setelah prediksi awal diperoleh, langkah berikutnya adalah menghitung error atau residual, yaitu selisih antara nilai aktual dan hasil prediksi:

$$\text{Error}_{i}=y_{i}-\hat{y}_{0}$$

Keterangan:

• $\text{Error}_{i}$​ : kesalahan prediksi pada data ke-$i$i
• $y_{i}$ ​ : nilai aktual
• $\hat{y}_{0}$ ​ : prediksi awal

Residual ini menunjukkan bagian yang belum bisa diprediksi dengan baik oleh model sebelumnya.

3. Melatih Model untuk Memperbaiki Error

Model berikutnya (weak learner) dilatih untuk mempelajari pola error, bukan langsung memprediksi nilai target:

$$h_{1}(x)\approx \text{Error}$$

Keterangan:

• $h_{1}(x)$ : model pertama yang bertugas memperbaiki kesalahan
• $x$ : data input (fitur)
• $\text{Error}$ : nilai kesalahan yang ingin diperbaiki

Dengan cara ini, setiap model baru fokus pada kesalahan yang tersisa.

4. Memperbarui Prediksi

Hasil prediksi dari model baru kemudian ditambahkan ke prediksi sebelumnya dengan faktor learning rate agar perubahan lebih stabil:

$$\hat{y}_{1}=\hat{y}_{0}+\alpha \cdot h_{1}(x)$$

Keterangan:

• $\hat{y}_{1}$ : prediksi setelah iterasi pertama
• $\alpha$ : learning rate
• $h_{1}(x)$ : prediksi model perbaikan pertama

Learning rate mengontrol seberapa besar kontribusi model baru terhadap hasil akhir.

5. Proses Iteratif

Proses ini dilakukan berulang. Pada iterasi ke-$m$m, error dihitung kembali berdasarkan prediksi terbaru:

$$\text{Error}_{i}=y_{i}-\hat{y}_{m-1}$$

Keterangan:

• $\hat{y}_{m-1}$ : prediksi pada iterasi sebelumnya
• $\text{Error}_{i}$ ​ : kesalahan terbaru yang harus diperbaiki

Model ke-$m$ kemudian dilatih untuk memperbaiki error tersebut:

$$h_{m}(x)\approx y-\hat{y}_{m-1}$$

Keterangan:

• $h_{m}(x)$ : model perbaikan pada iterasi ke-$m$m
• $m$ : urutan iterasi

6. Model Akhir Gradient Boosting

Setelah beberapa iterasi, model akhir merupakan gabungan dari seluruh proses perbaikan:$$\hat{y}=\hat{y}_{0}+\alpha \sum_{m=1}^{M} h_{m}(x)$$

Keterangan:

• $\hat{y}$​ : hasil prediksi akhir
• $M$ : jumlah total iterasi
• $h_{m}(x)$ : model perbaikan pada setiap iterasi
• $\alpha$ : learning rate

Model akhir ini menunjukkan bahwa Gradient Boosting bekerja dengan menggabungkan banyak model sederhana untuk menghasilkan prediksi yang lebih akurat.

Kelebihan dan Kekurangan

Adapun kelebihan dan kekurangannya sebagai berikut.

Kelebihan Gradient Boosting

1. Memiliki performa yang baik dalam mengatasi masalah overfitting dan memperbaiki performa model.
2. Bisa digunakan dalam berbagai aplikasi machine learning seperti klasifikasi, regresi dan analisis kesalahan.
3. Kemampuan untuk memperbaiki performa model dengan memanfaatkan informasi error dari model sebelumnya.
4. Dapat digunakan dengan berbagai jenis data, baik data numerik maupun data kategorik.

Kekurangan Gradient Boosting

1. Sangat sensitif terhadap oulier dan noise pada data, yang dapat mempengaruhi performa model.
2. Membutuhkan tunning parameter yang baik untuk mencapai performa baik.
3. Bisa menjadi sulit untuk dipahami bagi pemula.
4. Membutuhkan pengetahuan dan pemahaman tentang gradient descent.

Judul Skripsi Gradient Boosting

Berikut beberapa contoh judul skripsi yang menggunakan algoritma ini.

1. Analisa prediksi harga saham dengan menggunakan algoritma Gradient Boosting.
2. Penerapan Gradient Boosting untuk memprediksi kualitas biner produk.
3. Perbandingan performa algoritma Gradient Boosting dan Random Forest untuk klasifikasi sentimen.
4. Pemodelan prediksi penjualan dengan algoritma Gradient Boosting.
5. Penggunaan Gradient Boosting untuk memprediksi pertandingan sepak bola.

Kesimpulan

Pada pembelajaran kita di atas dapat kita simpulkan bahwa Gradient Boosting adalah teknik machine learning yang berkembang pada awal tahun 2000-an dan pertama kali dikembangkan oleh Jerome Friedman. Teknik ini menggabungkan beberapa model kecil menjadi satu model besar dengan teknik boosting dan membuat model baru dengan memperbaiki model sebelumnya.

Artikel ini merupakan bagian dari seri artikel belajar Kecerdasan Buatan dan jika ada ide topik yang mau kami bahas silahkan komen di bawah ya..