Cara Kerja Support Vector Regressor (SVR)

Dalam dunia machine learning, regresi bukan hanya soal menarik garis terbaik di antara sekumpulan data. Ketika dataset mulai kompleks, mengandung noise, atau memiliki pola non-linear, metode regresi sederhana seperti Linear Regression sering kali tidak cukup. Di sinilah Support Vector Regressor (SVR) hadir sebagai solusi yang lebih robust dan fleksibel.

Bagi mahasiswa IT, peneliti data, maupun praktisi machine learning, memahami cara kerja SVR sangat penting karena algoritma ini menawarkan pendekatan yang unik dibanding metode regresi lainnya. SVR tidak sekadar meminimalkan error, tetapi juga mengontrol kompleksitas model agar tetap generalizable. Lalu, bagaimana sebenarnya cara kerja Support Vector Regressor?

Apa Itu Support Vector Regressor (SVR)?

Support Vector Regressor (SVR) adalah algoritma regresi yang merupakan pengembangan dari Support Vector Machine (SVM). Jika SVM digunakan untuk klasifikasi, maka SVR digunakan untuk memprediksi nilai kontinu seperti harga, suhu, atau nilai numerik lainnya.

Inti dari SVR adalah menemukan fungsi regresi yang memiliki deviasi maksimum tertentu (epsilon) dari data aktual, sambil tetap menjaga model agar tidak terlalu kompleks. Berbeda dengan regresi linear yang berusaha meminimalkan total error secara langsung, SVR berfokus pada menjaga error tetap berada dalam batas toleransi tertentu.

Konsep ini dikenal sebagai ε-insensitive loss function. Artinya, selama prediksi berada dalam batas epsilon dari nilai sebenarnya, error tersebut tidak dianggap signifikan. Pendekatan ini membuat SVR lebih tahan terhadap noise kecil dalam data.

Selain itu, SVR menggunakan konsep margin seperti pada SVM. Model tidak hanya mencari garis terbaik, tetapi juga mempertimbangkan jarak antara data dan fungsi prediksi. Data yang berada di luar batas epsilon disebut sebagai support vectors, dan hanya titik-titik inilah yang memengaruhi model secara langsung.

Perbedaan SVR dan Support Vector Machine (SVM)

Walaupun berasal dari konsep yang sama, SVR dan SVM memiliki tujuan yang berbeda. SVM digunakan untuk klasifikasi, yaitu memisahkan data ke dalam dua atau lebih kelas dengan hyperplane terbaik. Sedangkan SVR digunakan untuk memprediksi nilai kontinu.

Perbedaan utamanya terletak pada fungsi objektifnya. Pada SVM, tujuan utamanya adalah memaksimalkan margin antara dua kelas. Sedangkan pada SVR, tujuannya adalah menemukan fungsi yang menyimpang dari data aktual tidak lebih dari epsilon, sambil tetap meminimalkan kompleksitas model.

Secara ringkas, berikut perbedaannya:

• SVM
  Fokus pada klasifikasi. Output berupa label kelas.
• SVR
  Fokus pada regresi. Output berupa nilai numerik kontinu.

Namun, keduanya memiliki kesamaan dalam penggunaan konsep support vector dan optimisasi berbasis margin. SVR tetap menggunakan prinsip pemilihan titik-titik kritis (support vectors) yang memengaruhi model, sehingga tidak semua data berperan langsung dalam pembentukan fungsi regresi.

Cara Kerja Support Vector Regressor (SVR)

Cara kerja SVR dapat dianalogikan seperti membangun “tabung toleransi” di sekitar garis regresi. Model akan mencoba mencari garis (atau fungsi) yang menempatkan sebanyak mungkin data di dalam tabung tersebut, dengan lebar tabung ditentukan oleh parameter epsilon (ε).

Langkah kerjanya secara umum:

1. Menentukan batas toleransi error (epsilon).
2. Mencari fungsi regresi yang menjaga sebagian besar data tetap berada dalam batas tersebut.
3. Menggunakan support vectors (data di luar batas) untuk menyesuaikan model.

Jika data berada di dalam tabung epsilon, error tidak dihitung. Namun jika berada di luar, maka error akan dihitung dan diminimalkan melalui optimisasi.

Keunggulan pendekatan ini adalah kontrol terhadap overfitting. Dengan adanya parameter regularisasi C, model dapat menyeimbangkan antara margin yang lebar dan kesalahan prediksi.

Secara matematis, SVR menyelesaikan masalah optimisasi dengan meminimalkan fungsi objektif tertentu yang mempertimbangkan kompleksitas model dan penalti error. Hasil akhirnya adalah fungsi regresi yang optimal berdasarkan parameter yang ditentukan.

Rumus Support Vector Regressor (SVR)

Secara matematis, SVR bertujuan meminimalkan fungsi objektif berikut:

$$\frac{1}{2} ||w||^2 + C \sum (\xi_i + \xi_i^*)$$

dengan batasan bahwa error harus berada dalam epsilon atau dikenakan penalti.

Rumus ini mungkin terlihat kompleks, tetapi inti konsepnya sederhana: meminimalkan kompleksitas model sekaligus meminimalkan kesalahan prediksi yang melewati batas toleransi.

Fungsi Objektif SVR

Fungsi objektif SVR terdiri dari dua bagian utama:

1. Regularisasi (½ ||w||²)
   Bagian ini bertujuan meminimalkan kompleksitas model agar tidak overfitting.
2. Penalty Term (C Σ error)
   Bagian ini menghitung penalti terhadap error yang melewati batas epsilon.

Kombinasi keduanya menciptakan keseimbangan antara bias dan variance dalam model.

Penjelasan Variabel dalam Rumus

Beberapa variabel penting dalam SVR:

• w → vektor bobot model
• C → parameter regularisasi
• ξ (xi) → slack variable untuk error
• ε (epsilon) → batas toleransi error

Parameter-parameter ini menentukan seberapa fleksibel atau ketat model dalam menyesuaikan data.

Tahapan Implementasi SVR dalam Machine Learning

1. Data Preprocessing

Data perlu dinormalisasi atau distandarisasi karena SVR sensitif terhadap skala fitur. Tanpa preprocessing yang baik, performa model bisa menurun drastis.

2. Training Model

Model dilatih dengan menentukan parameter seperti C dan epsilon. Biasanya digunakan grid search untuk mencari kombinasi terbaik.

3. Evaluasi Model

Evaluasi dilakukan menggunakan metrik seperti:

• Mean Squared Error (MSE)
• Root Mean Squared Error (RMSE)
• R² Score

Tahap ini memastikan model memiliki performa yang optimal sebelum digunakan untuk prediksi.

Kelebihan Support Vector Regressor

• Tahan terhadap overfitting
• Efektif untuk dataset kecil hingga menengah
• Fleksibel terhadap pola non-linear

Kekurangan Support Vector Regressor

• Sensitif terhadap pemilihan parameter
• Komputasi bisa berat untuk dataset besar
• Interpretasi model tidak sesederhana regresi linear

Kesimpulan

Pada pembahasan kita di atas dapat kita simpulkan bahwa Support Vector Regressor (SVR) adalah algoritma regresi yang kuat dan berbasis optimisasi margin. Dengan konsep epsilon-insensitive loss dan regularisasi, SVR mampu menghasilkan model yang seimbang antara akurasi dan kompleksitas.

Dalam praktiknya, keberhasilan SVR sangat bergantung pada pemilihan parameter seperti C dan epsilon. Dengan tuning yang tepat, SVR dapat menjadi solusi yang sangat efektif untuk berbagai permasalahan prediksi numerik.

Artikel ini merupakan bagian dari seri artikel belajar Cyber Security dan jika ada ide topik yang mau kami bahas silahkan komen di bawah ya..