Policy Gradient: Teori, Rumus, dan Studi Kasus Praktis

Reinforcement Learning (RL) menjadi salah satu cabang machine learning yang paling menarik dalam beberapa tahun terakhir. Berbeda dengan supervised learning yang bergantung pada data berlabel, Reinforcement Learning bekerja dengan konsep trial and error. Sebuah agen belajar dari interaksinya dengan lingkungan, menerima reward atau punishment, lalu memperbaiki strategi keputusannya secara bertahap. Pendekatan ini sangat relevan untuk masalah dunia nyata seperti game AI, robotika, sistem rekomendasi, hingga autonomous system.

Di antara berbagai pendekatan dalam Reinforcement Learning, Policy Gradient menempati posisi yang cukup penting, terutama ketika masalah yang dihadapi memiliki ruang aksi yang kompleks atau kontinu. Alih-alih belajar nilai suatu aksi seperti pada Q-Learning, Policy Gradient langsung mempelajari kebijakan (policy) terbaik. Pendekatan ini terasa lebih “natural” dan fleksibel, terutama ketika dikombinasikan dengan neural network. Artikel ini akan membahas Policy Gradient secara mendalam, mulai dari teori dasar, penjelasan rumus, hingga studi kasus praktis yang relevan untuk mahasiswa IT, dan praktisi data science.

Apa Itu Policy Gradient?

Policy Gradient adalah metode dalam Reinforcement Learning yang secara langsung mengoptimalkan policy, yaitu fungsi yang menentukan aksi apa yang harus diambil oleh agen pada kondisi tertentu. Jika pendekatan lain berfokus pada estimasi nilai (value function atau Q-function), Policy Gradient justru melewati tahap tersebut dan langsung menjawab pertanyaan inti: “aksi apa yang sebaiknya dilakukan sekarang?”

Secara intuitif, Policy Gradient bekerja dengan cara menaikkan probabilitas aksi-aksi yang menghasilkan reward tinggi dan menurunkan probabilitas aksi yang menghasilkan reward rendah. Policy biasanya direpresentasikan sebagai fungsi parametrik, sering kali menggunakan neural network, dengan parameter yang dilambangkan sebagai θ (theta). Proses belajar dilakukan dengan menyesuaikan parameter ini agar expected reward menjadi maksimal.

Keunggulan utama Policy Gradient adalah kemampuannya menangani action space kontinu, sesuatu yang cukup sulit dilakukan oleh metode berbasis nilai seperti Q-Learning klasik. Dalam dunia nyata, banyak masalah tidak memiliki aksi diskrit sederhana, misalnya mengatur sudut kemudi robot, kecepatan motor, atau kontrol lengan robot. Policy Gradient terasa lebih fleksibel dan realistis untuk kasus-kasus tersebut.

Selain itu, Policy Gradient juga lebih stabil ketika dikombinasikan dengan deep learning. Dengan optimasi langsung pada policy, agen bisa belajar strategi yang lebih halus dan adaptif. Inilah alasan mengapa banyak algoritma modern seperti PPO dan Actor-Critic dibangun di atas konsep Policy Gradient.

Konsep Policy dalam Reinforcement Learning

Policy adalah inti dari Reinforcement Learning. Secara sederhana, policy adalah aturan atau strategi yang digunakan agen untuk menentukan aksi berdasarkan state yang sedang dihadapi. Dalam notasi matematis, policy biasanya ditulis sebagai π(a|s), yang berarti probabilitas agen memilih aksi a ketika berada pada state s.

Terdapat dua jenis policy utama yang sering dibahas.

1. Deterministic policy, di mana satu state selalu menghasilkan satu aksi yang sama. Pendekatan ini sederhana, tetapi kurang fleksibel, terutama pada lingkungan yang kompleks dan penuh ketidakpastian.
2. Stochastic policy, di mana satu state dapat menghasilkan berbagai aksi dengan probabilitas tertentu. Policy Gradient hampir selalu menggunakan stochastic policy karena lebih stabil dan mendukung eksplorasi yang lebih baik.

Dalam implementasi modern, policy sering direpresentasikan menggunakan neural network. State dijadikan input, lalu jaringan menghasilkan parameter distribusi probabilitas aksi. Untuk aksi diskrit, output biasanya berupa softmax probability. Untuk aksi kontinu, output bisa berupa mean dan variance dari distribusi Gaussian. Pendekatan ini memungkinkan agen belajar kebijakan yang sangat kompleks hanya dari interaksi dengan lingkungan.

Konsep policy inilah yang menjadi fondasi Policy Gradient. Dengan memahami bagaimana policy bekerja dan direpresentasikan, akan jauh lebih mudah memahami mengapa optimasi langsung pada policy bisa menjadi pendekatan yang sangat kuat dalam Reinforcement Learning.

Teori Dasar Policy Gradient

Teori di balik Policy Gradient berangkat dari satu tujuan utama yaitu memaksimalkan expected cumulative reward. Reward yang diterima agen tidak hanya dilihat secara langsung, tetapi sebagai akumulasi jangka panjang dari seluruh episode. Objective function dalam Policy Gradient biasanya ditulis sebagai ekspektasi reward terhadap policy yang digunakan.

Alih-alih mencari nilai optimal untuk setiap state-action pair, Policy Gradient langsung menghitung gradien dari objective function terhadap parameter policy. Dengan kata lain, algoritma ini bertanya: “Bagaimana perubahan kecil pada parameter policy akan memengaruhi total reward?” Jawaban dari pertanyaan inilah yang digunakan untuk memperbarui parameter model.

Pendekatan ini memiliki intuisi yang cukup manusiawi. Jika suatu aksi menghasilkan hasil yang baik, maka probabilitas memilih aksi tersebut di masa depan ditingkatkan. Jika hasilnya buruk, probabilitasnya dikurangi. Proses ini diulang berkali-kali hingga policy menjadi optimal atau mendekati optimal.

Namun, teori Policy Gradient juga membawa tantangan. Estimasi gradien sering kali memiliki variance yang tinggi, terutama pada lingkungan yang kompleks. Hal ini bisa membuat proses training menjadi tidak stabil. Karena itu, banyak pengembangan lanjutan seperti baseline, advantage function, dan Actor-Critic diperkenalkan untuk mengurangi variance dan meningkatkan stabilitas.

Rumus Policy Gradient

Rumus Policy Gradient memang sering terlihat menakutkan bagi pemula, terutama karena notasinya yang matematis. Namun, jika diurai langkah demi langkah, konsep dasarnya sebenarnya cukup intuitif. Secara umum, rumus Policy Gradient dapat dituliskan sebagai:

$$\nabla_\theta J(\theta) = \mathbb{E}\left[ \nabla_\theta \log \pi_\theta(a|s) \cdot R \right]$$

Pada persamaan ini:

• J(θ) adalah objective function yang ingin dimaksimalkan, biasanya berupa ekspektasi total reward.
• πθ(a∣s) adalah policy, yaitu fungsi yang memetakan state $s$s ke probabilitas aksi $a$a, dengan parameter $\theta$θ.
• R adalah reward (atau return) yang diterima setelah melakukan aksi tersebut.

Inti dari rumus ini adalah mengalikan gradien log-probabilitas aksi dengan reward yang diperoleh. Dengan kata lain, algoritma mencoba memperkuat aksi-aksi yang menghasilkan reward tinggi dan melemahkan aksi-aksi yang menghasilkan reward rendah.

Bagian ∇θlog⁡πθ(a∣s) menunjukkan seberapa sensitif probabilitas suatu aksi terhadap perubahan parameter $\theta$. Jika sebuah aksi menghasilkan reward yang besar, maka gradien ini akan mendorong parameter $\theta$ untuk meningkatkan probabilitas aksi tersebut di masa depan. Sebaliknya, jika reward yang diterima kecil atau negatif, probabilitas aksi tersebut akan dikurangi.

Pendekatan ini dikenal sebagai likelihood ratio trick. Teknik ini memungkinkan kita menghitung gradien dari objective function tanpa perlu mengetahui atau memodelkan dinamika lingkungan secara eksplisit. Inilah salah satu keunggulan utama metode Policy Gradient adalah algoritma ini bersifat model-free dan dapat diterapkan pada lingkungan yang kompleks atau tidak diketahui.

Dalam praktiknya, penggunaan reward mentah sering kali menyebabkan variance yang tinggi. Oleh karena itu, reward biasanya diganti dengan return terdiskon atau advantage function, yang membantu membuat proses training lebih stabil dan efisien. Meskipun rumus dasarnya terlihat sederhana, implementasi Policy Gradient tetap membutuhkan pemahaman yang matang agar proses pembelajaran berjalan dengan baik.

Cara Kerja Algoritma Policy Gradient

Cara kerja Policy Gradient dapat dijelaskan melalui beberapa tahapan utama yang berulang.

1. Interaksi dengan lingkungan
   Agen menjalankan policy saat ini untuk berinteraksi dengan environment dan mengumpulkan episode yang berisi state, action, dan reward.
2. Perhitungan return (reward)
   Dari setiap episode, agen menghitung total reward atau return sebagai ukuran kualitas aksi yang diambil.
3. Perhitungan gradien policy
   Agen menghitung gradien berdasarkan log-probability aksi dan reward (atau advantage) untuk mengetahui arah perbaikan policy.
4. Update parameter policy
   Parameter policy diperbarui menggunakan gradient ascent untuk memaksimalkan expected reward.
5. Proses iteratif
   Langkah-langkah ini diulang hingga policy mencapai performa yang stabil dan optimal.

Jenis-Jenis Algoritma Policy Gradient

Terdapat beberapa varian algoritma Policy Gradient yang umum digunakan:

1. REINFORCE Algorithm
   Algoritma paling dasar yang langsung menggunakan return sebagai sinyal pembelajaran. Sederhana, tetapi memiliki variance tinggi.
2. Vanilla Policy Gradient
   Versi umum dari REINFORCE dengan beberapa optimasi tambahan, tetapi masih cukup sensitif terhadap noise.
3. Actor-Critic Method
   Menggabungkan policy (actor) dan value function (critic) untuk mengurangi variance dan mempercepat konvergensi.
4. Proximal Policy Optimization (PPO)
   Versi modern yang sangat populer karena stabil, efisien, dan mudah diimplementasikan.

Masing-masing memiliki kelebihan dan kekurangan tergantung pada kompleksitas masalah yang dihadapi.

Policy Gradient vs Q-Learning

Perbandingan antara Policy Gradient dan Q-Learning sering menjadi topik diskusi menarik.

Aspek	Policy Gradient	Q-Learning
Pendekatan	Policy-based	Value-based
Action Space	Kontinu & Diskrit	Umumnya Diskrit
Stabilitas	Lebih stabil (varian modern)	Bisa tidak stabil
Kompleksitas	Lebih kompleks	Lebih sederhana

Policy Gradient lebih cocok untuk masalah kompleks, sedangkan Q-Learning unggul pada kasus sederhana dengan aksi diskrit.

Kelebihan Policy Gradient

• Mendukung ruang aksi kontinu
  Policy Gradient sangat efektif untuk masalah dengan aksi kontinu, yang sulit ditangani oleh metode value-based klasik.
• Strategi lebih fleksibel dan adaptif
  Pendekatan ini memungkinkan pembelajaran kebijakan yang halus dan dinamis, cocok untuk lingkungan kompleks dan berubah-ubah.
• Mudah diintegrasikan dengan deep learning
  Policy Gradient bekerja langsung dengan neural network, sehingga menjadi dasar banyak algoritma modern.
• Mendukung stochastic policy
  Algoritma ini secara alami menghasilkan kebijakan probabilistik, berguna untuk eksplorasi dan masalah dengan ketidakpastian tinggi.

Kekurangan Policy Gradient

• Variance gradien tinggi
  Estimasi gradien cenderung tidak stabil, yang dapat menyebabkan fluktuasi performa saat training.
• Kebutuhan data dan komputasi besar
  Dibanding metode sederhana seperti Q-Learning, Policy Gradient umumnya lebih mahal secara resource.
• Konvergensi relatif lambat
  Tanpa teknik tambahan seperti baseline atau advantage function, proses pembelajaran bisa berjalan lebih lambat.
• Membutuhkan pemahaman dan tuning matang
  Pemilihan hyperparameter dan desain training sangat memengaruhi stabilitas dan performa model.

Studi Kasus Praktis Policy Gradient

Dalam praktik, Policy Gradient banyak digunakan pada game AI. Agen belajar mengoptimalkan strategi bermain tanpa aturan eksplisit. Selain itu, pada robotika, Policy Gradient membantu robot belajar mengontrol gerakan secara halus.

Dalam sistem rekomendasi, Policy Gradient dapat digunakan untuk mempelajari urutan rekomendasi yang memaksimalkan engagement pengguna. Pendekatan ini menunjukkan bagaimana teori Policy Gradient dapat diterapkan pada berbagai domain nyata.

Kapan Harus Menggunakan Policy Gradient

Policy Gradient sangat cocok digunakan ketika masalah memiliki ruang aksi kontinu, lingkungan kompleks, atau membutuhkan stochastic policy. Namun, untuk masalah sederhana dengan aksi diskrit, pendekatan value-based bisa lebih efisien.

Memilih algoritma Reinforcement Learning bukan soal mana yang paling canggih, tetapi mana yang paling sesuai dengan kebutuhan masalah.

Kesimpulan

Pada pembahasan kita di atas dapat kita simpulkan bahwa Policy Gradient merupakan pendekatan yang kuat dan fleksibel dalam Reinforcement Learning. Dengan mengoptimalkan policy secara langsung, algoritma ini mampu menangani masalah kompleks yang sulit diselesaikan oleh metode tradisional. Mulai dari teori, rumus, hingga studi kasus, Policy Gradient menunjukkan potensi besar dalam pengembangan AI modern.

Bagi mahasiswa IT, dan peneliti, memahami Policy Gradient membuka pintu menuju pemahaman algoritma-algoritma canggih seperti PPO dan Actor-Critic. Dengan fondasi yang kuat, Policy Gradient tidak hanya menjadi konsep teoritis, tetapi juga alat praktis untuk membangun sistem cerdas di dunia nyata.

Artikel ini merupakan bagian dari seri artikel belajar Kecerdasan Buatan dan jika ada ide topik yang mau kami bahas silahkan komen di bawah ya..