Stochastic Gradient Descent (SGD) adalah salah satu algoritma optimisasi paling populer dalam pembelajaran mesin (machine learning) dan deep learning. Algoritma ini digunakan untuk menyesuaikan bobot (weights) pada model agar dapat meminimalkan fungsi loss, sehingga prediksi yang dihasilkan menjadi lebih akurat.
Dalam praktiknya, optimisasi memiliki peran yang sangat penting karena menentukan seberapa baik model dapat belajar dari data yang tersedia. Tanpa metode optimisasi yang efektif, model cenderung mengalami kesulitan untuk mencapai kinerja yang optimal, bahkan bisa gagal memahami pola dalam data.
Apa itu Gradient Descent?
Sebelum membahas lebih jauh tentang SGD, penting untuk memahami konsep dasar Gradient Descent (GD). Gradient Descent adalah metode numerik untuk menemukan titik minimum dari sebuah fungsi.
Dalam konteks machine learning, fungsi tersebut biasanya adalah fungsi loss yang mengukur seberapa jauh prediksi model dari label sebenarnya.
Prinsipnya sederhana:
- Hitung turunan (gradien) dari fungsi loss terhadap parameter model.
- Perbarui parameter dengan bergerak ke arah yang berlawanan dari gradien.
- Ulangi proses tersebut sampai model mencapai titik minimum (atau mendekati minimum).
Rumus dasar pembaruan bobot adalah:
w = w - η ⋅ ∇L(w)
Di mana:
- w adalah parameter atau bobot model,
- η adalah learning rate (laju pembelajaran),
- ∇L(w) adalah gradien dari fungsi loss terhadap bobot.
Perbedaan Batch Gradient Descent dan Stochastic Gradient Descent
Pada Batch Gradient Descent, gradien dihitung menggunakan seluruh data pelatihan sekaligus. Metode ini stabil, tetapi membutuhkan waktu komputasi yang besar terutama untuk dataset dengan jumlah sampel yang sangat besar.
Sebaliknya, Stochastic Gradient Descent (SGD) menghitung gradien hanya berdasarkan satu sampel acak pada setiap iterasi. Dengan cara ini, perhitungan menjadi jauh lebih cepat, meskipun hasil pembaruan bobot menjadi lebih “berisik” karena dipengaruhi sampel yang dipilih secara acak.
Ada juga variasi lain, yaitu Mini-Batch Gradient Descent, yang menghitung gradien berdasarkan sejumlah kecil data (batch) pada setiap iterasi. Mini-batch sering digunakan dalam deep learning karena memberikan keseimbangan antara efisiensi komputasi dan kestabilan konvergensi.
Kelebihan dan Kekurangan SGD
Kelebihan:
- Efisien untuk dataset besar – Tidak perlu memproses seluruh dataset dalam satu langkah.
- Dapat keluar dari local minima – Karena adanya “noise” pada pembaruan, SGD lebih mungkin menemukan global minima dibanding batch gradient descent.
- Lebih cepat – Sangat cocok digunakan untuk deep learning dengan jutaan parameter.
Kekurangan:
- Konvergensi tidak stabil – Perubahan bobot bisa sangat fluktuatif.
- Membutuhkan tuning learning rate – Jika terlalu besar, bisa gagal konvergen; jika terlalu kecil, proses menjadi lambat.
- Sensitif terhadap skala data – Normalisasi data biasanya diperlukan.
Peningkatan dari SGD
Untuk mengatasi kelemahan tersebut, berbagai variasi dari SGD dikembangkan, seperti:
- SGD dengan Momentum – membantu mengurangi osilasi dengan menambahkan faktor momentum.
- AdaGrad, RMSProp, dan Adam – adaptif terhadap learning rate, membuat optimisasi lebih efisien.
Kesimpulan
Stochastic Gradient Descent merupakan salah satu algoritma optimisasi paling mendasar namun sangat efektif dalam machine learning dan deep learning. Meskipun sederhana, perannya sangat vital dalam melatih model dengan dataset besar.
Dengan pemahaman yang baik tentang cara kerja, kelebihan, serta kelemahannya, praktisi dapat memanfaatkan SGD secara optimal atau memilih variasi yang lebih sesuai dengan kebutuhan proyek.