Artikel ini berfokus pada evaluasi model pembelajaran mesin berdasarkan hyperparameter tuning. Hyperparameter tuning adalah memilih satu set hyperparameter optimal untuk algoritma pembelajaran. Hyperparameter adalah argumen model yang nilainya ditetapkan sebelum proses pembelajaran dimulai. Kunci algoritma pembelajaran mesin adalah hyperparameter tuning.
Jenis Hyperparameter:
- K di K-NN
- Konstanta regularisasi, tipe kernel, dan konstanta dalam SVM
- Jumlah lapisan, jumlah unit per lapisan, regularisasi dalam jaringan saraf
Kesalahan generalisasi (pengujian) algoritma pembelajaran memiliki dua komponen utama:
- Bias: kesalahan karena penyederhanaan asumsi model
- Varians: kesalahan karena keacakan set pelatihan
Pertukaran antara komponen-komponen ini ditentukan oleh kompleksitas model dan jumlah data pelatihan. Hyperparameter yang optimal membantu menghindari under-fitting (kesalahan pelatihan dan pengujian keduanya tinggi) dan over-fitting (Kesalahan pelatihan rendah tetapi kesalahan pengujian tinggi)
Alur kerja: Salah satu tugas inti dalam mengembangkan model ML adalah mengevaluasi kinerjanya. Ada beberapa tahapan dalam mengembangkan model ML untuk digunakan dalam aplikasi perangkat lunak.
Evaluasi: Evaluasi model dan evaluasi berkelanjutan mungkin memiliki matriks yang berbeda. Misalnya, evaluasi model dapat mencakup Akurasi atau AUROC dan evaluasi berkelanjutan dapat mencakup nilai seumur hidup pelanggan. Selain itu, distribusi data mungkin berubah antara data historis dan data langsung. Salah satu cara untuk mendeteksi penyimpangan distribusi adalah melalui pemantauan model berkelanjutan.
Hyper-parameter: Parameter model dipelajari dari data dan hyper-parameter disetel untuk mendapatkan yang paling sesuai. Mencari hyper-parameter terbaik bisa membosankan, karenanya menggunakan algoritma pencarian seperti pencarian grid dan pencarian acak digunakan.
Model Evaluation
Matriks Evaluasi: Ini terkait dengan tugas ML. Ada matriks yang berbeda untuk algoritma yang diawasi (klasifikasi dan regresi) dan algoritma yang tidak diawasi. Misalnya, kinerja klasifikasi kelas biner diukur menggunakan Accuracy, AUROC, Log-loss, dan KS.
Mekanisme Evaluasi: Pemilihan model mengacu pada proses pemilihan model yang tepat yang sesuai dengan data. Ini dilakukan dengan menggunakan matriks evaluasi tes. Hasil dari data pengujian dikembalikan ke hyper-parameter tuner untuk mendapatkan hyperparameter yang paling optimal.
Hyperparameter Tuning
Hyperparameter: Regresi linier vanilla tidak memiliki hyperparameter. Varian regresi linier (ridge dan laso) memiliki regularisasi sebagai hyperparameter. Pohon keputusan memiliki kedalaman maksimum dan jumlah minimum pengamatan di daun sebagai hyperparameter.
Optimal Hyperparameters: Hyperparameter mengontrol over-fitting dan under-fitting model. Hyperparameter yang optimal seringkali berbeda untuk kumpulan data yang berbeda. Untuk mendapatkan hyperparameter terbaik, ikuti langkah-langkah berikut:
- Untuk setiap pengaturan hyperparameter yang diusulkan, model dievaluasi
- Hyperparameter yang memberikan model terbaik dipilih.
Pencarian Hyperparameter: Pencarian grid memilih grid nilai hyperparameter dan mengevaluasi semuanya. Menebak diperlukan untuk menentukan nilai min dan maks untuk setiap hyperparameter. Pencarian acak secara acak menilai sampel titik acak di grid. Ini lebih efisien daripada pencarian jaringan. Penyesuaian hyperparameter pintar mengambil beberapa pengaturan hyperparameter, mengevaluasi matriks validasi, menyesuaikan hyperparameter, dan mengevaluasi ulang matriks validasi. Contoh smart hyper-parameter adalah Spearmint (optimasi hyperparameter menggunakan proses Gaussian) dan Hyperopt (optimasi hyperparameter menggunakan estimator berbasis Pohon).