Meta learning, atau learning-to-learn, telah mengalami peningkatan minat yang dramatis dalam beberapa tahun terakhir. Tidak seperti pendekatan AI konvensional, di mana tugas diselesaikan dari awal menggunakan algoritme pembelajaran tetap. Algoritma ini bertujuan untuk meningkatkan algoritma dan pengalaman pembelajaran.
Paradigma ini memberikan peluang untuk mengatasi banyak tantangan konvensional dalam deep learning, termasuk kemacetan data dan komputasi serta generalisasi. Disini kita akan membahas definisi meta-learning dan menempatkannya mengenai bidang terkait seperti transfer learning dan optimasi hyperparameter. Kemudian mengusulkan taksonomi baru yang menyediakan partisi yang lebih komprehensif dari ruang metode pembelajaran meta saat ini. Kami menjelajahi aplikasi dan pencapaian meta-learning yang menjanjikan, seperti beberapa percobaan dan pembelajaran penguatan.
Performa model pembelajaran bergantung pada dataset pelatihan, algoritma, dan parameternya. Diperlukan banyak eksperimen untuk menemukan algoritma dan parameter algoritma dengan performa terbaik. Pendekatan meta-learning membantu mereka menemukan dan mengoptimalkan jumlah percobaan. Hasilnya adalah prediksi yang lebih baik dalam waktu yang lebih singkat. Meta-learning dapat digunakan untuk berbagai model pembelajaran mesin.
Algoritma meta-learning membuat prediksi dengan memasukkan keluaran dan metadata dari algoritma pembelajaran mesin. Algoritma ini dapat belajar menggunakan prediksi terbaik dari algoritma pembelajaran mesin untuk membuat prediksi yang lebih baik. Dalam ilmu komputer, studi dan pendekatan meta-learning dimulai pada 1980-an dan menjadi populer setelah karya Jürgen Schmidhuber dan Yoshua Bengio mengenai subjek tersebut.
Apa itu Meta Learning?
Meta-learning, digambarkan sebagai “learning to learn”, adalah bagian dari pembelajaran mesin di bidang ilmu komputer. Digunakan untuk meningkatkan hasil dan performa algoritma pembelajaran dengan mengubah beberapa aspek algoritma pembelajaran berdasarkan hasil percobaan.
Meta-learning membantu peneliti memahami algoritma mana yang menghasilkan prediksi terbaik/lebih baik dari kumpulan data. Algoritma ini menggunakan metadata algoritma pembelajaran sebagai masukan. Mereka kemudian membuat prediksi dan memberikan informasi tentang kinerja algoritma pembelajaran tersebut sebagai output.
Metadata gambar dalam model pembelajaran dapat mencakup, misalnya, ukuran, resolusi, gaya, tanggal pembuatan, dan pemiliknya. Desain eksperimen sistematis dalam meta-learning adalah tantangan yang paling penting.
Algoritma pembelajaran mesin memiliki beberapa masalah, seperti
- Kebutuhan dataset besar untuk pelatihan
- Biaya operasional tinggi karena banyaknya percobaan/percobaan selama fase pelatihan
- Eksperimen/uji coba membutuhkan waktu lama untuk menemukan model terbaik yang berkinerja terbaik untuk kumpulan data tertentu.
Meta-learning dapat membantu algoritma pembelajaran mesin mengatasi tantangan ini dengan mengoptimalkan dan menemukan algoritme pembelajaran yang berperforma lebih baik.
Cara Kerja Meta Learning
Secara umum, algoritma meta-learning dilatih menggunakan output (prediksi model) dan metadata dari algoritma pembelajaran mesin. Setelah pelatihan selesai, keterampilannya dikirim untuk pengujian dan digunakan untuk membuat prediksi akhir.
Meta-learning mencakup tugas-tugas seperti
- Mengamati kinerja berbagai model pembelajaran mesin pada tugas pembelajaran
- Belajar dari metadata
- Proses pembelajaran yang lebih cepat untuk tugas-tugas baru
Misalnya, kita mungkin ingin melatih model pembelajaran mesin untuk memberi label ras anjing yang berbeda.
- Pertama, kita membutuhkan kumpulan data beranotasi.
- Model ML yang berbeda dibuat di set pelatihan. Mereka hanya bisa fokus pada bagian tertentu dari kumpulan data.
- Proses meta-pelatihan digunakan untuk meningkatkan kinerja model ini
- Terakhir, model pelatihan meta dapat digunakan untuk membangun model baru dari beberapa contoh berdasarkan pengalamannya dengan proses pelatihan sebelumnya.
Pendekatan dan Aplikasi Meta Learning
Meta-learning digunakan di berbagai bidang domain khusus pembelajaran mesin. Ada berbagai pendekatan dalam meta-learning seperti pendekatan berbasis model, berbasis metrik, dan berbasis optimisasi. Di bawah ini kami telah menjelaskan secara singkat beberapa pendekatan dan metode umum dalam bidang meta-learning.
Metric Learning
Metric Learning berarti mempelajari ruang metrik untuk prediksi. Model ini memberikan hasil yang baik dalam beberapa tugas klasifikasi.
Model-Agnostic Meta-Learning (MAML)
Jaringan saraf dilatih menggunakan beberapa contoh sehingga model lebih cepat beradaptasi dengan tugas baru. MAML adalah pengoptimalan umum dan algoritme agnostik tugas yang melatih parameter model untuk pembelajaran cepat dengan sedikit pembaruan gradien.
Recurrent Neural Networks (RNNs)
Recurrent Neural Networks (RNNs) adalah kelas / jenis jaringan saraf tiruan. Mereka digunakan untuk berbagai masalah pembelajaran mesin seperti masalah yang memiliki data berurutan atau data deret waktu. Model RNN umumnya digunakan untuk terjemahan Bahasa, pengenalan ucapan, dan pengenalan tulisan tangan. Dalam meta-learning, RNN digunakan sebagai alternatif untuk membuat model berulang yang dapat mengumpulkan data secara berurutan dari dataset dan memprosesnya sebagai input baru.
Stacking Generalization
Stacking adalah subbidang pembelajaran ensemble dan digunakan dalam model meta-learning. Model pembelajaran yang diawasi dan tidak diawasi juga mendapat manfaat dari penggabungan. Penumpukan melibatkan langkah-langkah berikut:
- Algoritma pembelajaran dilatih menggunakan data yang tersedia
- Algoritma penggabungan (misalnya model meta-learning atau model regresi logistik) dibuat untuk menggabungkan semua prediksi dari algoritma pembelajaran ini, yang disebut anggota ansambel.
- Algoritma penggabungan digunakan untuk menghasilkan prediksi akhir.
Keuntungan Meta Learning
Algoritma meta-learning banyak digunakan untuk meningkatkan solusi pembelajaran mesin. Manfaat dari algoritma ini adalah
Akurasi prediksi model yang lebih tinggi:
- Optimalisasi algoritme pembelajaran: Misalnya, optimalisasi hyperparameter untuk mencapai hasil terbaik. Dengan demikian, tugas pengoptimalan ini, yang biasanya dilakukan oleh manusia, dilakukan menggunakan algoritma meta-learning.
- Membantu mempelajari algoritme dengan lebih baik beradaptasi dengan perubahan kondisi
- Mengidentifikasi petunjuk untuk merancang algoritma pembelajaran yang lebih baik
Proses pelatihan lebih cepat dan lebih murah
- Mendukung pembelajaran dari lebih sedikit contoh
- Tingkatkan kecepatan proses pembelajaran dengan membatasi eksperimen yang diperlukan
Membangun model yang lebih umum: belajar menyelesaikan banyak tugas, bukan hanya satu tugas: meta-learning tidak berfokus pada melatih satu model pada satu kumpulan data tertentu
Optimalisasi Meta Learning
Hyperparameter adalah parameter yang nilainya memandu proses pembelajaran. Ini adalah parameter yang ditentukan sebelum proses pembelajaran dimulai. Hyperparameter memiliki efek langsung pada kualitas proses pelatihan. Hyperparameter dapat disetel. Kasus representatif dari hyperparameter adalah jumlah cabang di pohon keputusan.
Banyak model pembelajaran mesin memiliki banyak hyperparameter yang dapat dioptimalkan. Kami menyebutkan bahwa hyperparameter memiliki pengaruh besar pada proses pelatihan. Proses pemilihan hyperparameter secara dramatis memengaruhi seberapa baik algoritme belajar. Namun, tantangan muncul dengan kompleksitas model atau jaringan saraf yang terus meningkat. Karena kerumitan model, mereka semakin sulit dikonfigurasi.
Pertimbangkan jaringan saraf. Insinyur manusia dapat mengoptimalkan beberapa parameter untuk konfigurasi. Ini dilakukan melalui eksperimen. Namun jaringan saraf yang dalam memiliki sejumlah hyperparameter. Sistem seperti itu menjadi terlalu rumit bagi manusia untuk dioptimalkan sepenuhnya.
Ada banyak cara untuk mengoptimalkan hyperparameter.
Grid Search: Metode ini menggunakan hyperparameter yang telah ditentukan secara manual. Sekelompok parameter yang telah ditentukan dicari yang paling kuat. Pencarian grid melibatkan mencoba semua kemungkinan kombinasi nilai hyperparameter. Model kemudian memutuskan nilai hyperparameter yang paling tepat. Namun cara ini dianggap tradisional karena memakan waktu dan tidak efisien.
Random Search: Pencarian grid adalah metode yang lengkap. Ini melibatkan pengikatan semua kemungkinan kombinasi nilai. Metode ini menggantikan proses yang melelahkan ini dengan pencarian acak. Model membuat kombinasi acak dan mencoba menyesuaikan kumpulan data untuk menguji keakuratannya. Karena pencarian dilakukan secara acak, ada kemungkinan model akan kehilangan beberapa kombinasi yang berpotensi optimal. Di sisi lain, ini menggunakan lebih sedikit waktu daripada pencarian grid dan seringkali memberikan solusi yang ideal. Pencarian acak dapat mengungguli pencarian grid. Ini dengan syarat bahwa beberapa hyperparameter diperlukan untuk mengoptimalkan algoritme.