Meta Learning: Pengertian, Kelebihan, dan Contohnya

Meta learning, atau learning-to-learn, telah mengalami peningkatan minat yang dramatis dalam beberapa tahun terakhir. Tidak seperti pendekatan AI konvensional, di mana tugas diselesaikan dari awal menggunakan algoritme pembelajaran tetap. Algoritma ini bertujuan untuk meningkatkan algoritma dan pengalaman pembelajaran.

Paradigma ini memberikan peluang untuk mengatasi banyak tantangan konvensional dalam deep learning, termasuk kemacetan data dan komputasi serta generalisasi. Disini kita akan membahas definisi meta-learning dan menempatkannya mengenai bidang terkait seperti transfer learning dan optimasi hyperparameter. Kemudian mengusulkan taksonomi baru yang menyediakan partisi yang lebih komprehensif dari ruang metode pembelajaran meta saat ini. Kami menjelajahi aplikasi dan pencapaian meta-learning yang menjanjikan, seperti beberapa percobaan dan pembelajaran penguatan.

Performa model pembelajaran bergantung pada dataset pelatihan, algoritma, dan parameternya. Diperlukan banyak eksperimen untuk menemukan algoritma dan parameter algoritma dengan performa terbaik. Pendekatan meta-learning membantu mereka menemukan dan mengoptimalkan jumlah percobaan. Hasilnya adalah prediksi yang lebih baik dalam waktu yang lebih singkat. Meta-learning dapat digunakan untuk berbagai model pembelajaran mesin.

Algoritma meta-learning membuat prediksi dengan memasukkan keluaran dan metadata dari algoritma pembelajaran mesin. Algoritma ini dapat belajar menggunakan prediksi terbaik dari algoritma pembelajaran mesin untuk membuat prediksi yang lebih baik. Dalam ilmu komputer, studi dan pendekatan meta-learning dimulai pada 1980-an dan menjadi populer setelah karya Jürgen Schmidhuber dan Yoshua Bengio mengenai subjek tersebut.

Apa itu Meta Learning?

Meta-learning, digambarkan sebagai “learning to learn”, adalah bagian dari pembelajaran mesin di bidang ilmu komputer. Digunakan untuk meningkatkan hasil dan performa algoritma pembelajaran dengan mengubah beberapa aspek algoritma pembelajaran berdasarkan hasil percobaan.

Meta-learning membantu peneliti memahami algoritma mana yang menghasilkan prediksi terbaik/lebih baik dari kumpulan data. Algoritma ini menggunakan metadata algoritma pembelajaran sebagai masukan. Mereka kemudian membuat prediksi dan memberikan informasi tentang kinerja algoritma pembelajaran tersebut sebagai output.

Metadata gambar dalam model pembelajaran dapat mencakup, misalnya, ukuran, resolusi, gaya, tanggal pembuatan, dan pemiliknya. Desain eksperimen sistematis dalam meta-learning adalah tantangan yang paling penting.

Algoritma pembelajaran mesin memiliki beberapa masalah, seperti

Kebutuhan dataset besar untuk pelatihan
Biaya operasional tinggi karena banyaknya percobaan/percobaan selama fase pelatihan
Eksperimen/uji coba membutuhkan waktu lama untuk menemukan model terbaik yang berkinerja terbaik untuk kumpulan data tertentu.

Meta-learning dapat membantu algoritma pembelajaran mesin mengatasi tantangan ini dengan mengoptimalkan dan menemukan algoritme pembelajaran yang berperforma lebih baik.

Cara Kerja Meta Learning

Secara umum, algoritma meta-learning dilatih menggunakan output (prediksi model) dan metadata dari algoritma pembelajaran mesin. Setelah pelatihan selesai, keterampilannya dikirim untuk pengujian dan digunakan untuk membuat prediksi akhir.

Meta-learning mencakup tugas-tugas seperti

Mengamati kinerja berbagai model pembelajaran mesin pada tugas pembelajaran
Belajar dari metadata
Proses pembelajaran yang lebih cepat untuk tugas-tugas baru

Misalnya, kita mungkin ingin melatih model pembelajaran mesin untuk memberi label ras anjing yang berbeda.

Pertama, kita membutuhkan kumpulan data beranotasi.
Model ML yang berbeda dibuat di set pelatihan. Mereka hanya bisa fokus pada bagian tertentu dari kumpulan data.
Proses meta-pelatihan digunakan untuk meningkatkan kinerja model ini
Terakhir, model pelatihan meta dapat digunakan untuk membangun model baru dari beberapa contoh berdasarkan pengalamannya dengan proses pelatihan sebelumnya.

Pendekatan dan Aplikasi Meta Learning

Meta-learning digunakan di berbagai bidang domain khusus pembelajaran mesin. Ada berbagai pendekatan dalam meta-learning seperti pendekatan berbasis model, berbasis metrik, dan berbasis optimisasi. Di bawah ini kami telah menjelaskan secara singkat beberapa pendekatan dan metode umum dalam bidang meta-learning.

Metric Learning

Metric Learning berarti mempelajari ruang metrik untuk prediksi. Model ini memberikan hasil yang baik dalam beberapa tugas klasifikasi.

Model-Agnostic Meta-Learning (MAML)

Jaringan saraf dilatih menggunakan beberapa contoh sehingga model lebih cepat beradaptasi dengan tugas baru. MAML adalah pengoptimalan umum dan algoritme agnostik tugas yang melatih parameter model untuk pembelajaran cepat dengan sedikit pembaruan gradien.

Recurrent Neural Networks (RNNs)

Recurrent Neural Networks (RNNs) adalah kelas / jenis jaringan saraf tiruan. Mereka digunakan untuk berbagai masalah pembelajaran mesin seperti masalah yang memiliki data berurutan atau data deret waktu. Model RNN umumnya digunakan untuk terjemahan Bahasa, pengenalan ucapan, dan pengenalan tulisan tangan. Dalam meta-learning, RNN digunakan sebagai alternatif untuk membuat model berulang yang dapat mengumpulkan data secara berurutan dari dataset dan memprosesnya sebagai input baru.

Stacking Generalization

Stacking adalah subbidang pembelajaran ensemble dan digunakan dalam model meta-learning. Model pembelajaran yang diawasi dan tidak diawasi juga mendapat manfaat dari penggabungan. Penumpukan melibatkan langkah-langkah berikut:

Algoritma pembelajaran dilatih menggunakan data yang tersedia
Algoritma penggabungan (misalnya model meta-learning atau model regresi logistik) dibuat untuk menggabungkan semua prediksi dari algoritma pembelajaran ini, yang disebut anggota ansambel.
Algoritma penggabungan digunakan untuk menghasilkan prediksi akhir.

Keuntungan Meta Learning

Algoritma meta-learning banyak digunakan untuk meningkatkan solusi pembelajaran mesin. Manfaat dari algoritma ini adalah

Akurasi prediksi model yang lebih tinggi:

Optimalisasi algoritme pembelajaran: Misalnya, optimalisasi hyperparameter untuk mencapai hasil terbaik. Dengan demikian, tugas pengoptimalan ini, yang biasanya dilakukan oleh manusia, dilakukan menggunakan algoritma meta-learning.
Membantu mempelajari algoritme dengan lebih baik beradaptasi dengan perubahan kondisi
Mengidentifikasi petunjuk untuk merancang algoritma pembelajaran yang lebih baik

Proses pelatihan lebih cepat dan lebih murah

Mendukung pembelajaran dari lebih sedikit contoh
Tingkatkan kecepatan proses pembelajaran dengan membatasi eksperimen yang diperlukan

Membangun model yang lebih umum: belajar menyelesaikan banyak tugas, bukan hanya satu tugas: meta-learning tidak berfokus pada melatih satu model pada satu kumpulan data tertentu

Optimalisasi Meta Learning

Hyperparameter adalah parameter yang nilainya memandu proses pembelajaran. Ini adalah parameter yang ditentukan sebelum proses pembelajaran dimulai. Hyperparameter memiliki efek langsung pada kualitas proses pelatihan. Hyperparameter dapat disetel. Kasus representatif dari hyperparameter adalah jumlah cabang di pohon keputusan.

Banyak model pembelajaran mesin memiliki banyak hyperparameter yang dapat dioptimalkan. Kami menyebutkan bahwa hyperparameter memiliki pengaruh besar pada proses pelatihan. Proses pemilihan hyperparameter secara dramatis memengaruhi seberapa baik algoritme belajar. Namun, tantangan muncul dengan kompleksitas model atau jaringan saraf yang terus meningkat. Karena kerumitan model, mereka semakin sulit dikonfigurasi.