perbandingan text generations dari gpt dan gpt-2

Perbandingan Text Generations dari GPT dan GPT-2

Data dunia nyata bisa sangat berantakan yang dapat mengacaukan keefektifan model prediktif jika tidak ditangani dengan benar dan tepat waktu.

Konsekuensi dari skewness menjadi lebih jelas ketika model besar dilatih pada kumpulan data yang miring, dan seringkali tidak praktis untuk melatih kembali model tersebut dari awal. Selain itu, jika model-model itu segera diproduksi, kita harus siap dengan implikasinya.

Oleh karena itu, artikel ini akan menguji kemiringan genre model GPT dan GPT-2. Sekarang, mari kita mulai!

Disini kita akan menggunakan model terlatih GPT (openai) dan GPT-2 dari hub Hugging Face. Kita juga akan menggunakan pipeline pembuatan teks Hugging Face untuk mendeteksi apakah kemiringan (karena terlalu banyak atau kurang representasi) terbukti dalam pembuatan teks GPT dan GPT-2.

GPT dilatih pada kumpulan data BooksCorpus, yang terdiri dari sekitar 7000 buku yang tidak diterbitkan, sedangkan GPT-2 dilatih pada WebText, yang ditautkan ke Reddit.

Namun sebelum kita membandingkan, pastikan kedua model yang kita bandingkan memiliki ukuran model yang sama agar memiliki perbandingan yang adil.

Untuk ini, pertama-tama, kita akan menginstal transformer dan mengimpor pustaka yang diperlukan.

!pip install transformers
from transformers import pipeline, set_seed

Selanjutnya, kita akan menentukan nama model yang akan kita gunakan untuk perbandingan text.

model_name1 = “openai-gpt”

model_name2 = “gpt2”

Setelah itu, kita akan menyiapkan saluran untuk tugas pembuatan teks untuk setiap model.

text_generation_gpt = pipeline(“text-generation”, model = model_name1)

text_generation_gpt2 = pipa (“teks-generasi”, model = model_name2)

Sekarang, kita akan mendefinisikan model untuk menghitung jumlah parameter pada masing-masing model.

def model_size(model):
  return sum(params.numel() for params in model.parameters())

Print jumlah parameter dalam GPT dan GPT-2.

print(f"Number of Parameters in GPT: {model_size(text_generation_gpt.model)/1000**2:.1f}M parameters")
print(f"Number of Parameters in GPT-2: {model_size(text_generation_gpt2.model)/1000**2:.1f}M parameters")

>> Output:

  • Number of Parameters in GPT: 116.5M parameters
  • Number of Parameters in GPT-2: 124.4M parameters

Karenanya, kedua model ini adalah versi berukuran serupa.

Perbandingan Text yang Dihasilkan oleh GPT dan GPT-2

Sekarang kita akan mendefinisikan sebuah fungsi untuk menghasilkan penyelesaian dari setiap model.

def enum_pipeline_outputs(pipe, prompt, num_return_sequences):
  out = pipe(prompt, num_return_sequences = num_return_sequences, clean_up_tokenization_spaces = True)
  return "n".join(f"{i+1}." + s["generated_text"] for i,s in enumerate(out))

Kita akan menggunakan perintah untuk menghasilkan empat penyelesaian teks untuk menggambarkan perbandingan antara teks yang dihasilkan dari kedua model.

prompt = "Before they left for the supermarket"

Genereting Empat Penyelesaian Teks Keluaran Untuk GPT

print("Text Generated by GPT for the given prompt:n" + enum_pipeline_outputs(text_generation_gpt, prompt, 4))

Genereting Empat Penyelesaian Teks Keluaran Untuk GPT-2

print("Text Generated by GPT-2 for the given prompt:n" + enum_pipeline_outputs(text_generation_gpt2, prompt, 4))

Kesimpulan

Artikel ini menyajikan perbandingan generasi teks dari GPT dan GPT-2 untuk menguji apakah skewness genre terbukti dalam keluaran teks yang dihasilkan oleh kedua model, yaitu GPT dan GPT-2.

Berikut hasil ringkasan dari artikel ini adalah:

1. Di GPT, ada Genre yang condong ke “romansa” karena representasi novel roman yang berlebihan di BookCorpus. Itu sering membayangkan interaksi romantis antara pria dan wanita.

2. GPT-2 dilatih berdasarkan data dari Reddit. Oleh karena itu sebagian besar mengadopsi “mereka” yang netral dalam generasi teksnya yang memiliki elemen seperti blog atau seperti petualangan.

3. Hasil menyoroti tantangan yang dapat kita hadapi dan yang sebaiknya diatasi saat membuat korpus teks besar. Selain itu, bias dalam perilaku model perlu dipertimbangkan ketika audiens target berinteraksi dengan model tersebut.

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top