Mengenal Scaling Laws dan Pengaruhnya terhadap Kinerja AI

Perkembangan Artificial Intelligence (AI) tidak hanya ditentukan oleh kecanggihan algoritma, tetapi juga oleh ukuran model, jumlah data pelatihan, dan kemampuan komputasi yang digunakan. Para peneliti berupaya memahami bagaimana faktor-faktor tersebut memengaruhi kemampuan AI melalui sebuah konsep yang dikenal sebagai scaling laws atau hukum penskalaan.

Konsep ini menjadi salah satu landasan penting dalam pengembangan large language model (LLM), seperti ChatGPT. Dengan memahami scaling laws, pengembang dapat memperkirakan kebutuhan sumber daya, mengoptimalkan proses pelatihan, serta menentukan apakah peningkatan ukuran model benar-benar sebanding dengan hasil yang diperoleh.

Namun, semakin besar sebuah model AI, bukan berarti kemampuannya akan selalu meningkat secara proporsional. Ada batasan komputasi, kebutuhan data, dan tantangan teknis yang perlu diperhitungkan. Lantas, apa sebenarnya scaling laws dalam AI, bagaimana cara kerjanya, dan mengapa konsep ini penting bagi masa depan kecerdasan buatan?

Apa Itu Scaling Laws dalam AI?

Scaling laws adalah hukum penskalaan yang menjelaskan hubungan matematis antara perubahan skala suatu sistem AI dan perubahan kinerjanya. Dalam konteks pembelajaran mesin (machine learning), konsep ini digunakan untuk mempelajari bagaimana ukuran model, jumlah data pelatihan, dan sumber daya komputasi memengaruhi kemampuan suatu model.

Secara sederhana, scaling laws membantu menjawab pertanyaan seperti: seberapa besar peningkatan kemampuan AI jika jumlah parameternya ditambah? Berapa banyak data yang dibutuhkan untuk melatih model berukuran tertentu? Dan berapa besar biaya komputasi yang diperlukan untuk mencapai tingkat kinerja yang diinginkan?

Istilah scaling laws berasal dari konsep power law dalam matematika dan statistik. Hukum pangkat menggambarkan hubungan antara dua variabel, ketika perubahan pada satu variabel berkaitan dengan perubahan pada variabel lainnya melalui fungsi pangkat matematis.

Dalam penelitian AI, hubungan tersebut digunakan untuk memperkirakan bagaimana kinerja model berubah ketika skala pelatihannya diperbesar.

Sebagai contoh, peneliti dapat mengamati hubungan antara jumlah parameter model dan tingkat kesalahan prediksi yang dihasilkan. Dari sejumlah percobaan, mereka kemudian menyusun persamaan matematis untuk memperkirakan tingkat kesalahan ketika model diperbesar.

Penerapan hukum pangkat dalam jaringan saraf dikenal sebagai neural scaling laws atau hukum penskalaan jaringan saraf.

Konsep ini menjadi semakin penting seiring berkembangnya foundation model, termasuk model bahasa besar yang digunakan untuk menghasilkan teks, menerjemahkan bahasa, menulis kode, dan memahami berbagai jenis masukan.

Mengapa Scaling Laws Penting dalam Penelitian AI?

Pengembangan AI modern membutuhkan investasi yang besar. Pelatihan model dengan miliaran parameter memerlukan perangkat keras khusus, data dalam jumlah besar, energi, serta waktu pengerjaan yang tidak sedikit. Tanpa perencanaan yang matang, peningkatan ukuran model berpotensi menghasilkan biaya tinggi tanpa peningkatan kemampuan yang sepadan.

Scaling laws membantu peneliti memperkirakan hubungan antara investasi dan hasil yang mungkin diperoleh sebelum memulai pelatihan model dalam skala besar. Ada beberapa alasan mengapa konsep ini penting dalam penelitian dan pengembangan AI.

1. Mengurangi risiko penelitian AI
   Melatih model AI berukuran besar dapat membutuhkan biaya yang sangat tinggi. Selain biaya perangkat keras, pengembang juga perlu memperhitungkan konsumsi energi, penyimpanan data, dan waktu penggunaan infrastruktur komputasi.

   Scaling laws membantu memperkirakan kebutuhan tersebut berdasarkan hasil eksperimen sebelumnya. Dengan demikian, peneliti dapat membandingkan beberapa skenario pengembangan, misalnya melatih model dengan parameter lebih banyak atau menggunakan model yang lebih kecil dengan data pelatihan yang lebih besar.

   Perkiraan tersebut membantu menentukan apakah suatu proyek layak dilanjutkan sebelum sumber daya yang besar digunakan.

2. Membantu memilih model yang tepat
   Tidak semua organisasi perlu membangun model AI dari awal. Banyak perusahaan lebih memilih menggunakan model fondasi yang sudah tersedia, kemudian menyesuaikannya untuk kebutuhan tertentu melalui proses fine-tuning atau penyempurnaan model.

   Scaling laws dapat membantu menentukan model yang sesuai dengan kebutuhan organisasi.

   Model berukuran kecil biasanya lebih mudah dijalankan, membutuhkan perangkat keras yang lebih sederhana, dan memiliki biaya operasional lebih rendah. Sebaliknya, model besar berpotensi memberikan kemampuan yang lebih baik untuk tugas-tugas kompleks.

   Dengan memahami hubungan antara ukuran model dan kinerjanya, organisasi dapat memilih model berdasarkan kebutuhan akurasi, biaya, dan kecepatan pemrosesan.

3. Mengoptimalkan proses pelatihan
   Scaling laws juga digunakan untuk menentukan konfigurasi pelatihan yang lebih efisien. Peneliti dapat memperkirakan kombinasi ukuran model, jumlah data, dan anggaran komputasi yang berpotensi menghasilkan kinerja terbaik.

   Hal ini penting karena model yang terlalu besar belum tentu dilatih secara optimal jika jumlah data yang digunakan tidak mencukupi. Sebaliknya, menambahkan data secara terus-menerus juga tidak selalu menghasilkan peningkatan kinerja yang berarti.

   Melalui scaling laws, pengembang dapat memperkirakan kapan penambahan sumber daya masih memberikan manfaat dan kapan peningkatannya mulai tidak sebanding dengan biaya tambahan.

Empat Parameter Utama dalam Scaling Laws

Penelitian neural scaling laws umumnya berfokus pada empat parameter utama yang saling berhubungan, yaitu ukuran model, ukuran data pelatihan, kinerja setelah pelatihan, dan biaya pelatihan.

1. Ukuran model
   Ukuran model AI biasanya dinyatakan berdasarkan jumlah parameter yang dimilikinya. Parameter merupakan nilai numerik yang dipelajari model selama proses pelatihan. Dalam jaringan saraf, parameter mencakup weights dan bias yang menentukan bagaimana informasi diproses. Parameter membantu model mengenali pola dari data dan menggunakan pola tersebut untuk menghasilkan prediksi atau keluaran.

   Sebagai contoh, model bahasa besar menggunakan parameternya untuk mempelajari hubungan antarkata, struktur kalimat, dan pola bahasa. Sementara itu, model pembuat gambar memanfaatkan parameter untuk mempelajari hubungan antara deskripsi teks dan karakteristik visual.Secara umum, model dengan parameter lebih banyak memiliki kapasitas lebih besar untuk mempelajari pola yang kompleks. Namun, kapasitas tersebut perlu didukung oleh data pelatihan dan sumber daya komputasi yang memadai.

2. Ukuran kumpulan data pelatihan
   Ukuran data pelatihan mengacu pada jumlah data yang digunakan untuk mengajarkan model mengenali pola. Pada tahap pre-training, model bahasa besar dapat menggunakan data berupa teks, dokumen, kode, dan berbagai sumber informasi lainnya.

   Setelah itu, model dapat disesuaikan menggunakan data khusus melalui proses fine-tuning. Dalam konteks ini, kualitas data juga menjadi faktor penting. Data yang lebih banyak belum tentu menghasilkan model yang lebih baik jika mengandung banyak kesalahan, duplikasi, atau informasi yang tidak relevan.

   Sebagai contoh, perusahaan yang ingin mengembangkan chatbot layanan pelanggan dapat menggunakan model fondasi yang sudah tersedia, kemudian melakukan fine-tuning dengan kumpulan percakapan dan dokumen internal yang berkualitas. Jumlah data yang diperlukan bergantung pada tujuan, kompleksitas tugas, serta kemampuan awal model.

3. Kinerja setelah pelatihan
   Kinerja model menunjukkan seberapa baik AI menjalankan tugas yang diberikan setelah melalui proses pelatihan. Pengukuran kinerja dapat dilakukan menggunakan berbagai metrik, bergantung pada jenis model dan tugas yang dikerjakan.Beberapa metrik yang umum digunakan antara lain akurasi, presisi, tingkat kesalahan prediksi, serta penilaian manusia terhadap kualitas keluaran model. Pada large language model, peneliti juga dapat mengukur kemampuan model dalam memahami instruksi, menjawab pertanyaan, atau menghasilkan teks yang sesuai konteks.

   Model yang baik bukan hanya mampu menghasilkan keluaran yang benar pada data pelatihan, tetapi juga dapat menangani masukan baru yang belum pernah ditemui sebelumnya.

4. Biaya pelatihan
   Biaya pelatihan mencakup sumber daya komputasi dan waktu yang dibutuhkan untuk melatih model. Salah satu ukuran yang sering digunakan adalah jumlah operasi komputasi, seperti floating-point operations (FLOPs), yang diperlukan selama pelatihan.

   Dalam praktiknya, biaya pelatihan juga dipengaruhi oleh harga perangkat keras, konsumsi energi, efisiensi perangkat lunak, dan durasi penggunaan infrastruktur. Hubungan antara biaya dan ukuran model tidak selalu sederhana. Menggandakan jumlah data pelatihan, misalnya, tidak otomatis membuat seluruh biaya pelatihan menjadi dua kali lipat.

   Efisiensi proses pelatihan, kemampuan perangkat keras, dan cara model memproses data turut menentukan besarnya biaya yang diperlukan.

Bagaimana Scaling Laws Membantu Mengembangkan AI?

Salah satu temuan penting dari penelitian scaling laws adalah bahwa peningkatan ukuran model umumnya dapat meningkatkan kemampuan AI, tetapi hasilnya bergantung pada keseimbangan antara model, data, dan komputasi.

• Hubungan antara ukuran model dan kinerja
  Penelitian menunjukkan bahwa penambahan parameter pada model bahasa dapat meningkatkan kemampuannya dalam memahami konteks, menghasilkan teks, dan mempelajari pola bahasa. Namun, peningkatan tersebut tidak selalu sebanding dengan penambahan parameter.

  Fenomena ini dikenal sebagai diminishing returns atau hasil yang semakin menurun. Artinya, semakin besar model, semakin kecil peningkatan kinerja yang diperoleh dari penambahan parameter dalam kondisi tertentu.

  Sebagai contoh, jika penambahan parameter dari 10 miliar menjadi 20 miliar menghasilkan peningkatan kemampuan yang cukup besar, penambahan dari 100 miliar menjadi 110 miliar parameter belum tentu memberikan peningkatan dengan besaran yang sama.

  Temuan ini menunjukkan bahwa ukuran model bukan satu-satunya faktor penentu kemampuan AI.

• Pelajaran dari GPT-3 dan Chinchilla
  Salah satu penelitian yang berpengaruh dalam perkembangan scaling laws dilakukan oleh DeepMind pada 2022. Penelitian tersebut menghasilkan model Chinchilla yang memiliki sekitar 70 miliar parameter. Model ini mampu mengungguli sejumlah model bahasa yang lebih besar pada berbagai evaluasi, termasuk model Gopher yang memiliki sekitar 280 miliar parameter.

  Hasil tersebut menunjukkan bahwa model yang lebih kecil dapat mencapai kinerja lebih baik jika dilatih menggunakan jumlah data yang lebih sesuai dengan ukuran modelnya. Sebelumnya, banyak pengembangan model bahasa besar berfokus pada peningkatan jumlah parameter. GPT-3, misalnya, memiliki sekitar 175 miliar parameter, sedangkan MT-NLG dikembangkan dengan sekitar 530 miliar parameter.

  Penelitian Chinchilla memperlihatkan bahwa memperbesar model saja tidak cukup. Jumlah data pelatihan dan anggaran komputasi juga perlu disesuaikan. Temuan ini kemudian mendorong perubahan pendekatan dalam pengembangan model bahasa besar, dari sekadar memperbesar parameter menjadi mengoptimalkan keseimbangan antara model dan data.

• Hubungan antara data pelatihan dan ukuran model
  Model yang lebih besar umumnya membutuhkan data pelatihan yang lebih banyak agar kapasitasnya dapat dimanfaatkan secara efektif. Jika model memiliki kapasitas yang sangat besar, tetapi dilatih menggunakan data yang terlalu sedikit, model berpotensi tidak mempelajari pola secara optimal.

  Sebaliknya, model yang lebih kecil dapat mencapai kinerja baik jika dilatih menggunakan data yang cukup dan relevan. Keseimbangan tersebut menjadi salah satu fokus utama penelitian scaling laws.

  Namun, bukan berarti model yang lebih besar selalu membutuhkan data dalam jumlah tak terbatas. Pada titik tertentu, penambahan data dapat menghasilkan peningkatan kinerja yang semakin kecil. Karena itu, pengembang perlu mempertimbangkan kualitas data, ukuran model, serta tujuan penggunaan AI.

• Hubungan antara kinerja dan arsitektur model
  Arsitektur model mengacu pada desain dan struktur jaringan saraf, termasuk jumlah lapisan, susunan neuron, serta hubungan antarkomponen. Arsitektur menentukan bagaimana model memproses informasi dan mempelajari pola dari data.

  Scaling laws menunjukkan bahwa, dalam kondisi tertentu, perubahan ukuran model dan jumlah data dapat memberikan pengaruh yang lebih besar terhadap kinerja dibandingkan perubahan beberapa aspek arsitektur.

  Namun, hal ini tidak berarti arsitektur model tidak penting. Arsitektur yang kurang sesuai dapat menjadi hambatan bagi peningkatan kinerja. Sebaliknya, desain yang tepat dapat membantu model memanfaatkan sumber daya komputasi dengan lebih efisien.

  Dengan kata lain, scaling laws tidak menggantikan penelitian arsitektur, tetapi membantu peneliti memahami bagaimana desain model berinteraksi dengan ukuran dan sumber daya pelatihan.

Tantangan dalam Penerapan Scaling Laws

Meskipun scaling laws membantu memperkirakan kinerja AI, penerapannya tetap memiliki keterbatasan. Hukum penskalaan bukan jaminan bahwa model akan terus mengalami peningkatan kemampuan tanpa batas. Hubungan matematis yang ditemukan dalam penelitian juga dapat berubah ketika model, data, atau metode pelatihan mengalami perubahan.

1. Peningkatan kinerja tidak selalu berlanjut tanpa batas
   Scaling laws sering menunjukkan hubungan yang dapat diprediksi antara ukuran model dan kinerja. Namun, hal ini tidak berarti kemampuan AI akan meningkat selamanya dengan pola yang sama. Bahasa manusia memiliki kompleksitas yang sangat tinggi. Kemampuan model dalam memahami bahasa juga dipengaruhi oleh konteks, pengetahuan, penalaran, dan karakteristik data yang digunakan.

   Model yang semakin besar mungkin semakin baik dalam berbagai tugas, tetapi peningkatannya dapat melambat ketika menghadapi keterbatasan tertentu. Karena itu, peneliti perlu membedakan antara pola peningkatan kinerja yang teramati dalam eksperimen dan batas kemampuan teoretis AI.

2. Risiko overfitting
   Overfitting terjadi ketika model terlalu menyesuaikan diri dengan data pelatihan sehingga kesulitan menangani data baru.

   Sebagai contoh, model pengenalan gambar yang hanya dilatih menggunakan gambar kucing dengan latar belakang tertentu mungkin kesulitan mengenali kucing dengan latar belakang yang berbeda. Dalam penelitian scaling laws, overfitting tetap menjadi perhatian, terutama ketika kapasitas model tidak seimbang dengan jumlah dan keragaman data pelatihan.

   Bahkan, model yang tidak menggunakan ulang data pelatihan sekalipun dapat mengalami masalah generalisasi dalam kondisi tertentu. Hal ini menunjukkan bahwa memperbesar model tanpa memperhatikan kualitas dan keragaman data tidak selalu menghasilkan kemampuan yang lebih baik.

3. Efisiensi komputasi tidak selalu konsisten
   Hubungan antara sumber daya komputasi dan kinerja model dapat berubah bergantung pada kondisi pelatihan. Model yang berbeda mungkin memiliki kebutuhan komputasi yang berbeda pula. Perubahan arsitektur, kualitas data, dan metode optimasi dapat memengaruhi efisiensi penggunaan sumber daya.

   Akibatnya, persamaan scaling laws yang bekerja dengan baik pada satu kelompok model belum tentu memberikan perkiraan yang sama akuratnya untuk model lain. Peneliti perlu melakukan eksperimen untuk memastikan apakah hubungan matematis yang ditemukan masih berlaku ketika skala atau karakteristik model berubah.

4. Kebutuhan biaya dan energi
   Pelatihan model AI berukuran besar membutuhkan perangkat keras khusus dan energi dalam jumlah besar. Semakin besar skala pelatihan, semakin penting pula efisiensi penggunaan sumber daya. Scaling laws membantu memperkirakan kebutuhan komputasi, tetapi tidak secara otomatis menghilangkan biaya yang tinggi.

   Organisasi tetap perlu mempertimbangkan apakah peningkatan kemampuan yang diperoleh sebanding dengan investasi dan dampak operasional yang ditimbulkan.

Scaling Laws dan Masa Depan Kecerdasan Buatan

Scaling laws menjadi salah satu konsep penting dalam upaya mengembangkan AI yang semakin mampu menjalankan berbagai tugas kompleks. Melalui hukum penskalaan, peneliti dapat memahami bagaimana peningkatan ukuran model, jumlah data, dan sumber daya komputasi memengaruhi kemampuan AI.

Konsep ini juga membantu menjelaskan mengapa model yang lebih kecil terkadang dapat mengungguli model yang lebih besar, terutama ketika data dan proses pelatihannya dirancang secara lebih optimal.

Meski demikian, scaling laws bukan satu-satunya faktor yang menentukan perkembangan AI. Kualitas data, arsitektur model, metode pelatihan, dan kemampuan sistem dalam menangani tugas baru tetap memiliki peran penting.

Dalam pengembangan artificial general intelligence (AGI), scaling laws dapat membantu peneliti memperkirakan kebutuhan sumber daya dan memahami pola peningkatan kemampuan model.

Namun, peningkatan ukuran model tidak dengan sendirinya menjamin tercapainya AGI.

Pada akhirnya, scaling laws memberikan kerangka matematis untuk memahami hubungan antara skala dan kemampuan AI. Dengan menggunakannya secara tepat, peneliti dan organisasi dapat mengembangkan model yang lebih efisien, terukur, dan sesuai kebutuhan, tanpa harus selalu mengandalkan peningkatan ukuran sebagai satu-satunya jalan menuju AI yang lebih cerdas.