Apa Itu World Model? Cara Kerja, Manfaat, dan Penerapannya

Perkembangan Artificial Intelligence (AI) kini bergerak ke tahap yang lebih kompleks. Jika sebelumnya AI banyak digunakan untuk memahami teks, mengenali gambar, menghasilkan konten, atau menjawab pertanyaan, teknologi ini mulai diarahkan untuk memahami bagaimana dunia nyata bekerja. Salah satu teknologi yang dikembangkan untuk tujuan tersebut adalah world model.

Secara sederhana, world model merupakan teknologi AI yang berusaha membangun pemahaman tentang lingkungan di sekitarnya. Model ini tidak hanya mengenali objek, tetapi juga mempelajari hubungan antarobjek, perubahan kondisi, ruang, waktu, hingga berbagai kemungkinan yang dapat terjadi berikutnya.

Kemampuan tersebut membuat world model memiliki peran penting dalam pengembangan robot, kendaraan otonom, simulasi virtual, kota pintar, hingga berbagai aplikasi physical AI yang berinteraksi langsung dengan dunia nyata.

Apa Itu World Model?

World model adalah model AI yang dirancang untuk memahami dinamika dunia nyata, termasuk aturan fisika, hubungan ruang, pergerakan objek, serta perubahan kondisi dari waktu ke waktu. Model ini dapat menerima berbagai jenis informasi atau data multimodal, mulai dari teks, gambar, video, suara, hingga data gerakan. Berdasarkan informasi tersebut, world model kemudian dapat memperkirakan apa yang mungkin terjadi selanjutnya.

Misalnya, sebuah robot melihat seseorang berjalan menuju sebuah meja. World model tidak hanya mengenali manusia dan meja sebagai dua objek berbeda. Model juga dapat mempelajari arah pergerakan manusia, posisi meja, jarak antara keduanya, serta kemungkinan manusia akan berhenti atau mengubah arah.

Dengan kata lain, world model berusaha membuat AI memiliki semacam gambaran internal tentang dunia. Gambaran tersebut kemudian digunakan untuk melakukan prediksi, perencanaan, dan pengambilan keputusan. Konsep ini penting karena AI yang berinteraksi dengan dunia nyata harus menghadapi kondisi yang jauh lebih rumit dibandingkan sekadar memproses teks atau gambar.

Dari Aturan yang Diprogram hingga AI yang Belajar dari Data

Teknologi world model sebenarnya bukan konsep yang sepenuhnya baru. Pada tahap awal, sistem semacam ini banyak dibangun menggunakan aturan yang ditulis langsung oleh manusia. Insinyur harus menentukan berbagai aturan fisika dan kemungkinan tindakan secara manual. Misalnya, bagaimana sebuah objek bergerak ketika didorong, bagaimana kendaraan bereaksi terhadap rintangan, atau bagaimana robot harus bergerak ketika menemukan objek tertentu.

Pendekatan tersebut dapat bekerja dengan baik dalam lingkungan yang terkontrol. Mesin gim dan simulator robotika generasi awal, misalnya, dapat menggunakan aturan yang telah ditentukan sebelumnya untuk menciptakan lingkungan virtual.

Masalahnya muncul ketika sistem berhadapan dengan kondisi yang tidak pernah diprogram sebelumnya. Dunia nyata memiliki terlalu banyak kemungkinan. Cuaca dapat berubah, manusia dapat bergerak secara tidak terduga, objek dapat muncul secara tiba-tiba, dan lingkungan dapat mengalami perubahan yang sulit diprediksi.

Karena itu, pendekatan berbasis aturan memiliki keterbatasan. Sistem mungkin sangat akurat dalam kondisi tertentu, tetapi performanya dapat menurun ketika menghadapi situasi baru. World model modern mencoba mengatasi persoalan tersebut dengan pendekatan berbasis data. Alih-alih meminta manusia menuliskan semua aturan, AI dilatih menggunakan data dalam jumlah besar agar dapat mempelajari pola dan hubungan yang terjadi di dunia.

Peran AI Generatif dalam Perkembangan World Model

Kemunculan AI generatif membawa perubahan besar dalam pengembangan world model. Model generatif dapat mempelajari pola dari dataset dalam skala sangat besar, termasuk gambar, video, teks, dan berbagai informasi multimodal lainnya. Setelah dilatih, model dapat menghasilkan lingkungan atau kondisi baru berdasarkan instruksi yang diberikan.

Sebagai contoh, pengembang dapat meminta model menghasilkan simulasi jalan dengan kondisi lalu lintas tertentu, cuaca hujan, pencahayaan malam, atau situasi yang melibatkan pejalan kaki dan kendaraan. Teknologi tersebut memungkinkan pengembang menciptakan data sintetis, yaitu data yang dibuat oleh komputer tetapi dirancang menyerupai kondisi dunia nyata.

Data sintetis menjadi penting karena mengumpulkan data dunia nyata dalam jumlah besar membutuhkan biaya, waktu, dan sumber daya yang tidak sedikit. Dengan simulasi, pengembang dapat menghasilkan berbagai skenario secara lebih cepat dan aman.

Perkembangan berikutnya adalah munculnya world foundation model (WFM). Model ini dilatih menggunakan data dunia nyata dalam jumlah sangat besar dan dapat dikombinasikan dengan data sintetis. Tujuannya bukan hanya menghasilkan gambar atau video realistis. WFM juga diarahkan untuk memahami hubungan sebab-akibat, melakukan penalaran, memahami ruang dan waktu, serta membuat prediksi berdasarkan prinsip-prinsip fisika.

Pendekatan foundation model juga membuat proses pengembangan lebih efisien. Pengembang tidak perlu membangun model dari awal untuk setiap kebutuhan. Model yang sudah dilatih dapat disesuaikan kembali menggunakan data khusus dari suatu perusahaan atau bidang tertentu.

Bagaimana World Foundation Model Dibangun?

Membangun world foundation model bukan pekerjaan sederhana. Prosesnya membutuhkan dataset berskala besar, infrastruktur komputasi yang kuat, arsitektur model yang tepat, serta berbagai tahap pelatihan. Secara umum, terdapat beberapa tahapan penting.

1. Kurasi Data
   Tahap pertama adalah memastikan data yang digunakan memiliki kualitas baik. Kurasi data mencakup proses penyaringan, pemberian anotasi, klasifikasi, serta penghapusan data yang sama atau terlalu mirip. Proses ini menjadi semakin penting ketika model dilatih menggunakan data multimodal dalam jumlah sangat besar.

   Pada data video, misalnya, video dapat dipecah menjadi segmen-segmen yang lebih kecil. Selanjutnya, sistem melakukan penyaringan untuk menghilangkan video berkualitas rendah atau data yang tidak relevan.

   Model vision-language kemudian dapat digunakan untuk memberikan informasi mengenai objek atau aktivitas yang muncul dalam video. Teknologi embedding juga dapat digunakan untuk menemukan data yang memiliki makna serupa. Dengan demikian, data yang terlalu mirip atau berulang dapat dikurangi.

   Setelah data dibersihkan, data tersebut perlu dikelola agar dapat dikirim secara efisien ke sistem komputasi, termasuk GPU yang digunakan dalam proses pelatihan. Kurasi data juga berguna setelah model selesai dilatih. Pengembang perlu menemukan skenario tertentu ketika melakukan pengujian atau post-training. Pada dataset yang sangat besar, pencarian manual tentu tidak efisien. Dengan pencarian semantik berbasis embedding, pengembang dapat mencari skenario berdasarkan makna atau konteks. Hal ini dapat mempercepat proses menemukan data yang dibutuhkan.

2. Tokenisasi
   Tahap berikutnya adalah tokenisasi. Tokenisasi merupakan proses mengubah data visual yang sangat kompleks menjadi unit-unit informasi yang lebih kecil bernama token. Jika gambar terdiri dari jutaan informasi piksel, model tidak selalu perlu memproses setiap piksel sebagai informasi terpisah. Tokenizer dapat mengubah informasi visual tersebut menjadi representasi yang lebih ringkas dan bermakna.

   Secara umum, terdapat dua pendekatan utama. Discrete tokenization merepresentasikan gambar atau video dalam bentuk bilangan bulat. Sementara itu, continuous tokenization menggunakan representasi berupa vektor kontinu. Tokenisasi membuat data lebih efisien untuk diproses oleh model berskala besar. Dengan representasi yang lebih ringkas, proses pelatihan dan penggunaan model dapat dilakukan secara lebih efisien.

3. Pretraining
   Setelah data disiapkan dan direpresentasikan dalam bentuk yang dapat diproses model, tahap berikutnya adalah pretraining. Pada tahap ini, model dilatih menggunakan dataset dalam jumlah sangat besar. Tujuannya adalah membuat model memahami pola dasar dunia, termasuk hubungan antara objek, ruang, waktu, dan perubahan kondisi.

   Arsitektur Transformer menjadi salah satu fondasi penting dalam pengembangan world model modern. Ada dua pendekatan utama yang umum digunakan, yaitu autoregressive transformer dan diffusion transformer.

   • Autoregressive Transformer
     Autoregressive transformer menghasilkan prediksi secara berurutan. Model memperkirakan kondisi berikutnya berdasarkan informasi yang sudah muncul sebelumnya. Konsepnya mirip dengan model bahasa yang memprediksi kata berikutnya dalam sebuah kalimat. Pada world model, yang diprediksi bukan kata, melainkan kondisi visual atau keadaan dunia berikutnya.Pendekatan ini cocok untuk situasi yang membutuhkan pengambilan keputusan secara berurutan dan perencanaan jangka panjang. Model dapat mempelajari bagaimana suatu tindakan pada satu waktu dapat memengaruhi kondisi pada waktu berikutnya.
   • Diffusion Transformer
     Pendekatan lainnya adalah diffusion transformer. Model ini memulai proses dari data yang mengandung banyak noise. Data tersebut kemudian diperbaiki secara bertahap hingga menghasilkan gambar, video, atau lingkungan yang lebih realistis.Pendekatan diffusion dikenal mampu menghasilkan kualitas visual yang tinggi dan menjaga konsistensi ruang. Karena itu, metode ini sangat berguna untuk membuat lingkungan sintetis yang detail dan realistis.

   Kedua pendekatan tersebut memiliki karakteristik berbeda. Autoregressive lebih kuat untuk pemodelan urutan dan perubahan dari waktu ke waktu, sedangkan diffusion sangat menarik untuk menghasilkan lingkungan visual yang kompleks dan realistis.

4. Post-Training
   Setelah foundation model selesai menjalani pretraining, model masih dapat dikembangkan agar lebih sesuai dengan kebutuhan tertentu. Proses ini disebut post-training. Pada tahap tersebut, model diberikan data tambahan untuk mengembangkan kemampuan khusus. Misalnya, foundation model dapat disesuaikan untuk robot humanoid, kendaraan otonom, robot industri, atau aplikasi tertentu lainnya.

   Ada dua pendekatan yang dapat digunakan. Unsupervised post-training menggunakan data tanpa label. Model mempelajari pola dan representasi baru dari dataset yang diberikan.

   Sementara itu, supervised post-training menggunakan data yang telah diberi label. Model diarahkan untuk mempelajari karakteristik tertentu sesuai dengan tugas yang ingin diselesaikan. Post-training memungkinkan satu model dasar digunakan untuk berbagai kebutuhan tanpa harus melatih model baru dari awal.

Reinforcement Learning untuk Mengajarkan AI Mengambil Keputusan

World model juga dapat dikombinasikan dengan reinforcement learning (RL). Dalam reinforcement learning, AI belajar melalui interaksi dengan lingkungan. Setiap tindakan dapat menghasilkan penghargaan atau hukuman. Dari pengalaman tersebut, sistem belajar menentukan tindakan yang memberikan hasil terbaik.

Bayangkan robot yang harus mengambil sebuah benda. Robot mencoba beberapa cara untuk mencapai benda tersebut. Tindakan yang menghasilkan hasil baik mendapatkan penghargaan, sedangkan tindakan yang gagal mendapatkan penalti. Setelah melakukan banyak percobaan, sistem dapat menemukan strategi yang lebih efektif.

Dalam world model, proses tersebut dapat dilakukan di lingkungan virtual. Robot tidak harus langsung mencoba semuanya di dunia nyata. Hal ini memungkinkan AI melakukan ribuan atau bahkan lebih banyak percobaan secara virtual tanpa risiko merusak perangkat keras atau membahayakan manusia.

Apa Manfaat World Model?

Salah satu manfaat terbesar world model adalah kemampuannya membantu AI belajar tentang dunia nyata tanpa selalu harus berinteraksi langsung dengan dunia nyata. Mengumpulkan data fisik sangat mahal. Untuk kendaraan otonom, misalnya, pengembang harus mengumpulkan data dari berbagai jalan, cuaca, waktu, kondisi lalu lintas, serta situasi yang berbeda. Dengan world model, sebagian kondisi tersebut dapat disimulasikan secara virtual.

• Memungkinkan Pembelajaran Berulang
  Robot dapat berlatih, gagal, dan mencoba kembali di lingkungan virtual tanpa mengalami kerusakan fisik. Proses tersebut memungkinkan reinforcement learning melakukan banyak iterasi secara cepat.

• Dapat Digunakan di Berbagai Jenis Robot
  Satu foundation model dapat dikembangkan untuk berbagai jenis perangkat. Model yang sama dapat menjadi dasar pengembangan robot humanoid, kendaraan otonom, robot bedah, hingga lengan robot industri. Pendekatan ini lebih efisien dibandingkan membuat model baru dari awal untuk setiap jenis robot.

• Menjembatani Simulasi dan Dunia Nyata
  Salah satu tantangan dalam pengembangan AI adalah sim-to-real gap, yaitu perbedaan antara kondisi simulasi dan dunia nyata. Robot mungkin berhasil melakukan tugas di simulator, tetapi gagal ketika menghadapi kondisi sebenarnya.

  World model dapat membantu membuat simulasi lebih realistis, termasuk dari sisi visual, ruang, waktu, dan interaksi objek. Dengan demikian, model yang dilatih di lingkungan virtual memiliki peluang lebih besar untuk bekerja ketika diterapkan di dunia nyata.

• Mempercepat Pengembangan AI
  Foundation model yang telah dilatih sebelumnya memberikan titik awal yang lebih kuat bagi pengembang. Model tidak lagi memulai dari nol karena sudah memiliki pemahaman dasar mengenai pola visual, ruang, waktu, dan lingkungan fisik. Pengembang kemudian hanya perlu menyesuaikannya dengan data dan kebutuhan tertentu. Hal ini berpotensi mengurangi waktu dan biaya pengembangan.

Penerapan World Model di Dunia Nyata

World model memiliki potensi penggunaan yang luas, terutama pada teknologi yang harus berinteraksi dengan lingkungan fisik.

• Kendaraan Otonom
  Kendaraan otonom merupakan salah satu bidang yang berpotensi mendapatkan manfaat besar dari world model. Teknologi ini dapat digunakan untuk memahami perilaku kendaraan lain, pejalan kaki, rambu, jalan, serta berbagai objek di sekitar kendaraan. World model juga dapat menghasilkan simulasi berbagai kondisi, seperti hujan, malam hari, jalan licin, lalu lintas padat, hingga situasi yang jarang terjadi.

  Dengan begitu, sistem kendaraan otonom dapat diuji terhadap lebih banyak skenario sebelum diterapkan di jalan sebenarnya.

• Robotika
  Dalam bidang robotika, world model dapat membantu robot memahami lingkungan dan mengembangkan kecerdasan spasial. Robot dapat menggunakan lingkungan virtual untuk berlatih mengambil objek, berpindah tempat, menghindari rintangan, atau berinteraksi dengan manusia.

  Model juga dapat mensimulasikan bagaimana objek bergerak ketika disentuh atau dipindahkan. Informasi tersebut membantu robot membuat rencana dan memilih tindakan yang lebih tepat.

• Analisis Video
  World model juga dapat digunakan untuk memahami video dalam skala besar. Model dapat membantu menjawab pertanyaan mengenai isi video, membuat ringkasan otomatis, mendeteksi objek, menemukan kejadian tertentu, serta memahami hubungan antara berbagai peristiwa. Kemampuan tersebut dapat dimanfaatkan di sektor industri maupun kota pintar.

  Dalam lingkungan industri, misalnya, AI dapat membantu menemukan perilaku tidak aman, risiko kecelakaan, atau kejadian yang perlu segera ditindaklanjuti.

  Di kota pintar, teknologi ini dapat digunakan untuk memantau lalu lintas, pergerakan kerumunan, keselamatan publik, serta potensi gangguan lingkungan.

  Pada sektor manufaktur, analisis visual juga dapat digunakan untuk menemukan cacat atau ketidakteraturan pada lini produksi.

World Model dan Masa Depan AI

Perkembangan world model menunjukkan bahwa masa depan AI kemungkinan tidak hanya berkaitan dengan kemampuan memahami bahasa atau menghasilkan konten digital. AI juga semakin diarahkan untuk memahami, memprediksi, dan berinteraksi dengan dunia fisik.

Perbedaan ini sangat penting. AI yang hanya menghasilkan teks dapat memberikan instruksi kepada manusia, tetapi AI yang memahami dunia dapat membantu robot atau kendaraan menentukan tindakan berdasarkan kondisi lingkungan.

Namun, pengembangan world model tetap menghadapi berbagai tantangan. Dunia nyata sangat kompleks dan memiliki jumlah kemungkinan yang hampir tidak terbatas. Model juga harus mampu menghadapi situasi yang belum pernah ditemukan dalam data pelatihannya.

Karena itu, kualitas data, kemampuan simulasi, efisiensi komputasi, pemahaman fisika, dan kemampuan melakukan penalaran menjadi faktor penting dalam perkembangan teknologi ini.

Pada akhirnya, world model dapat menjadi salah satu fondasi penting bagi generasi AI berikutnya. Jika AI generatif membuat mesin semakin mahir dalam menghasilkan dan memahami informasi, world model berupaya membawa kemampuan tersebut lebih jauh: membantu AI memahami bagaimana dunia bekerja dan memperkirakan apa yang akan terjadi selanjutnya.

Kemampuan inilah yang dapat membuka jalan bagi robot yang lebih cerdas, kendaraan yang lebih aman, simulasi yang semakin realistis, serta berbagai sistem AI yang mampu berinteraksi secara langsung dengan dunia nyata.