Apa Itu Reasoning VLA? AI yang Bisa Melihat, Menalar, Bertindak

Perkembangan kecerdasan buatan (AI) kini tidak lagi hanya berkutat pada kemampuan memahami teks atau mengenali gambar. Teknologi AI mulai diarahkan untuk berinteraksi langsung dengan dunia nyata, memahami kondisi di sekitarnya, mengambil keputusan, kemudian menjalankan tindakan. Salah satu teknologi yang dikembangkan untuk kebutuhan tersebut adalah Reasoning VLA (Vision-Language-Action).

Secara sederhana, Reasoning VLA dapat dipahami sebagai AI yang menggabungkan tiga kemampuan sekaligus, yakni melihat dan memahami lingkungan, mengerti bahasa manusia, serta menentukan tindakan yang sesuai. Yang membuatnya berbeda adalah kemampuan melakukan penalaran secara bertahap sebelum mengambil keputusan.

Kemampuan tersebut menjadi penting ketika AI digunakan pada kendaraan otonom, robot, maupun berbagai infrastruktur pintar. Sebab, lingkungan fisik jauh lebih kompleks dibandingkan sekadar menjawab pertanyaan melalui teks.

Apa Itu Reasoning VLA?

VLA merupakan singkatan dari Vision-Language-Action, atau sistem yang menghubungkan penglihatan, bahasa, dan tindakan. Model ini memungkinkan AI menerima informasi visual dari lingkungan, memahami instruksi dalam bahasa manusia, lalu menerjemahkannya menjadi tindakan.

Reasoning VLA membawa konsep tersebut selangkah lebih jauh dengan menambahkan kemampuan penalaran. AI tidak hanya menerima informasi lalu langsung memberikan respons, tetapi dapat memecah persoalan menjadi beberapa tahapan sebelum menentukan tindakan.

Bayangkan sebuah robot diperintahkan untuk mengambil sebuah apel di kantin. Robot tidak cukup hanya mengetahui seperti apa bentuk apel. Robot juga harus memahami perintah, mengetahui lokasi kantin, menentukan rute menuju lokasi tersebut, menemukan apel di antara berbagai benda lain, kemudian menggerakkan lengan robot untuk mengambilnya.

Dalam situasi seperti ini, setiap keputusan saling berkaitan. Jika ada orang yang menghalangi jalan, misalnya, robot harus memahami bahwa rute awal tidak lagi dapat digunakan dan mencari alternatif.

Di sinilah kemampuan penalaran Reasoning VLA menjadi penting.

Bagaimana Cara Kerja Reasoning VLA?

Reasoning VLA dikembangkan dari model VLA tradisional dengan menambahkan kemampuan penalaran AI secara eksplisit.

Pada tahap awal, model dilatih menggunakan data dalam skala sangat besar. Data tersebut mencakup berbagai tugas bahasa dan hubungan antara bahasa dengan informasi visual. Tujuannya adalah membangun pengetahuan umum sekaligus kemampuan untuk menghubungkan apa yang dilihat dengan konteks dunia nyata.

Setelah memiliki dasar pengetahuan tersebut, model dapat diberikan pelatihan tambahan sesuai kebutuhan aplikasi AI fisik. Dalam tahap ini, AI tidak hanya belajar memahami objek atau perintah, tetapi juga mempelajari berbagai kemungkinan tindakan yang dapat dilakukan.

Kemampuan penalaran kemudian diperkuat melalui berbagai teknik pelatihan. Salah satunya adalah chain-of-thought, yaitu pendekatan yang melatih model untuk menyelesaikan persoalan melalui sejumlah tahapan penalaran. Teknik lainnya adalah reinforcement learning, ketika model belajar melalui mekanisme penghargaan yang dapat diverifikasi untuk mendorong hasil yang lebih konsisten.

Tujuan akhirnya adalah membuat AI lebih mampu menangani persoalan yang tidak sederhana.

Pada VLA standar, alurnya dapat dibayangkan seperti melihat sesuatu lalu melakukan tindakan. Sementara pada Reasoning VLA, terdapat proses tambahan di antara keduanya: melihat, memahami konteks, menalar, merencanakan, lalu bertindak.

Perbedaan ini sangat penting dalam lingkungan fisik yang dinamis.

Misalnya, sebuah kendaraan otonom mendekati persimpangan. Kamera dan sensor mendeteksi rambu berhenti, kendaraan yang datang dari arah kiri, serta seorang pejalan kaki yang sedang menyeberang. Sistem kemudian dapat menghubungkan informasi tersebut dan menentukan tindakan yang tepat: mengurangi kecepatan, berhenti sepenuhnya, menunggu pejalan kaki melewati jalur penyeberangan, kemudian melanjutkan perjalanan setelah kondisi dinilai aman.

Dengan pendekatan seperti ini, AI tidak sekadar bereaksi terhadap satu objek, tetapi mempertimbangkan hubungan antara berbagai objek dan kejadian sebelum mengambil keputusan.

Tiga Kemampuan Dasar Reasoning VLA

Agar dapat bekerja dengan baik, Reasoning VLA membutuhkan tiga kemampuan utama. Ketiganya saling melengkapi.

1. Persepsi Visual
   Kemampuan pertama adalah memahami lingkungan melalui data sensor. Data dapat berasal dari kamera, radar, lidar, maupun sensor lainnya. AI kemudian harus mengolah informasi tersebut secara real time untuk mengetahui apa yang terjadi di sekitarnya.

   Pada kendaraan otonom, misalnya, sistem harus dapat mengenali kendaraan lain, pejalan kaki, rambu lalu lintas, marka jalan, persimpangan, serta berbagai objek yang mungkin memengaruhi perjalanan.

   Kemampuan memahami ruang tiga dimensi (3D) juga sangat penting. Robot dan kendaraan otonom tidak hanya perlu mengetahui bahwa sebuah objek berada di depan mereka, tetapi juga harus memahami posisi, jarak, arah pergerakan, dan hubungan objek tersebut dengan lingkungan sekitar. Penggunaan beberapa kamera dari sudut pandang berbeda membuat kemampuan memahami ruang semakin penting.

2. Pemahaman Bahasa
   Kemampuan berikutnya adalah memahami bahasa manusia. Melalui pemrosesan bahasa alami, Reasoning VLA dapat memahami perintah, percakapan, konteks, maupun petunjuk tertentu. Informasi tersebut kemudian digunakan untuk menentukan apa yang harus dilakukan.

   Sebagai contoh, perintah "ambil apel di kantin" sebenarnya memiliki beberapa informasi. AI perlu memahami objek yang dimaksud adalah apel, mengetahui tujuan berupa kantin, serta memahami bahwa tindakan akhirnya adalah mengambil benda tersebut. Kemampuan bahasa menjadi jembatan antara manusia dan sistem AI fisik.

3. Tindakan dan Pengambilan Keputusan
   Setelah memahami lingkungan dan perintah, sistem harus menentukan tindakan. Reasoning VLA menggabungkan informasi visual dan bahasa untuk merencanakan langkah yang harus dilakukan. Dalam kendaraan, hasil akhirnya dapat berupa keputusan untuk mempercepat, mengurangi kecepatan, berhenti, atau berbelok.

   Pada robot, hasilnya bisa berupa perintah untuk bergerak menuju lokasi tertentu, menggerakkan lengan, menggenggam benda, atau mengubah posisi karena terdapat hambatan.

Dengan demikian, kemampuan VLA tidak berhenti pada pemahaman. Sistem harus mampu mengubah pemahaman tersebut menjadi tindakan yang dapat dijalankan di dunia nyata.

Mengapa Penalaran Penting bagi AI Fisik?

AI yang beroperasi di dunia nyata menghadapi kondisi yang jauh lebih sulit dibandingkan AI yang hanya bekerja dengan data digital. Lingkungan dapat berubah sewaktu-waktu. Manusia bisa berpindah tempat, kendaraan dapat muncul tiba-tiba, benda dapat jatuh, dan jalur yang sebelumnya terbuka bisa mendadak terhalang.

Karena itu, AI membutuhkan kemampuan untuk memahami konteks dan menentukan langkah berikutnya.

Reasoning VLA dirancang untuk menangani kondisi tersebut dengan memecah persoalan kompleks menjadi bagian-bagian yang lebih mudah dikelola. Kemampuan ini juga membantu sistem menentukan kapan harus beralih dari satu tindakan ke tindakan berikutnya.

Pada robot yang sedang menjalankan tugas panjang, misalnya, sistem perlu mengetahui kapan fase navigasi selesai dan kapan harus mulai melakukan manipulasi objek. Kemampuan penalaran juga memberikan informasi yang lebih mudah dianalisis mengenai keputusan yang dibuat AI. Hal ini dapat membantu pengembang memantau sistem dan menemukan potensi masalah ketika AI beroperasi secara real time.

Konsep Data Flywheel

Salah satu konsep penting dalam pengembangan Reasoning VLA adalah data flywheel atau siklus data yang terus memperkuat kemampuan sistem. Konsepnya cukup sederhana. Sistem AI yang digunakan di dunia nyata akan menghasilkan dan mengumpulkan lebih banyak data. Data tersebut kemudian dapat digunakan untuk meningkatkan model penalaran.

Model yang lebih baik selanjutnya menghasilkan Reasoning VLA yang lebih baik. Ketika model tersebut kembali digunakan di dunia nyata, sistem dapat menghasilkan lebih banyak data yang berguna untuk pengembangan berikutnya.

Dengan demikian, terbentuk sebuah siklus:

data dunia nyata → model semakin baik → sistem semakin baik → menghasilkan data lebih berguna → model semakin baik.

Dalam pengembangan Reasoning VLA, NVIDIA Cosmos Reason disebut sebagai salah satu model dasar penalaran yang dapat digunakan untuk mendukung pendekatan tersebut. Konsep ini penting karena AI fisik membutuhkan data yang menggambarkan kondisi dunia nyata, bukan hanya informasi yang tersedia di internet.

Memahami Dunia dalam Ruang 3D

Salah satu tantangan terbesar AI fisik adalah memahami lingkungan tiga dimensi. Manusia secara alami dapat memperkirakan jarak, posisi, ukuran, dan arah gerak sebuah benda. Robot dan kendaraan otonom harus memperoleh kemampuan tersebut melalui sensor dan model AI.

Reasoning VLA membutuhkan pemahaman ruang dan waktu yang kuat. Sistem harus mengetahui bukan hanya di mana sebuah objek berada, tetapi juga bagaimana objek tersebut bergerak dan bagaimana perubahan itu memengaruhi tindakan yang akan dilakukan.

Kemampuan tersebut sangat penting bagi kendaraan otonom yang bergerak di jalan raya maupun robot yang harus berinteraksi dengan benda dan manusia.

Penerapan Reasoning VLA

Teknologi Reasoning VLA memiliki potensi penerapan di berbagai bidang. Beberapa di antaranya adalah kendaraan otonom, robotika, serta kota dan ruang pintar.

• Kendaraan Otonom
  Kendaraan otonom menjadi salah satu bidang yang sangat membutuhkan kemampuan penalaran. Kendaraan harus menggabungkan informasi dari berbagai sensor untuk memahami kondisi jalan dan lingkungan. Reasoning VLA dapat membantu sistem menafsirkan situasi yang kompleks dan menentukan tindakan secara bertahap.Pada kendaraan otonom Level 4, misalnya, sistem harus mampu menangani berbagai situasi tanpa terus-menerus bergantung pada manusia.

  Ketika kendaraan mendekati persimpangan, sistem dapat mengidentifikasi rambu berhenti, kendaraan yang melintas, dan pejalan kaki. Semua informasi tersebut kemudian dipertimbangkan secara bersamaan untuk menentukan apakah kendaraan harus berhenti, menunggu, atau melanjutkan perjalanan.

  Artinya, sistem tidak hanya mengenali objek, tetapi mencoba memahami apa arti keberadaan objek tersebut terhadap keputusan yang harus diambil.

• Robotika
  Robot merupakan contoh lain dari AI fisik yang membutuhkan penalaran. Tugas robot sering kali terdiri atas banyak tahapan. Sebuah instruksi sederhana seperti "pergi ke kantin dan ambil apel" sebenarnya membutuhkan serangkaian tindakan. Robot harus menemukan jalan menuju kantin, menghindari hambatan, mencari apel, memastikan objek yang ditemukan sesuai dengan perintah, kemudian mengambilnya.

  Jika kondisi berubah, robot juga harus dapat menyesuaikan rencana. Misalnya, jika jalan menuju kantin tertutup, robot harus mencari jalur lain. Kemampuan penalaran membuat robot lebih fleksibel dalam menjalankan tugas yang panjang dan kompleks.

• Kota dan Ruang Pintar
  Reasoning VLA juga dapat digunakan untuk membangun sistem pemantauan yang lebih cerdas di kota, pabrik, gudang, dan bandara. Sistem dapat menganalisis aliran video dari berbagai kamera dan tidak hanya mendeteksi objek, tetapi juga memahami konteks suatu kejadian.

  Di kota, misalnya, sistem dapat membantu mengidentifikasi kejadian penting dari banyak kamera dan membantu petugas memprioritaskan situasi yang membutuhkan respons cepat.

  Sementara di lingkungan pabrik, AI dapat digunakan untuk memahami situasi yang berpotensi menjadi bahaya keselamatan sehingga risiko terhadap pekerja dapat lebih cepat diketahui.

Apa Manfaat Reasoning VLA?

Jika dikembangkan dan diterapkan dengan baik, Reasoning VLA menawarkan sejumlah manfaat.

Pertama adalah akurasi dan keamanan. Dengan menggabungkan informasi dari berbagai modalitas dan melakukan penalaran terhadap konteks, sistem berpotensi membuat keputusan yang lebih tepat.

Kedua adalah pengambilan keputusan yang lebih mudah dipahami. Rangkaian penalaran dapat memberikan gambaran mengenai alasan di balik tindakan AI sehingga pengembang memiliki informasi tambahan untuk mengevaluasi sistem.

Ketiga adalah skalabilitas. Model inti dapat disesuaikan untuk berbagai kebutuhan, mulai dari transportasi hingga robotika dan infrastruktur perkotaan.

Keempat adalah peningkatan berkelanjutan. Melalui konsep data flywheel, penggunaan sistem di dunia nyata dapat membantu menghasilkan data baru yang kemudian digunakan untuk meningkatkan model.

Bukan Sekadar AI yang Bisa Melihat

Perkembangan Reasoning VLA menunjukkan perubahan penting dalam cara AI berinteraksi dengan dunia nyata. Jika AI generasi sebelumnya banyak berfokus pada kemampuan memahami teks, gambar, atau menghasilkan konten, AI fisik membutuhkan kemampuan yang jauh lebih luas. Sistem harus mampu melihat lingkungan, memahami bahasa, menafsirkan konteks, melakukan penalaran, mengambil keputusan, dan menjalankan tindakan.

Reasoning VLA mencoba menyatukan seluruh kemampuan tersebut dalam satu sistem.

Teknologi ini masih menjadi bidang penelitian yang terus berkembang dan penerapannya dapat berbeda-beda di setiap industri. Namun, arah pengembangannya menunjukkan bahwa masa depan AI bukan hanya tentang mesin yang mampu menjawab pertanyaan manusia.

AI juga semakin diarahkan untuk memahami dunia fisik dan mengambil tindakan di dalamnya.

Ketika kemampuan penalaran, persepsi visual, pemahaman bahasa, dan pengambilan keputusan semakin matang, Reasoning VLA berpotensi menjadi salah satu fondasi penting bagi generasi baru kendaraan otonom, robot cerdas, dan lingkungan fisik yang lebih otomatis.