MIT Ciptakan AI yang Bisa Menjelaskan Keputusan Mobil Otonom

Mobil tanpa pengemudi selama ini menghadapi satu persoalan besar yang tidak selalu terlihat dari luar. Kendaraan mungkin mampu mengenali lingkungan, menentukan arah, hingga mengerem secara otomatis, tetapi manusia sering tidak tahu alasan di balik keputusan tersebut. Untuk menjawab masalah ini, Motional dan peneliti Massachusetts Institute of Technology (MIT) mengembangkan sistem kecerdasan buatan (AI) yang dapat menjelaskan alasan mobil otonom mengambil keputusan secara real-time.

Teknologi tersebut dirancang untuk mengatasi persoalan black box atau "kotak hitam" pada sistem AI. Istilah ini merujuk pada kondisi ketika sebuah sistem mampu menghasilkan keputusan, tetapi proses yang mengarah pada keputusan tersebut sulit dipahami manusia.

Penelitian ini melibatkan tim Motional, termasuk CEO Laura Major, bersama peneliti dari Computer Science and Artificial Intelligence Laboratory (CSAIL) MIT. Hasil penelitian mereka dipublikasikan dalam jurnal Nature.

Sistem yang dikembangkan diberi nama Concept-Wrapper Network (CW-Net). Secara sederhana, teknologi ini berusaha menerjemahkan proses internal jaringan saraf yang digunakan mobil otonom menjadi konsep yang dapat dipahami manusia.

Ketika Mobil Bisa Menjelaskan Alasannya

Bayangkan sebuah mobil tanpa pengemudi sedang melaju di jalan yang terlihat kosong dan aman. Tiba-tiba, kendaraan mengerem keras. Tidak ada kendaraan di depan, tidak terlihat pejalan kaki, dan tidak ada rintangan yang jelas. Dalam sistem konvensional, operator mungkin hanya mengetahui bahwa mobil memutuskan untuk mengerem. Namun, alasan spesifik di balik keputusan tersebut bisa sulit diketahui.

Masalah itu muncul karena kendaraan otonom modern banyak menggunakan jaringan saraf yang dilatih dengan data dalam jumlah besar. Sistem tersebut dapat mempelajari berbagai pola dari data berkendara dan menghasilkan keputusan secara otomatis.

Namun, proses yang berlangsung di dalam jaringan saraf tidak selalu mudah diterjemahkan menjadi alasan yang dapat dipahami manusia. CW-Net dirancang untuk membuka sebagian proses tersebut. Sistem dapat mengubah informasi internal menjadi konsep seperti "Mendekati Kendaraan yang Berhenti" atau "Berada Dekat dengan Pesepeda".

Konsep tersebut kemudian dapat ditampilkan pada dashboard sehingga operator dapat melihat faktor apa yang sedang memengaruhi keputusan kendaraan. Dengan pendekatan ini, operator tidak hanya melihat mobil mengerem, tetapi juga mendapatkan gambaran mengenai alasan yang mendorong kendaraan mengambil tindakan tersebut.

Bukan Sekadar Membuat Alasan Setelah Kejadian

Salah satu aspek penting dari CW-Net adalah bagaimana penjelasan tersebut dihasilkan. Dalam beberapa sistem AI yang dapat memberikan penjelasan, AI terlebih dahulu mengambil keputusan. Setelah itu, sistem lain membuat narasi yang menjelaskan keputusan tersebut.

Masalahnya, penjelasan yang terdengar masuk akal belum tentu benar-benar menggambarkan proses yang terjadi di dalam AI. CW-Net mencoba mengatasi persoalan tersebut dengan membuat keputusan kendaraan berkaitan langsung dengan konsep yang dapat dipahami manusia.

Artinya, ketika kendaraan melakukan pengereman, tindakan tersebut dapat ditelusuri kembali ke konsep yang berperan dalam memicu keputusan itu. Motional menggambarkan pendekatan ini sebagai "causally faithful", yakni penjelasan yang berusaha tetap sesuai dengan hubungan sebab-akibat sebenarnya dalam proses pengambilan keputusan AI.

Pendekatan tersebut menjadi penting untuk kendaraan otonom karena kesalahan kecil dalam memahami alasan sebuah keputusan dapat memiliki konsekuensi besar ketika kendaraan beroperasi di jalan raya. Laura Major mengatakan, pendekatan end-to-end deep learning memang dapat menghasilkan performa yang tinggi. Namun, kemampuan tersebut saja belum cukup untuk membuat kendaraan benar-benar dipercaya.

"Pendekatan end-to-end saja mungkin dapat mencapai solusi yang sangat baik, sekitar 80-90 persen, bahkan mungkin 95 persen. Namun, itu belum cukup untuk menghilangkan kebutuhan akan pengemudi atau mendapatkan kepercayaan dari kota, masyarakat, dan pelanggan," ujar Major.

Diuji Langsung di Sekitar Las Vegas

Pengembangan teknologi AI yang dapat dijelaskan sebenarnya bukan hal baru. Namun, menurut Motional, sebagian besar penelitian di bidang tersebut masih dilakukan melalui simulasi komputer atau dalam lingkungan laboratorium.

Tim Motional dan MIT mencoba membawa teknologi tersebut ke lingkungan pengujian yang lebih nyata. CW-Net dipasang pada sebuah kendaraan otonom yang diuji dengan operator keselamatan berpengalaman tetap berada di kursi pengemudi. Data dikumpulkan melalui pengujian di lintasan pribadi dan jalan umum di sekitar Las Vegas.

Para peneliti menggunakan versi eksperimental dari sistem perencanaan berbasis deep learning. Sistem tersebut dinilai memiliki performa kompetitif, tetapi masih memiliki sejumlah kelemahan. CW-Net kemudian digunakan untuk membantu menemukan masalah yang mungkin sulit diketahui hanya dengan mengamati perilaku kendaraan.

Dua kejadian dalam pengujian menjadi contoh bagaimana teknologi tersebut dapat membantu.

Mobil Mengira Ada Kendaraan yang Sebenarnya Tidak Ada

Dalam salah satu pengujian, mobil otonom berulang kali berhenti ketika berada di dekat sebuah kerucut lalu lintas. Operator awalnya menduga kerucut tersebut menjadi penyebab kendaraan berhenti. Dugaan itu cukup masuk akal karena mobil memang berhenti setiap kali berada di dekat objek tersebut.

Namun, peneliti kemudian memindahkan kerucut lalu lintas itu. Hasilnya mengejutkan. Mobil tetap berhenti.

Melalui CW-Net, peneliti akhirnya mendapatkan petunjuk mengenai penyebab sebenarnya. Sistem perencanaan eksperimental ternyata "berhalusinasi" dan mengira ada kendaraan yang sedang berhenti di depan mobil.

Dengan kata lain, mobil mengambil keputusan berdasarkan sesuatu yang sebenarnya tidak ada. Lebih lanjut, pola kesalahan tersebut dapat ditelusuri kembali ke data yang digunakan untuk melatih sistem. Temuan ini memberikan informasi yang sangat berharga bagi pengembang. Mereka tidak hanya mengetahui bahwa kendaraan melakukan kesalahan, tetapi juga dapat memahami mengapa kesalahan itu muncul.

Peneliti kemudian dapat mempelajari pola tersebut, memperkirakan kapan masalah serupa mungkin terjadi, dan mencari cara untuk memperbaikinya. Tanpa kemampuan menjelaskan, kasus tersebut mungkin hanya terlihat sebagai perilaku aneh: mobil tiba-tiba berhenti meski tidak ada alasan yang terlihat.

Mobil Berhenti untuk Pesepeda, tetapi Bukan Karena Pesepeda

Contoh kedua melibatkan seorang pesepeda.

Pada awalnya, kendaraan terlihat bekerja dengan benar. Mobil mendeteksi pesepeda dan kemudian berhenti. Namun, CW-Net menunjukkan bahwa sistem perencanaan utama ternyata tidak menjadikan keberadaan pesepeda sebagai dasar keputusan tersebut. Temuan itu membuat operator keselamatan meningkatkan kewaspadaannya ketika kendaraan berada di dekat pesepeda. 

Analisis berikutnya menunjukkan bahwa keputusan tersebut memang perlu diperhatikan. Pengereman yang terjadi ternyata berasal dari sistem keselamatan cadangan, bukan dari sistem perencanaan utama berbasis deep learning. Perbedaan tersebut mungkin tidak terlihat oleh orang yang hanya mengamati kendaraan dari luar. Mobil berhenti, pesepeda aman, dan semuanya terlihat berjalan sebagaimana mestinya.

Namun, bagi pengembang kendaraan otonom, penyebab pengereman merupakan informasi yang sangat penting. Jika sistem utama tidak benar-benar mengenali pesepeda sebagai alasan untuk berhenti, maka ada potensi masalah ketika sistem cadangan tidak aktif atau ketika situasi berubah. CW-Net membantu memperlihatkan perbedaan tersebut sehingga operator dapat mengambil tindakan lebih hati-hati dan tim teknis dapat melakukan pemeriksaan lebih lanjut.

Dampak terhadap Performa Kurang dari Satu Persen

Salah satu kekhawatiran dalam menambahkan fitur penjelasan ke sistem AI adalah dampaknya terhadap performa. Sistem kendaraan otonom harus memproses informasi dengan cepat. Setiap tambahan proses berpotensi meningkatkan beban komputasi atau mengurangi kemampuan kendaraan dalam mengambil keputusan. Motional mengakui adanya risiko tersebut. Namun, hasil pengujian menunjukkan dampaknya relatif kecil.

Ketika para peneliti membandingkan CW-Net dengan algoritma kendaraan otonom terkemuka, perbedaan kemampuan berkendaranya tercatat kurang dari satu persen. Hasil tersebut menunjukkan bahwa fitur untuk membuat keputusan AI lebih mudah dipahami tidak harus mengorbankan kemampuan berkendara secara signifikan.

Bagi kendaraan yang membawa manusia di jalan raya, kompromi tersebut menjadi penting. Operator keselamatan dapat mengetahui apakah kendaraan melakukan pengereman karena mendeteksi bahaya yang benar-benar ada, karena kesalahan persepsi AI, atau karena sistem keselamatan cadangan mengambil alih.

Informasi semacam itu juga dapat mempercepat proses investigasi ketika terjadi masalah. Alih-alih hanya mencatat bahwa "kendaraan berhenti", tim teknis dapat mengetahui faktor yang memengaruhi keputusan tersebut dan mencari sumber masalah secara lebih terarah.

Masa Depan Mobil Otonom Tidak Hanya soal Bisa Berkendara

Penelitian Motional dan MIT menunjukkan bahwa tantangan kendaraan otonom bukan semata-mata membuat mobil mampu berkendara sendiri. Ketika teknologi tersebut semakin banyak digunakan di jalan umum, pertanyaan lain menjadi semakin penting: mengapa kendaraan mengambil keputusan tertentu?

Pertanyaan tersebut relevan bagi pengemudi keselamatan, perusahaan teknologi, penumpang, masyarakat, hingga regulator. Kendaraan otonom yang mampu berkendara dengan baik tetapi tidak dapat menjelaskan perilakunya akan lebih sulit diuji, diawasi, dan diperbaiki ketika terjadi masalah.

Karena itu, teknologi seperti CW-Net berpotensi memainkan peran penting dalam pengembangan kendaraan otonom.

Motional melihat kebutuhan tersebut akan semakin besar ketika teknologi kendaraan tanpa pengemudi masuk ke lebih banyak pasar dan wilayah hukum. Regulator juga semakin membutuhkan transparansi mengenai bagaimana sistem AI membuat keputusan, terutama karena keputusan tersebut berhubungan langsung dengan keselamatan manusia.

Jika dikembangkan lebih lanjut, teknologi semacam CW-Net bahkan berpotensi menjadi salah satu standar dasar bagi sistem kendaraan otonom. Kebutuhannya juga tidak berhenti pada mobil. Sistem AI yang dapat menjelaskan keputusan dapat berguna pada berbagai teknologi berisiko tinggi, termasuk drone otonom dan robot yang digunakan dalam prosedur bedah.

Di bidang-bidang tersebut, manusia tetap perlu mengetahui kemampuan dan keterbatasan mesin.

Pada akhirnya, AI yang dapat menjelaskan keputusannya bukan hanya soal transparansi. Bagi teknologi yang menyangkut keselamatan manusia, kemampuan tersebut dapat membantu menemukan kesalahan lebih cepat, memperbaiki sistem, meningkatkan kepercayaan, dan memastikan keputusan mesin dapat dipahami serta dipertanggungjawabkan.