Dataiku Ingatkan Risiko Agen AI, Tata Kelola Jadi Kunci

Keberhasilan penerapan Artificial Intelligence (AI) di perusahaan tidak cukup hanya mengandalkan kecanggihan model. Organisasi juga perlu memastikan setiap sistem AI memiliki tata kelola yang jelas, dapat dipantau, serta mampu memberikan manfaat bisnis tanpa mengabaikan aspek keamanan dan risiko.

Hal tersebut disampaikan Mochamad Idham M, RVP ASEAN Dataiku, dalam acara CDO|CIO Summit 2026: The Executive Agenda for Indonesia’s Data & AI Future – Navigating the Direction of One Data Indonesia. Dalam forum tersebut, ia membahas pentingnya membangun fondasi data tepercaya sekaligus mengelola penggunaan AI agar dapat diterapkan secara luas di lingkungan perusahaan.

Menurut Idham, meningkatnya penggunaan AI dalam pengambilan keputusan strategis membuat perusahaan perlu memikirkan tanggung jawab yang menyertai teknologi tersebut. AI bukan lagi sekadar alat bantu eksperimental, melainkan mulai menjadi bagian dari proses bisnis dan pertimbangan manajemen.

“Hal tersebut bukanlah tanggung jawab model AI, melainkan tanggung jawab organisasi yang menggunakannya,” ujar Idham. Ia menegaskan bahwa perusahaan tetap bertanggung jawab atas penggunaan AI, termasuk memastikan proses pengambilan keputusan dapat ditelusuri, diawasi, dan dipertanggungjawabkan.

Pesan tersebut menggarisbawahi bahwa tanggung jawab atas penggunaan AI tetap berada pada organisasi yang mengoperasikannya. Perusahaan tidak cukup hanya memastikan sistem AI mampu menghasilkan jawaban yang akurat, tetapi juga harus menyiapkan mekanisme pengawasan, dokumentasi, dan evaluasi yang memadai.

Fondasi Data Tepercaya Jadi Kunci Penerapan AI

Idham menjelaskan bahwa keberhasilan penerapan AI membutuhkan fondasi tepercaya yang menghubungkan manusia, data, teknologi, dan tata kelola. Fondasi ini menjadi penting ketika perusahaan mulai mengembangkan berbagai aplikasi AI untuk mendukung pekerjaan lintas divisi.

Melalui platformnya, Dataiku menggabungkan pengembangan AI, orkestrasi sistem, dan tata kelola untuk membantu perusahaan mengelola agen AI dalam skala besar. Pendekatan ini semakin penting seiring meluasnya penggunaan AI di berbagai unit kerja, yang membuat perusahaan perlu memastikan setiap solusi berjalan sesuai kebijakan dan standar yang telah ditetapkan.

Untuk mempermudah pengembangan AI, Dataiku menghadirkan Cobuild, sebuah AI building agent yang memungkinkan pengguna membangun proyek AI dengan menjelaskan kebutuhan menggunakan bahasa sehari-hari. Sistem ini membantu mengubah ide menjadi proyek AI yang terstruktur, sekaligus tetap memperhatikan aspek tata kelola. 

Melalui Cobuild, pengembangan AI tidak lagi hanya bergantung pada tim teknis. Pengguna bisnis maupun ahli di bidang tertentu dapat ikut membangun solusi AI sesuai kebutuhan, tanpa harus selalu memiliki kemampuan pemrograman mendalam.

Di sisi lain, tenaga teknis tetap dapat mengembangkan dan mengoperasikan solusi melalui perangkat pemrograman yang biasa mereka gunakan. Tim teknologi informasi (TI) bertugas mengelola serta memantau keseluruhan sistem dan agen AI yang berjalan di perusahaan.

Idham menilai pendekatan ini dapat membantu organisasi mempercepat pengembangan solusi AI tanpa mengesampingkan proses peninjauan dan persetujuan sebelum solusi digunakan.

Ledakan Agen AI Menghadirkan Tantangan Baru

Selain fondasi data, Idham menyoroti meningkatnya jumlah agen AI yang digunakan perusahaan. Agen AI merupakan sistem yang dirancang untuk menjalankan tugas tertentu dengan tingkat otomatisasi yang bervariasi, termasuk membantu menyelesaikan rangkaian pekerjaan berdasarkan instruksi pengguna.

Seiring meluasnya penerapan AI, agen-agen tersebut berpotensi berkembang dari sejumlah proyek menjadi ratusan, bahkan ribuan sistem yang berjalan di berbagai platform.

Dalam paparannya, Idham mengutip proyeksi IDC FutureScape Worldwide IT Industry 2026 Predictions yang memperkirakan jumlah agen AI di perusahaan-perusahaan Global 2000 akan meningkat hingga sepuluh kali lipat pada 2027.

Menurut Idham, tantangan penerapan AI kini tidak lagi berhenti pada bagaimana membuat agen baru. Perusahaan juga harus memastikan setiap agen dapat ditemukan, dipantau kinerjanya, serta dievaluasi berdasarkan biaya, manfaat, dan risiko yang ditimbulkan.

“Agen AI yang tidak dapat dipantau adalah agen AI yang tidak dapat dipercaya,” ujar Idham.

Ia mengingatkan bahwa agen AI dapat mengalami penurunan kinerja atau menghasilkan jawaban yang keliru tanpa segera diketahui pengelolanya. Jika hasil tersebut terus digunakan sebagai dasar tindakan bisnis, kesalahan yang tampak kecil sekalipun dapat berdampak pada keputusan perusahaan.

Karena itu, perusahaan perlu memiliki visibilitas terhadap seluruh agen AI yang digunakan, termasuk agen yang dikembangkan oleh tim berbeda atau berjalan di luar platform utama organisasi.

Pengelolaan Agen AI Harus Terukur

Untuk mengatasi persoalan tersebut, Dataiku menekankan pentingnya pengelolaan agen AI secara terpusat dan berkelanjutan. 

Setiap agen idealnya tercatat dalam inventaris, memiliki pemilik yang jelas, dan digunakan untuk tujuan yang terdefinisi. Perusahaan juga perlu memantau kesehatan sistem secara berkala, memasang peringatan ketika kinerja menyimpang, serta mencatat biaya dan manfaat bisnis dari setiap agen.

Selain itu, pengujian, sertifikasi, dan pencatatan risiko dapat membantu organisasi memastikan agen AI beroperasi sesuai standar yang telah ditetapkan.

Pendekatan tersebut berbeda dari pengelolaan agen AI yang tidak terstruktur. Tanpa inventaris dan pemantauan, keberadaan agen mungkin hanya diketahui oleh tim yang membuatnya. Ketika sistem bermasalah, perusahaan baru menyadari kegagalan setelah pengguna merasakan dampaknya.

Sebaliknya, pengelolaan yang terintegrasi memungkinkan perusahaan mengetahui agen mana yang sedang beroperasi, bagaimana performanya, berapa biaya yang dikeluarkan, serta apakah sistem tersebut memberikan nilai yang diharapkan.

Idham juga menyoroti risiko shadow AI agents, yakni agen yang berjalan tanpa diketahui atau diawasi secara memadai oleh pihak yang bertanggung jawab atas tata kelola teknologi di perusahaan.

Menurutnya, perusahaan perlu memiliki visibilitas lintas platform agar tidak ada agen yang luput dari pengawasan. Dengan begitu, organisasi dapat mendeteksi masalah lebih awal dan mengambil tindakan sebelum risiko berkembang menjadi gangguan operasional.

Pada akhirnya, perluasan penggunaan AI harus berjalan seiring dengan kesiapan organisasi dalam mengelola data, mengawasi agen, dan mempertanggungjawabkan keputusan yang dihasilkan teknologi tersebut. Bagi perusahaan yang tengah memperkuat transformasi digital, fondasi data tepercaya dan tata kelola AI bukan sekadar pelengkap, melainkan prasyarat agar teknologi dapat memberikan manfaat bisnis secara berkelanjutan.