Agen AI ServiceNow Bisa Saling Serang, Ini Modus Barunya

Platform kecerdasan buatan semakin menjadi tulang punggung operasional perusahaan modern. Namun, kemajuan teknologi tersebut juga menghadirkan ancaman keamanan baru yang semakin kompleks. Salah satunya dialami oleh ServiceNow Now Assist, platform AI generatif yang ternyata dapat disusupi dan dimanipulasi untuk melakukan serangan dari dalam sistem. Metode serangan ini disebut second-order prompt injection, dan yang membuatnya lebih berbahaya adalah kenyataan bahwa serangan bisa terjadi tanpa disadari oleh organisasi yang menjadi korban.

Bagaimana AI Bisa Disalahgunakan?

Now Assist dirancang untuk bekerja sebagai agen AI yang mampu menjalankan berbagai tugas secara otomatis—mulai dari menjawab pertanyaan pengguna, membantu operasional help desk, hingga melakukan tindakan administratif lainnya. Namun, justru kemampuan otomatisasi ini menjadi celah yang dapat dimanfaatkan pelaku kejahatan siber.

Menurut laporan perusahaan keamanan AppOmni, penyerang dapat mengeksploitasi konfigurasi default yang ada pada sistem. Bukan karena adanya bug atau kesalahan teknis, melainkan karena perilaku AI tersebut memang berjalan sesuai rancangan konfigurasi bawaan.

Aaron Costello, Chief of SaaS Security Research di AppOmni menyatakan:

“Masalahnya bukan pada kerusakan AI, tetapi pada konfigurasi default yang memungkinkan agen AI saling menemukan dan merekrut. Permintaan yang tampaknya tidak berbahaya dapat berubah menjadi serangan secara diam-diam.”

Dengan kata lain, penyerang tidak perlu “mengontrol” AI secara langsung. Mereka cukup memanfaatkan cara kerja AI itu sendiri.

Skenario Serangan: Semua Terjadi Diam-Diam

Untuk memahami bahayanya, bayangkan skenario berikut:

1. Sebuah agen AI yang tampak tidak berbahaya diberi akses membaca data atau konten tertentu—misalnya catatan pelanggan atau entri formulir.
2. Di dalam konten tersebut, pelaku menyisipkan prompt berbahaya (walau tidak diketik oleh pengguna yang menjalankan agen AI).
3. Saat membaca konten tadi, agen AI diam-diam menjalankan prompt tersebut — meskipun ada perlindungan prompt injection aktif.
4. Prompt itu memerintahkan agen untuk merekrut agen lain yang memiliki kemampuan lebih kuat.
5. Agen kedua yang lebih kuat itu kemudian digunakan untuk melakukan tindakan seperti:
   • membaca atau mengubah catatan internal,
   • menyalin data sensitif perusahaan,
   • atau bahkan mengirim email keluar sistem.

Yang paling mengkhawatirkan—semua ini terjadi di latar belakang, tanpa notifikasi kepada pengguna atau administrator. Sistem akan terlihat berfungsi normal, padahal data sedang dicuri.

Mengapa Hal Ini Bisa Terjadi?

Kelemahan ini muncul dari cara kerja komunikasi antar agen AI dalam Now Assist, yang diatur oleh sejumlah konfigurasi default, seperti:

Tujuan awal konfigurasi ini adalah agar agen dapat bekerja secara kolaboratif dan efisien. Namun tanpa pembatasan keamanan tambahan, kerja sama otomatis ini menjadi peluang bagi pelaku siber untuk mengubah agen AI menjadi pintu serangan internal.

Lebih jauh lagi, agen AI dijalankan dengan hak akses pengguna yang memulai interaksi, bukan pengguna yang menyisipkan prompt berbahaya. Dengan demikian, pelaku dapat mencuri atau mengubah data menggunakan hak akses korban, membuat pelacakan semakin sulit.

Respons ServiceNow

Setelah menerima laporan dari AppOmni, ServiceNow menjelaskan bahwa sistem berjalan sesuai desain. Namun perusahaan memperbarui dokumentasinya untuk memperjelas risiko dari konfigurasi default tersebut agar pengguna lebih waspada.

Penemuan ini menekankan bahwa ancaman keamanan saat ini tidak selalu muncul dari malware, eksploitasi jaringan, atau kerentanan tradisional—tetapi juga dari perilaku AI yang berjalan terlalu otomatis tanpa pengawasan ketat.

Bagaimana Perusahaan Dapat Melindungi Diri?

Para pakar keamanan menyarankan sejumlah langkah mitigasi untuk mencegah second-order prompt injection:

• Mengaktifkan supervised execution mode untuk agen dengan akses tinggi
• Menonaktifkan fitur autonomous override (sn_aia.enable_usecase_tool_execution_mode_override )
• Membatasi dan memisahkan tugas agen berdasarkan tim, bukan menyatukan semuanya secara otomatis
• Melakukan pemantauan aktivitas agen AI untuk mendeteksi tindakan mencurigakan

Perusahaan juga dianjurkan untuk meninjau ulang seluruh konfigurasi AI secara berkala, terutama jika sistem AI berinteraksi dengan data sensitif atau memiliki kemampuan mengeksekusi tindakan administratif.

Costello menutup peringatannya:

“Jika organisasi pengguna Now Assist tidak benar-benar memeriksa konfigurasi AI mereka, kemungkinan mereka sudah berada dalam risiko tanpa disadari.” 

Adopsi AI terus berkembang pesat, tetapi kemampuan otomatisasi dan kolaborasi agen AI harus diimbangi dengan keamanan yang matang. Second-order prompt injection membuktikan bahwa ancaman AI tidak selalu datang dari luar sistem—kadang berasal dari cara kerja AI itu sendiri.

Keamanan AI bukan hanya urusan teknologi, tetapi juga perhatian, pengawasan, dan kesadaran organisasi. Jika perusahaan ingin memanfaatkan AI dengan aman, maka kecanggihan harus berjalan beriringan dengan kontrol keamanan yang ketat.