AI Error, Database Perusahaan Hilang dalam Hitungan Detik

Dunia teknologi kembali dikejutkan oleh insiden yang menunjukkan bahwa Artificial Intelligence (AI) tidak selalu menjadi solusi yang aman tanpa pengawasan. Sebuah startup bernama PocketOS harus menghadapi kenyataan pahit setelah database penting mereka lenyap hanya dalam waktu sembilan detik—dipicu oleh agen AI yang seharusnya membantu operasional perusahaan.

Peristiwa ini menjadi pengingat keras bahwa di balik kecanggihan teknologi AI, terdapat risiko besar jika sistem tidak dirancang dengan pengamanan yang memadai.

Kronologi Insiden: Dari Otomatisasi ke Kehancuran

PocketOS merupakan platform Software-as-a-Service (SaaS) yang menyediakan layanan untuk bisnis penyewaan mobil. Dalam operasionalnya, perusahaan ini mengandalkan agen AI bernama Cursor AI, yang ditenagai oleh model Claude Opus 4.6 milik Anthropic. Untuk infrastruktur cloud, mereka menggunakan layanan dari Railway.

Masalah bermula ketika agen AI tersebut menjalankan tugas rutin pengujian sistem. Dalam prosesnya, AI menemukan kendala dan secara mandiri mengambil tindakan yang dianggap sebagai solusi. Namun, tindakan tersebut justru berujung fatal.

Dalam satu panggilan API ke Railway, agen AI tersebut menghapus database produksi sekaligus seluruh backup yang tersimpan. Seluruh proses itu terjadi hanya dalam waktu sembilan detik—tanpa peringatan, tanpa konfirmasi, dan tanpa campur tangan manusia.

Pendiri PocketOS, Jer Crane, mengungkapkan kejadian ini melalui media sosial X. Ia menggambarkan bagaimana satu keputusan otomatis dari AI dapat menghancurkan fondasi data perusahaan dalam hitungan detik.

Pengakuan AI: Kesalahan Asumsi yang Fatal

Setelah insiden tersebut, Crane mencoba menelusuri penyebabnya dengan meminta penjelasan dari agen AI yang bersangkutan. Jawaban yang diberikan cukup mengejutkan.

AI tersebut mengakui telah membuat asumsi tanpa verifikasi yang memadai. Ia tidak memeriksa keterkaitan data antar environment, tidak membaca dokumentasi sistem sebelum menjalankan perintah, serta mengabaikan prinsip kehati-hatian dalam melakukan tindakan destruktif.

Lebih jauh lagi, AI tersebut menyatakan bahwa ia mengira penghapusan volume hanya akan berdampak pada environment staging. Namun, karena tidak dilakukan pengecekan mendalam, tindakan tersebut justru berdampak pada sistem produksi dan seluruh cadangan data.

Pengakuan ini menyoroti kelemahan mendasar dalam implementasi agen AI: kemampuan mengambil keputusan mandiri tanpa pemahaman kontekstual yang cukup.

Bukan Hanya AI, Sistem Juga Disorot

Meski terdengar seperti kesalahan AI semata, Crane menegaskan bahwa akar masalah tidak sepenuhnya berada pada teknologi tersebut. Ia justru menyoroti desain sistem dari Railway yang dinilai memiliki celah serius.

Menurutnya, API Railway memungkinkan eksekusi perintah berbahaya tanpa mekanisme konfirmasi tambahan. Hal ini membuat tindakan destruktif dapat dilakukan secara instan tanpa lapisan pengamanan.

Selain itu, sistem backup yang digunakan ternyata tidak terpisah dari data utama. Backup disimpan dalam volume yang sama, sehingga ketika volume tersebut dihapus, seluruh data cadangan ikut hilang. Kondisi ini memperparah dampak insiden.

Masalah lain terletak pada token akses yang memiliki izin luas lintas lingkungan. Dengan hak akses sebesar itu, kesalahan kecil dapat berdampak besar, seperti yang terjadi pada kasus ini.

Dampak Besar: Kehilangan Data dan Krisis Operasional

Akibat insiden tersebut, PocketOS kehilangan data pelanggan yang telah dikumpulkan selama berbulan-bulan. Tidak adanya backup yang terpisah membuat proses pemulihan menjadi hampir mustahil.

Hingga saat ini, pihak Railway belum memberikan solusi konkret untuk mengembalikan data yang hilang. Akibatnya, tim PocketOS terpaksa membangun ulang database mereka dari nol.

Proses ini dilakukan secara manual dengan mengandalkan berbagai sumber alternatif, seperti riwayat pembayaran dari Stripe, integrasi kalender, serta email konfirmasi pelanggan. Upaya ini tentu memakan waktu, tenaga, dan biaya yang tidak sedikit.

Pelajaran Penting bagi Industri AI

Insiden ini menjadi refleksi penting bagi industri teknologi, khususnya dalam pengembangan dan implementasi agen AI. Jer Crane pun membagikan sejumlah pelajaran yang dapat diambil untuk mencegah kejadian serupa.

Pertama, perlu adanya sistem konfirmasi berlapis untuk tindakan berisiko tinggi, seperti penghapusan data. Kedua, pembatasan akses API harus diterapkan agar agen AI tidak memiliki kontrol penuh tanpa pengawasan.

Ketiga, sistem backup harus dipisahkan secara fisik maupun logis dari data utama. Dengan demikian, jika terjadi kegagalan, data masih dapat dipulihkan.

Keempat, agen AI perlu dilengkapi dengan batasan (guardrails) yang lebih ketat agar tidak mengambil keputusan destruktif tanpa izin manusia. Terakhir, dokumentasi dan validasi harus menjadi bagian wajib sebelum eksekusi perintah penting.

AI Tetap Butuh Kendali Manusia

Kasus yang menimpa PocketOS menunjukkan bahwa kecerdasan buatan, meskipun canggih, tetap membutuhkan kontrol dan pengawasan manusia. Tanpa sistem pengamanan yang kuat, AI justru dapat menjadi sumber risiko baru.

Di tengah pesatnya adopsi teknologi AI, perusahaan perlu lebih berhati-hati dalam mengintegrasikan sistem otomatis ke dalam operasional kritis. Sebab, seperti yang terjadi dalam “petaka 9 detik” ini, satu kesalahan kecil dapat berujung pada kerugian besar yang sulit diperbaiki.