Anthropic Rilis AI untuk Cari Celah Keamanan Open Source

Anthropic meluncurkan OSS Scanner, layanan pemindaian keamanan berbasis Artificial Intelligence (AI) yang dirancang untuk menemukan kerentanan pada perangkat lunak open source. Layanan ini tersedia secara gratis bagi proyek yang memenuhi persyaratan dan bersedia mengikuti program tersebut.

OSS Scanner memanfaatkan model AI Anthropic, termasuk Claude Mythos, untuk mengidentifikasi kelemahan keamanan dalam kode program. Berbeda dari proses pengungkapan kerentanan konvensional, layanan ini memungkinkan pengelola proyek menerima laporan secara langsung tanpa harus menunggu seluruh temuan diperiksa oleh manusia.

Peluncuran layanan ini dilakukan di tengah meningkatnya kemampuan Large Language Model (LLM) dalam mendeteksi kerentanan. Anthropic menyebut kemampuan LLM dalam menemukan kelemahan pada pengujian CyberGym meningkat dari kurang dari 20% pada awal tahun lalu menjadi lebih dari 85% pada tahun ini.

Peningkatan tersebut membuka peluang bagi pengembang untuk mendeteksi dan memperbaiki celah keamanan lebih cepat. Namun, penggunaan AI juga menghadirkan tantangan, terutama terkait keakuratan laporan dan kebutuhan untuk memverifikasi temuan sebelum ditindaklanjuti.

Anthropic Temukan Puluhan Ribu Kandidat Kerentanan

Dalam enam bulan terakhir, Anthropic menggunakan model AI terbarunya untuk memindai sejumlah proyek perangkat lunak penting di dunia. Dari proses tersebut, perusahaan menemukan lebih dari 29.000 kandidat kerentanan.

Namun, hanya sekitar 6.000 temuan yang berhasil ditinjau dan diklasifikasikan secara manual. Keterbatasan kapasitas tenaga manusia menjadi salah satu hambatan utama dalam memvalidasi seluruh temuan yang dihasilkan AI.

Anthropic juga mengungkapkan bahwa sejumlah pengelola proyek open source meminta agar semua laporan kerentanan dikirimkan sekaligus, termasuk laporan yang belum diverifikasi, lengkap dengan usulan perbaikannya. Hingga saat ini, hampir 5.000 laporan telah dikirimkan langsung kepada pengelola proyek yang meminta seluruh temuan tersebut.

Kebutuhan untuk mempercepat proses ini semakin mendesak karena eksploitasi kerentanan dapat dikembangkan dalam hitungan menit. Artinya, penyerang juga berpeluang memanfaatkan kelemahan perangkat lunak segera setelah menemukannya.

Dengan OSS Scanner, Anthropic ingin membantu pengelola proyek mengidentifikasi dan memperbaiki masalah keamanan lebih cepat, sehingga mengurangi kesempatan bagi penyerang untuk mengeksploitasi celah yang sama.

Meski demikian, perusahaan tetap mempertahankan proses Coordinated Vulnerability Disclosure (CVD), yaitu mekanisme pengungkapan kerentanan yang dikoordinasikan dengan pihak terkait. Dalam proses tersebut, temuan ditinjau oleh manusia sebelum diungkapkan kepada pengelola proyek.

Jalur ini tetap penting, khususnya bagi proyek yang tidak memiliki sumber daya memadai untuk memeriksa laporan kerentanan secara mandiri. OSS Scanner kemudian hadir sebagai jalur cepat opsional bagi proyek yang ingin menerima laporan segera setelah kerentanan ditemukan.

Cara Kerja OSS Scanner

Anthropic mengembangkan OSS Scanner dengan mengambil inspirasi dari OSS-Fuzz, proyek Google yang membantu menemukan kelemahan perangkat lunak open source menggunakan teknik fuzzing. Teknik fuzzing menguji program dengan berbagai masukan, termasuk data yang tidak biasa atau tidak terduga, untuk mengungkap kesalahan pemrosesan dan potensi kelemahan keamanan.

OSS Scanner menggunakan pendekatan berbasis model AI untuk menganalisis kode dan menemukan kandidat kerentanan. Layanan ini melengkapi produk Anthropic lainnya, Claude Security, yang berfokus pada pemindaian dan perbaikan kode untuk membantu perusahaan melindungi sistem mereka.

Perbedaannya terletak pada sasaran dan mekanisme layanan. OSS Scanner menyediakan audit keamanan tanpa biaya bagi proyek open source yang memenuhi persyaratan, sedangkan Claude Security ditujukan untuk membantu organisasi mengamankan sistem mereka.

Anthropic menjelaskan bahwa laporan OSS Scanner sepenuhnya dihasilkan oleh model AI tanpa pemeriksaan atau klasifikasi manusia terlebih dahulu. Mekanisme ini memungkinkan pemindaian berlangsung lebih cepat dan lebih sering.

Namun, konsekuensinya, tidak semua laporan dapat dipastikan benar. Sebagian temuan mungkin merupakan false positive, yaitu ketika sistem mendeteksi sesuatu sebagai kerentanan, padahal masalah tersebut sebenarnya tidak valid.

Untuk meningkatkan kualitas temuan, Anthropic menggunakan model-model AI terkuatnya, termasuk Claude Mythos. Perusahaan juga menguji alur kerja OSS Scanner bersama puluhan proyek open source selama beberapa minggu sebelum memperluas ketersediaan layanan.

Pengujian awal tersebut menghasilkan ratusan laporan bug. Beberapa di antaranya mengungkap kerentanan yang dapat dirangkai menjadi serangan remote code execution (RCE) tanpa autentikasi.

RCE merupakan jenis kerentanan yang memungkinkan penyerang menjalankan kode atau perintah pada sistem target dari jarak jauh. Jika tidak ditangani, kelemahan ini dapat memberikan akses berbahaya kepada pihak yang tidak berwenang.

Setiap laporan OSS Scanner dirancang agar dapat ditindaklanjuti oleh pengembang. Laporan tersebut mencakup langkah reproduksi untuk menguji kembali masalah, penjelasan teknis mengenai kerentanan, serta usulan perbaikan atau patch jika tersedia.

Jika memungkinkan, laporan juga menyertakan analisis bisection untuk membantu menentukan perubahan kode yang pertama kali memperkenalkan bug. Informasi ini dapat mempercepat proses pelacakan sumber masalah.

Pengelola Proyek Menilai Laporan AI Bermanfaat

Sejumlah pengelola proyek perangkat lunak open source memberikan tanggapan positif terhadap hasil pengujian awal OSS Scanner.

Noah Misch dari PostgreSQL menyebut banyak temuan layanan tersebut berkaitan dengan kelemahan PostgreSQL. Beberapa laporan bahkan dilengkapi perbaikan yang hampir dapat langsung diterapkan. Akses cepat juga membantu tim menangani masalah terbaru sebelum mencapai rilis umum.

Sementara itu, Anton Arapov dari OpenSSL Corporation menilai kualitas laporan AI dari Anthropic telah meningkat dibandingkan laporan yang diterima sekitar 18 bulan sebelumnya.

Menurutnya, laporan yang dihasilkan model AI kini memiliki kualitas setara, bahkan terkadang lebih baik, daripada laporan dari manusia. Laporan yang disertai bukti eksploitasi nyata juga membantu teknisi memverifikasi masalah dengan lebih cepat.

Penilaian serupa disampaikan Todd Ouska dari wolfSSL. Dari 74 laporan yang diterima, hanya dua yang dinilai tidak valid, sedangkan lima di antaranya kemudian menjadi CVE (Common Vulnerabilities and Exposures), sistem identifikasi untuk kerentanan keamanan yang diketahui publik.

Ouska menambahkan bahwa laporan yang dilengkapi patch dapat langsung dimasukkan ke dalam proses internal untuk diverifikasi dan diperbaiki. Eddie Kohler dari HotCRP juga memuji kelengkapan dan kejelasan laporan yang diterima. Laporan tersebut dinilai mampu memahami model perizinan HotCRP yang kompleks serta memprioritaskan bug dengan baik.

Adapun Daniel Stenberg dari proyek curl mengatakan OSS Scanner membantu timnya menemukan beberapa masalah yang layak diperbaiki, termasuk salah satu kerentanan curl paling serius yang dilaporkan dalam beberapa tahun terakhir.

Tanggapan tersebut menunjukkan bahwa laporan yang dihasilkan AI berpotensi membantu pengelola proyek mempercepat proses penanganan kerentanan, terutama ketika laporan disertai bukti dan usulan perbaikan yang dapat diuji.

Hasil Validasi, 88% Temuan Memenuhi Standar

Untuk mengukur kualitas OSS Scanner, Anthropic meminta para ahli pengujian penetrasi memeriksa 97 temuan dengan tingkat keparahan tinggi dan kritis dari 48 proyek open source. Hasilnya, sebanyak 85 temuan atau sekitar 88% memenuhi standar proses CVD Anthropic.

Dari 12 temuan yang tersisa, 11 di antaranya merupakan masalah nyata, tetapi berupa duplikasi kerentanan yang telah diketahui atau temuan lain dari pemindaian yang sama. Hanya satu temuan yang dinyatakan tidak valid. Meski hasil tersebut menunjukkan tingkat ketepatan yang menjanjikan, Anthropic mengakui bahwa OSS Scanner belum sempurna.

Beberapa pengelola proyek menilai tingkat keparahan yang diberikan terkadang terlalu tinggi. Ada pula laporan yang menunjukkan bahwa pemindai belum sepenuhnya memahami threat model atau model ancaman yang berlaku pada proyek tertentu.

Model ancaman merupakan gambaran mengenai aset yang perlu dilindungi, kemungkinan penyerang, serta cara sistem dapat diserang. Pemahaman terhadap konteks ini penting agar tingkat risiko sebuah kerentanan dapat dinilai secara tepat.

Anthropic menyatakan akan terus menyempurnakan OSS Scanner berdasarkan masukan dari pengelola proyek dan perkembangan kemampuan model AI. Perusahaan juga mengakui bahwa laporan yang dihasilkan sistem otomatis tetap perlu dievaluasi sesuai konteks dan kebutuhan setiap proyek.

Cara Mendaftar OSS Scanner

Anthropic membuka pendaftaran OSS Scanner bagi pengelola inti proyek open source yang memenuhi persyaratan. Pendaftaran dilakukan dengan mengirimkan pull request (PR) ke repositori GitHub yang disediakan, mengikuti templat proyek yang telah ditentukan.

Kelayakan proyek mengacu pada kriteria yang serupa dengan OSS-Fuzz. Secara umum, proyek harus memiliki dampak penting terhadap infrastruktur dan keamanan pengguna. Setiap permohonan akan dinilai secara individual.

Selain OSS Scanner, Anthropic juga menyediakan dua inisiatif lain untuk mendukung keamanan ekosistem open source.

Pertama, Cyber Verification Program memberikan akses ke kemampuan keamanan siber tingkat lanjut dan mekanisme klasifikasi yang lebih sedikit memblokir aktivitas kepada profesional keamanan yang memenuhi persyaratan.

Kedua, Claude for OSS menawarkan langganan Claude Max 20x secara gratis untuk membantu pengelola proyek memperbaiki kerentanan dan meningkatkan kualitas perangkat lunak open source mereka.

Melalui berbagai inisiatif tersebut, Anthropic berupaya memperluas penggunaan AI untuk membantu pertahanan siber. OSS Scanner menawarkan cara yang lebih cepat untuk menemukan kelemahan perangkat lunak, sekaligus memberikan laporan yang dapat membantu pengembang melakukan perbaikan.