AI menciptakan dilema bagi perusahaan: Jika Anda tidak menerapkannya dulu, Anda mungkin akan kehilangan peningkatan produktivitas dan potensi manfaat lainnya; namun jika dilakukan dengan salah, bisnis dan klien Anda mungkin akan terkena risiko yang tidak tanggung-tanggung. Di sinilah gelombang baru “keamanan untuk AI” muncul, dengan premis bahwa ancaman ini, seperti jailbreak dan injeksi cepat, tidak dapat diabaikan.
Seperti startup asal Israel, Noma, dan pesaingnya yang berbasis di AS, Hidden Layer dan Protect AI, universitas spin-off asal Inggris, Mindgard, adalah salah satunya. “AI masih berupa perangkat lunak, jadi semua risiko dunia maya yang mungkin Anda pernah dengar juga berlaku untuk AI,” kata CEO dan CTO AI, Profesor Peter Garraghan (di sebelah kanan pada gambar di atas). Namun, “jika Anda melihat sifat buram dan perilaku jaringan dan sistem saraf yang secara intrinsik acak,” tambahnya, hal ini juga membenarkan pendekatan baru.
Dalam kasus Mindgard, pendekatan tersebut adalah Pengujian Keamanan Aplikasi Dinamis untuk AI (DAST-AI) yang menargetkan kerentanan yang hanya dapat dideteksi selama runtime. Hal ini melibatkan kerja sama merah yang berkelanjutan dan otomatis, sebuah cara untuk mensimulasikan serangan berdasarkan perpustakaan ancaman Mindgard. Misalnya, ia dapat menguji ketahanan pengklasifikasi gambar terhadap masukan yang berlawanan.
Dalam hal ini dan seterusnya, teknologi Mindgard bergantung pada latar belakang Garraghan sebagai profesor dan peneliti yang berfokus pada keamanan AI. Bidang ini berkembang pesat — ChatGPT belum ada…
