Alat Forensik ‘Reanimasi’ Otak AI yang Gagal: Memahami Penyebab Kesalahan

Sistem bertenaga AI semakin terintegrasi dalam kehidupan sehari-hari, mulai dari drone pengantar obat-obatan hingga asisten digital. Namun, sistem ini tidak sempurna dan seringkali gagal berfungsi sebagaimana mestinya. Kegagalan ini bisa disebabkan oleh berbagai faktor, mulai dari cacat desain teknis, bias dalam data pelatihan, hingga kerentanan kode yang dieksploitasi oleh peretas.

Mengisolasi penyebab kegagalan AI sangat penting untuk memperbaiki sistem. Akan tetapi, sistem AI seringkali bersifat buram, bahkan bagi penciptanya. Tantangannya adalah bagaimana menyelidiki sistem AI setelah gagal atau menjadi korban serangan. Teknik inspeksi memang ada, tetapi membutuhkan akses ke data internal sistem AI, yang seringkali tidak tersedia, terutama bagi penyelidik forensik.

AI Psychiatry: Otopsi Digital untuk AI

Tim ilmuwan komputer di Georgia Institute of Technology telah mengembangkan sistem bernama AI Psychiatry (AIP), yang dapat menciptakan kembali skenario kegagalan AI untuk menentukan penyebabnya. Sistem ini mengatasi tantangan forensik AI dengan memulihkan dan ‘mereanimasi’ model AI yang dicurigai sehingga dapat diuji secara sistematis.

Ketidakpastian AI

Bayangkan sebuah mobil otonom yang tiba-tiba keluar jalur dan menabrak. Data log dan sensor mungkin menunjukkan bahwa kamera yang rusak menyebabkan AI salah menafsirkan rambu jalan sebagai perintah untuk berbelok. Setelah kegagalan kritis seperti kecelakaan kendaraan otonom, penyelidik perlu menentukan dengan tepat apa yang menyebabkan kesalahan tersebut.

Apakah kecelakaan itu dipicu oleh serangan jahat terhadap AI? Dalam kasus hipotetis ini, kerusakan kamera bisa jadi akibat dari kerentanan keamanan atau bug dalam perangkat lunaknya yang dieksploitasi oleh peretas. Jika penyelidik menemukan kerentanan seperti itu, mereka harus menentukan apakah itu menyebabkan kecelakaan itu. Tetapi membuat penentuan itu bukanlah tugas yang mudah.

Metode forensik untuk memulihkan beberapa bukti dari kegagalan drone, kendaraan otonom, dan sistem siber-fisik lainnya memang ada, tetapi tidak ada yang dapat menangkap petunjuk yang diperlukan untuk sepenuhnya menyelidiki AI dalam sistem tersebut. AI canggih bahkan dapat memperbarui pengambilan keputusannya secara berkelanjutan, sehingga mempersulit penyelidikan model terbaru dengan metode yang ada.

Patologi untuk AI

AI Psychiatry menerapkan serangkaian algoritma forensik untuk mengisolasi data di balik pengambilan keputusan sistem AI. Potongan-potongan ini kemudian dirakit kembali menjadi model fungsional yang berfungsi identik dengan model aslinya. Penyelidik dapat ‘mereanimasi’ AI dalam lingkungan terkendali dan mengujinya dengan input berbahaya untuk melihat apakah ia menunjukkan perilaku berbahaya atau tersembunyi.

AI Psychiatry menerima sebagai input memory image, sebuah snapshot dari bit dan byte yang dimuat ketika AI beroperasi. Memory image pada saat kecelakaan dalam skenario kendaraan otonom menyimpan petunjuk penting tentang keadaan internal dan proses pengambilan keputusan AI yang mengendalikan kendaraan.

Dengan AI Psychiatry, penyelidik sekarang dapat mengangkat model AI yang tepat dari memori, membedah bit dan byte-nya, dan memuat model ke dalam lingkungan yang aman untuk pengujian. Tim pengembang telah menguji AI Psychiatry pada 30 model AI, yang 24 di antaranya sengaja ‘dipasangi pintu belakang’ untuk menghasilkan hasil yang salah di bawah pemicu tertentu. Sistem ini berhasil memulihkan, menghosting ulang, dan menguji setiap model, termasuk model yang umum digunakan dalam skenario dunia nyata seperti pengenalan rambu jalan pada kendaraan otonom.

Tidak Hanya untuk Kendaraan Otonom

Algoritma utama AI Psychiatry bersifat generik: Berfokus pada komponen universal yang harus dimiliki semua model AI untuk membuat keputusan. Hal ini membuat pendekatan ini mudah diperluas ke model AI apa pun yang menggunakan kerangka pengembangan AI populer. Siapa pun yang bekerja untuk menyelidiki kemungkinan kegagalan AI dapat menggunakan sistem ini untuk menilai model tanpa pengetahuan sebelumnya tentang arsitekturnya yang tepat.

Baik AI tersebut adalah bot yang membuat rekomendasi produk atau sistem yang memandu armada drone otonom, AI Psychiatry dapat memulihkan dan menghosting ulang AI untuk analisis. AI Psychiatry sepenuhnya bersifat open source untuk digunakan oleh penyelidik mana pun.

AI Psychiatry juga dapat berfungsi sebagai alat yang berharga untuk melakukan audit pada sistem AI sebelum masalah muncul. Dengan lembaga pemerintah dari penegak hukum hingga layanan perlindungan anak mengintegrasikan sistem AI ke dalam alur kerja mereka, audit AI menjadi persyaratan pengawasan yang semakin umum di tingkat negara bagian.

Dalam jangka panjang, ini akan memberikan manfaat yang berarti baik bagi pembuat sistem AI maupun semua orang yang terkena dampak tugas yang mereka lakukan.