Semakin luas penggunaan AI (Artificial Intelligence) di perusahaan, semakin sulit memastikan sistem AI apa saja yang digunakan, data apa yang diproses, dan apakah seluruhnya sudah berada dalam pengawasan yang tepat.
AI dapat masuk melalui berbagai jalur, mulai dari aplikasi yang digunakan tim marketing, chatbot customer service, fitur AI dalam software perusahaan, hingga tools gratis yang digunakan karyawan tanpa proses resmi.
Kondisi ini dapat menciptakan shadow AI dan meningkatkan risiko terhadap data, keamanan, compliance, maupun kualitas keputusan.
Di sinilah AI TRiSM (AI Trust, Risk and Security Management) berperan dalam membantu perusahaan menerapkan kontrol dan pengawasan AI secara lebih terstruktur.
Masalah Sistem AI yang Tidak Terpantau
Penyebaran AI di lingkungan perusahaan jarang berlangsung melalui satu pintu terpusat.
Adopsi tersebar melalui berbagai divisi. Setiap tim mengadopsi alat yang menjawab kebutuhannya masing-masing tanpa koordinasi terpusat, sehingga tidak ada pihak yang memiliki gambaran menyeluruh.
AI tertanam dalam sistem yang sudah ada. Banyak penyedia software menambahkan kapabilitas AI pada produk mereka melalui pembaruan rutin. Perusahaan pengguna kerap tidak menyadari bahwa sistem yang selama ini digunakan kini memproses data melalui algoritma baru.
Penggunaan alat gratis oleh karyawan. Sebagian karyawan memanfaatkan alat berbasis AI yang tersedia bebas untuk menyelesaikan tugas harian, termasuk memasukkan data internal ke dalam sistem yang tidak terkontrol.
Ketiadaan proses pendaftaran resmi. Tanpa mekanisme pendaftaran, sistem baru masuk tanpa melalui penilaian risiko maupun verifikasi kepatuhan.
Akumulasi dari keempat kondisi tersebut menghasilkan situasi tempat perusahaan menanggung risiko yang tidak diketahui besarannya.
Peran AI TRiSM dalam Pengawasan Sistem
AI TRiSM merupakan kerangka kerja yang dikembangkan Gartner untuk mengelola kepercayaan, risiko, serta keamanan sistem kecerdasan buatan melalui kontrol teknis yang menegakkan kebijakan.
Fungsi utamanya dalam konteks pengawasan terletak pada kemampuan menyediakan visibilitas menyeluruh. Kerangka ini tidak berhenti pada penyusunan kebijakan tertulis, melainkan mencakup mekanisme teknis untuk menemukan sistem yang beroperasi, menilai tingkat risikonya, serta memantau perilakunya secara berkelanjutan.
Pendekatan tersebut berbeda dari kontrol keamanan konvensional yang dirancang untuk mengawasi akses maupun lalu lintas data. Sistem AI memerlukan pengawasan terhadap output yang dihasilkan serta keputusan yang diambil, sesuatu yang berada di luar cakupan perangkat keamanan tradisional.
Enam Tahap Mengawasi Sistem AI
Penerapan pengawasan yang menyeluruh dapat dilakukan melalui tahapan berikut.
Tahap 1: Temukan Seluruh Sistem yang Beroperasi
Mulai dengan pemetaan menyeluruh melalui beberapa sumber sekaligus. Telusuri daftar langganan software aktif, tinjau catatan pengadaan teknologi, survei setiap divisi mengenai alat yang digunakan, serta periksa pembaruan fitur pada sistem yang sudah berjalan.
Penemuan ini sebaiknya mencakup tiga kategori, yaitu sistem yang dikembangkan internal, sistem dari penyedia pihak ketiga, serta kapabilitas AI yang tertanam dalam software yang telah digunakan sebelumnya.
Tahap 2: Klasifikasikan Berdasarkan Tingkat Risiko
Tidak seluruh sistem memerlukan tingkat pengawasan yang sama. Kelompokkan berdasarkan dampaknya terhadap customer, karyawan, maupun kepatuhan regulasi.
Sistem berdampak tinggi mencakup yang memengaruhi keputusan finansial, akses layanan, maupun penilaian terhadap individu. Sistem berdampak rendah mencakup alat bantu internal yang tidak berinteraksi langsung dengan customer.
Tahap 3: Petakan Aliran Data
Dokumentasikan jenis data yang diproses setiap sistem, sumber datanya, tempat penyimpanannya, serta pihak yang memiliki akses terhadapnya.
Perhatian khusus perlu diberikan pada sistem yang memproses data pribadi customer maupun informasi bisnis sensitif, terutama apabila pemrosesannya melibatkan infrastruktur pihak ketiga.
Tahap 4: Tetapkan Kontrol yang Sesuai
Terapkan kontrol yang proporsional terhadap tingkat risiko masing-masing sistem. Sistem berdampak tinggi memerlukan persetujuan berlapis, pengujian berkala, serta pencatatan menyeluruh atas setiap keputusan.
Kontrol yang diterapkan mencakup pembatasan akses data, penetapan batas kewenangan tindakan, kewajiban pengungkapan kepada customer, serta mekanisme eskalasi kepada manusia.
Tahap 5: Terapkan Pemantauan Perilaku
Pengawasan tidak berhenti pada tahap persetujuan awal. Sistem yang telah beroperasi perlu dipantau perilakunya secara berkelanjutan, sebab akurasi maupun kualitas keputusannya dapat berubah seiring perubahan pola data.
Pemantauan mencakup akurasi output, deteksi bias yang muncul, frekuensi eskalasi ke manusia, serta kepatuhan terhadap kebijakan yang berlaku.
Tahap 6: Lakukan Audit Berkala
Jadwalkan peninjauan menyeluruh terhadap seluruh sistem, minimal setiap tahun maupun lebih sering untuk sistem berdampak tinggi.
Audit mencakup verifikasi bahwa inventarisasi masih mutakhir, evaluasi efektivitas kontrol yang diterapkan, serta identifikasi sistem baru yang masuk tanpa melalui proses resmi.
Ingin memperoleh visibilitas penuh terhadap sistem AI yang beroperasi di perusahaan Anda? Hubungi tim KPSG untuk mendiskusikan penerapan tata kelola AI melalui solusi CXaaS kami. Konsultasi tanpa biaya. [Jadwalkan Konsultasi Gratis]
Sinyal Bahaya yang Perlu Diwaspadai
Beberapa kondisi berikut menandakan bahwa pengawasan sistem AI perlu segera diperketat.
Keluhan customer mengenai keputusan yang tidak dapat dijelaskan. Ketidakmampuan tim menjelaskan alasan di balik sebuah keputusan otomatis menandakan ketiadaan pencatatan yang memadai.
Perbedaan hasil yang mencolok antar kelompok customer. Pola keputusan yang secara konsisten merugikan segmen tertentu mengindikasikan adanya bias yang perlu ditelusuri.
Penurunan akurasi tanpa penyebab yang jelas. Kinerja sistem yang menurun seiring waktu umumnya disebabkan perubahan pola data yang tidak diikuti penyesuaian model.
Temuan sistem yang tidak terdaftar. Penemuan alat berbasis AI yang selama ini beroperasi tanpa sepengetahuan tim tata kelola menandakan proses pendaftaran belum berjalan efektif.
Ketidakmampuan menjawab pertanyaan regulator. Kesulitan menyediakan dokumentasi ketika diminta pihak berwenang menunjukkan celah serius pada praktik pengawasan.
Alat Pendukung Pengawasan
Beberapa kapabilitas teknis berikut mendukung penerapan pengawasan yang efektif.
Katalog sistem terpusat. Basis data yang mencatat seluruh sistem AI beserta atributnya, mencakup penanggung jawab, tingkat risiko, data yang diproses, serta status persetujuannya.
Mekanisme pencatatan otomatis. Sistem yang secara otomatis merekam setiap keputusan penting beserta data yang menjadi dasarnya, sehingga tersedia jejak audit yang dapat ditelusuri.
Dashboard pemantauan. Tampilan terpusat yang menyajikan indikator kinerja seluruh sistem AI secara real-time, memudahkan deteksi anomali sejak dini.
Peringatan otomatis. Mekanisme yang memicu notifikasi ketika sistem menunjukkan perilaku di luar batas yang ditetapkan, mencakup penurunan akurasi maupun lonjakan eskalasi.
Prosedur pendaftaran sistem baru. Alur formal yang wajib dilalui sebelum sistem AI baru diterapkan, mencakup penilaian risiko serta verifikasi kepatuhan.
Kesalahan Umum dalam Pengawasan
Beberapa kekeliruan berikut kerap melemahkan efektivitas pengawasan.
Memusatkan perhatian hanya pada sistem yang dikembangkan internal. Sistem dari pihak ketiga tetap menjadi tanggung jawab perusahaan pengguna, sehingga wajib tercakup dalam pengawasan.
Menganggap pengawasan cukup dilakukan sekali. Sistem AI bersifat dinamis, sehingga persetujuan awal tidak menjamin kinerja yang konsisten dalam jangka panjang.
Menyerahkan pengawasan sepenuhnya kepada tim teknologi. Penilaian dampak terhadap customer maupun kepatuhan regulasi memerlukan perspektif dari tim legal, kepatuhan, serta operasional.
Mengabaikan alat gratis yang digunakan karyawan. Penggunaan alat tidak resmi justru berisiko tinggi sebab berada sepenuhnya di luar kendali perusahaan.
Menerapkan kontrol yang seragam untuk seluruh sistem. Pendekatan yang tidak proporsional menghambat inovasi pada sistem berisiko rendah sekaligus berpotensi kurang ketat pada sistem berdampak tinggi.
Kesimpulan
Pengawasan terhadap seluruh sistem AI menuntut pendekatan yang sistematis, dimulai dari penemuan sistem yang beroperasi, klasifikasi berdasarkan risiko, pemetaan aliran data, penetapan kontrol yang proporsional, penerapan pemantauan perilaku, hingga pelaksanaan audit berkala.
AI TRiSM menyediakan kerangka yang menyatukan keenam tahapan tersebut dalam satu pendekatan terpadu. Visibilitas yang dihasilkan memungkinkan perusahaan mengelola risiko secara proaktif, bukan sekadar bereaksi setelah persoalan muncul ke permukaan.
KPSG, dengan pengalaman lebih dari 35 tahun di bidang contact center dan customer experience, menerapkan prinsip yang sejalan dengan AI TRiSM dalam solusi CXaaS-nya. Kami memastikan setiap sistem AI yang beroperasi disertai pengawasan yang memadai, sehingga teknologi memberikan manfaat tanpa menimbulkan risiko yang tidak terkendali.
Tertarik mengetahui bagaimana solusi CXaaS dan BPaaS dapat membantu bisnis meningkatkan efisiensi dan kualitas layanan pelanggan? Hubungi kami di sini. Tonton pembahasan dan insight menarik lainnya seputar customer experience, teknologi, dan transformasi bisnis di sini.
FAQ (Pertanyaan yang Sering Diajukan)
Bagaimana cara menemukan sistem AI yang tidak terdaftar?
Penemuan dilakukan melalui beberapa jalur sekaligus, mencakup penelusuran daftar langganan software, peninjauan catatan pengadaan, survei kepada setiap divisi, serta pemeriksaan pembaruan fitur pada sistem yang sudah berjalan.
Apakah seluruh sistem AI memerlukan tingkat pengawasan yang sama?
Tidak. Pengawasan sebaiknya proporsional terhadap tingkat risiko. Sistem yang memengaruhi keputusan finansial maupun akses layanan customer memerlukan kontrol jauh lebih ketat dibanding alat bantu internal.
Seberapa sering pemantauan sistem AI perlu dilakukan?
Pemantauan perilaku sebaiknya berlangsung berkelanjutan melalui dashboard serta peringatan otomatis, sementara audit menyeluruh dilakukan minimal setahun sekali maupun lebih sering untuk sistem berdampak tinggi.
Siapa yang bertanggung jawab atas pengawasan sistem AI?
Tanggung jawab bersifat lintas fungsi, melibatkan tim teknologi, legal, kepatuhan, keamanan informasi, serta operasional, dengan satu penanggung jawab pada tingkat kepemimpinan.
Apakah sistem AI dari vendor perlu diawasi?
Perlu. Tanggung jawab atas dampak sistem tetap berada pada perusahaan pengguna, sehingga sistem pihak ketiga wajib memenuhi standar pengawasan yang sama seperti sistem internal.
