Perkembangan Artificial Intelligence (AI) membawa perubahan signifikan dalam cara perusahaan menjalankan proses bisnis, mengelola data, dan mengambil keputusan. Di balik peluang peningkatan efisiensi dan produktivitas, penggunaan AI juga menghadirkan tantangan baru terkait keamanan informasi, perlindungan data pribadi, serta akuntabilitas dalam pengambilan keputusan.
Seiring dengan semakin luasnya penerapan AI, perusahaan perlu memastikan bahwa inovasi teknologi berjalan seiring dengan tata kelola dan pengelolaan risiko yang tepat. Salah satu pendekatan yang semakin relevan adalah AI Trust, Risk, and Security Management (AI TRiSM), yang berfokus pada aspek kepercayaan, risiko, dan keamanan dalam penggunaan AI.
Dalam podcast Smart ConneXion bersama Adriansyah Adnan, Chief Technology Officer (CTO) Anabatic Technologies, dibahas bagaimana perusahaan dapat menghadapi berbagai risiko AI sekaligus memastikan teknologi tersebut tetap memberikan manfaat secara aman dan bertanggung jawab.
AI Mengubah Tugas, Bukan Sekadar Menggantikan Peran Manusia
Salah satu kekhawatiran terbesar terhadap perkembangan AI adalah potensi tergantikannya pekerjaan manusia oleh otomatisasi. Namun, perubahan yang terjadi tidak selalu berarti hilangnya suatu profesi secara keseluruhan.
Menurut Adriansyah Adnan, AI pada dasarnya lebih berperan dalam menggantikan atau mengotomatisasi tugas tertentu dibandingkan menggantikan keseluruhan peran manusia dalam suatu pekerjaan.
Kemampuan AI untuk memproses informasi dan menyelesaikan aktivitas operasional dalam jumlah besar dapat membantu meningkatkan produktivitas. Di sisi lain, manusia tetap memiliki peran penting dalam memahami konteks permasalahan, melakukan evaluasi, dan menentukan keputusan yang membutuhkan pertimbangan lebih lanjut.
Perubahan tersebut menuntut tenaga kerja untuk mengembangkan kemampuan yang tidak hanya berorientasi pada penyelesaian tugas, tetapi juga pada pemahaman masalah, pemikiran kritis, dan pengawasan terhadap hasil kerja teknologi.
Dengan demikian, kolaborasi manusia dan AI menjadi bagian penting dalam transformasi dunia kerja, khususnya untuk memastikan otomatisasi tetap berjalan sesuai dengan kebutuhan dan tujuan bisnis.
Mengapa AI TRiSM Penting bagi Perusahaan?
Kecepatan perkembangan AI sering kali melampaui kesiapan regulasi dan tata kelola yang mengaturnya. Teknologi terus berkembang, sementara perusahaan dan regulator perlu menyesuaikan kebijakan untuk mengantisipasi berbagai risiko baru.
Kondisi tersebut menjadikan AI TRiSM semakin penting dalam penerapan AI di lingkungan korporasi.
AI TRiSM merupakan pendekatan yang membantu organisasi mengelola kepercayaan, risiko, dan keamanan dalam penggunaan AI. Pendekatan ini menekankan bahwa implementasi AI tidak cukup hanya dinilai berdasarkan kemampuan teknologi, tetapi juga harus mempertimbangkan perlindungan data, pengendalian akses, keandalan sistem, dan tanggung jawab atas hasil yang dihasilkan.
Bagi perusahaan, tata kelola AI perlu menjadi bagian dari strategi implementasi sejak awal, bukan sekadar langkah tambahan setelah teknologi digunakan.
Tanpa pengawasan yang memadai, penggunaan AI berpotensi menimbulkan risiko operasional, pelanggaran privasi, hingga keputusan yang berdampak negatif terhadap bisnis dan pelanggan.
Shadow AI dan Tantangan Perlindungan Data Perusahaan
Salah satu risiko yang menjadi perhatian dalam pembahasan ini adalah shadow AI, yaitu penggunaan teknologi AI oleh karyawan di luar kebijakan, persetujuan, atau pengawasan resmi perusahaan.
Situasi ini dapat terjadi ketika karyawan menggunakan aplikasi AI publik untuk membantu menyelesaikan pekerjaan, termasuk memproses dokumen atau informasi internal perusahaan, tanpa memahami bagaimana data tersebut dikelola oleh penyedia layanan.
Risiko menjadi semakin besar apabila informasi sensitif, seperti data pelanggan, informasi karyawan, atau dokumen bisnis, dimasukkan ke dalam sistem AI tanpa pengamanan dan perjanjian pengelolaan data yang sesuai.
Di Indonesia, perlindungan data pribadi juga telah diatur melalui Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi (UU PDP). Regulasi ini menegaskan pentingnya tanggung jawab organisasi dalam memproses dan melindungi data pribadi.
Untuk mengurangi risiko tersebut, Adriansyah menekankan pentingnya kebijakan penggunaan AI di lingkungan perusahaan, termasuk pembatasan penggunaan data sensitif.
Penerapan teknik seperti data masking dan anonimisasi dapat menjadi bagian dari langkah perlindungan, sehingga informasi yang digunakan dalam proses AI tidak secara langsung mengungkap identitas individu atau pihak tertentu.
Selain pengamanan teknis, perusahaan perlu membangun kesadaran karyawan mengenai risiko penggunaan AI dan menetapkan standar teknologi yang dapat digunakan secara resmi.
Cybersecurity dan Security by Design dalam Implementasi AI
Perkembangan AI juga membawa tantangan baru dalam aspek cybersecurity. AI tidak hanya dapat dimanfaatkan untuk mendukung sistem keamanan, tetapi juga berpotensi digunakan untuk melakukan serangan siber atau menjadi titik kerentanan baru dalam infrastruktur perusahaan.
Salah satu risiko yang perlu diperhatikan adalah prompt injection, yaitu upaya memanipulasi instruksi yang diterima sistem AI sehingga menghasilkan respons atau tindakan di luar tujuan yang telah ditetapkan.
Ketika AI terhubung dengan sistem dan data internal perusahaan, kerentanan tersebut berpotensi membuka akses tidak sah terhadap informasi sensitif.
Untuk mengantisipasinya, perusahaan perlu menerapkan pendekatan security by design, yaitu memastikan aspek keamanan telah dipertimbangkan sejak tahap awal perancangan dan implementasi AI.
Dalam pembahasan podcast, Adriansyah menyoroti pentingnya pembatasan hak akses sistem AI sesuai kebutuhan operasional. Sebagaimana akses seorang karyawan dibatasi berdasarkan tanggung jawabnya, AI juga perlu memiliki identitas dan hak akses yang jelas.
Dengan pembatasan tersebut, sistem AI hanya dapat mengakses informasi dan menjalankan fungsi yang memang diperlukan.
Pendekatan ini membantu perusahaan mengurangi potensi penyalahgunaan akses sekaligus memastikan integrasi AI dengan sistem bisnis dilakukan secara lebih terkendali.
Human Oversight: Mengapa Pengawasan Manusia Tetap Diperlukan?
Meskipun AI memiliki kemampuan pemrosesan yang tinggi, hasil yang dihasilkan tidak selalu sepenuhnya akurat atau dapat diprediksi. Oleh karena itu, pengawasan manusia atau human oversight tetap menjadi aspek penting dalam implementasi AI.
Namun, Adriansyah mengingatkan bahwa keterlibatan manusia dalam suatu proses tidak secara otomatis menjamin efektivitas pengawasan.
Sebagai contoh, apabila sebelumnya seorang supervisor hanya memeriksa puluhan dokumen setiap hari, penggunaan AI dapat meningkatkan jumlah dokumen yang harus ditinjau hingga ratusan. Tanpa penyesuaian mekanisme pengawasan, peningkatan produktivitas tersebut justru dapat menciptakan beban baru.
Untuk mengatasinya, perusahaan perlu menerapkan pengawasan berdasarkan tingkat risiko dari aktivitas yang dilakukan AI.
Aktivitas berisiko rendah, seperti pembuatan ringkasan informasi, dapat memiliki mekanisme pengawasan yang berbeda dibandingkan proses yang melibatkan interaksi pelanggan atau keputusan penting.
Penggunaan guardrails, penilaian tingkat keyakinan sistem, serta mekanisme eskalasi kepada manusia dapat membantu menentukan kapan AI dapat menjalankan tugas secara otomatis dan kapan intervensi manusia diperlukan.
Perusahaan juga perlu menyediakan mekanisme penghentian proses dan rollback untuk mengantisipasi kesalahan yang mungkin terjadi.
Dengan pendekatan ini, pengawasan manusia tidak hanya menjadi formalitas, tetapi benar-benar berfungsi sebagai bagian dari pengendalian risiko.
Akuntabilitas AI Tetap Menjadi Tanggung Jawab Manusia
Salah satu prinsip penting dalam tata kelola AI adalah kejelasan pihak yang bertanggung jawab atas keputusan dan tindakan yang dihasilkan teknologi.
Meskipun AI dapat membantu menjalankan proses secara otomatis, perusahaan tetap perlu menetapkan individu atau pihak yang memiliki kewenangan untuk melakukan pengawasan, mengambil tindakan korektif, dan menangani permasalahan.
Adriansyah menegaskan bahwa tanggung jawab akhir tidak dapat sepenuhnya dialihkan kepada teknologi.
Karena itu, perusahaan perlu menetapkan batasan mengenai tindakan yang boleh dilakukan AI, kondisi yang memerlukan persetujuan manusia, serta prosedur penanganan ketika terjadi kesalahan.
Kejelasan akuntabilitas menjadi landasan penting untuk memastikan bahwa penggunaan AI dapat dipertanggungjawabkan, baik dari sisi operasional, keamanan, maupun dampaknya terhadap pelanggan dan bisnis.
Membangun Inovasi AI yang Aman dan Terpercaya
Pemanfaatan AI membuka peluang bagi perusahaan untuk meningkatkan efisiensi, mempercepat proses operasional, dan mengembangkan layanan yang lebih responsif. Namun, keberhasilan implementasinya tidak hanya bergantung pada kecanggihan teknologi.
Perusahaan juga perlu membangun tata kelola yang mencakup perlindungan data, pengendalian akses, keamanan sistem, pengawasan berbasis risiko, serta akuntabilitas manusia.
Melalui pendekatan AI TRiSM, perusahaan dapat menyeimbangkan kebutuhan inovasi dengan pengelolaan risiko yang bertanggung jawab.
Pada akhirnya, masa depan AI bukan hanya tentang seberapa canggih teknologi yang digunakan, tetapi juga seberapa baik perusahaan memastikan teknologi tersebut dapat dipercaya, dikendalikan, dan memberikan manfaat yang berkelanjutan.
Simak pembahasan selengkapnya dalam podcast Smart ConneXion bersama Adriansyah Adnan, Chief Technology Officer (CTO) Anabatic Technologies, untuk mengetahui bagaimana perusahaan dapat menghadapi risiko AI dan membangun inovasi yang terpercaya.
Pelajari lebih lanjut mengenai solusi teknologi dan transformasi bisnis KPSG melalui www.kpsg.com atau hubungi kami di https://kpsg.com/hubungi-kami/