DAFTAR ISI

AI TRiSM: Strategi Menjaga Akurasi AI Setelah Implementasi

oleh editor-melon

21 November 2026

AI TRiSM
DAFTAR ISI

Kinerja AI (Artificial Intelligence) perlu terus dievaluasi setelah digunakan dalam operasional perusahaan. Perubahan informasi layanan, pola pertanyaan customer, dan konfigurasi sistem dapat memengaruhi kualitas jawabannya. Perusahaan perlu menyiapkan cara untuk mengenali perubahan tersebut dan menentukan tindakan perbaikannya.

AI TRiSM (AI Trust, Risk and Security Management) membantu perusahaan menghubungkan tata kelola dengan kontrol teknis selama sistem beroperasi. Pendekatan ini mencakup pemantauan, validasi, serta pengendalian risiko yang mendukung penggunaan AI secara lebih terarah.

Pentingnya pengujian terlihat dalam publikasi PwC (PricewaterhouseCoopers) pada Juni 2026. PwC melaporkan bahwa akurasi asisten AI generatif pada tugas kompleks di sebuah bank Inggris meningkat dari 40% menjadi 85% setelah optimasi instruksi dan perbaikan berdasarkan pengujian. Proyek tersebut mencakup pengujian langsung terhadap lebih dari 1.400 output asisten pada berbagai penggunaan.

Hasil tersebut berasal dari satu penerapan dengan konteks pengujian tertentu. Pelajaran yang dapat diambil adalah pentingnya menghubungkan evaluasi dengan perbaikan yang terukur, termasuk ketika perusahaan meninjau kinerja AI setelah implementasi.

Apa Peran AI TRiSM dalam Menjaga Akurasi?

AI TRiSM merupakan kerangka dan kapabilitas teknis untuk mengelola kepercayaan, risiko, serta keamanan sistem AI. Cakupannya meliputi tata kelola, pengelolaan informasi, pemantauan perilaku, dan kontrol terhadap penggunaan sistem.

Akurasi menjadi salah satu bagian dari pengawasan tersebut. Perusahaan perlu memeriksa apakah jawaban sesuai fakta, menggunakan sumber yang masih berlaku, dan mengikuti ketentuan layanan yang relevan.

Ukuran keberhasilan juga perlu mengikuti tugas sistem. Chatbot untuk menjawab pertanyaan produk memerlukan penilaian ketepatan informasi. Sistem yang mengelompokkan permintaan customer memerlukan pemeriksaan apakah setiap permintaan diarahkan ke kategori yang sesuai.

Mengapa Akurasi AI Dapat Berubah Setelah Implementasi?

Kondisi operasional terus berkembang. Informasi produk dapat diperbarui, prosedur layanan berubah, dan customer mulai mengajukan pertanyaan yang belum banyak muncul saat pengujian awal.

Perubahan pola data masukan sering disebut data drift. Perubahan tersebut menjadi sinyal untuk memeriksa kembali kinerja, sebab hasil pengujian awal mungkin belum mewakili kondisi terbaru.

Masalah juga dapat berasal dari sumber informasi yang kedaluwarsa, gangguan pengambilan data, atau pembaruan model dari penyedia teknologi. Oleh karena itu, evaluasi perlu mencakup keseluruhan layanan, mulai dari pertanyaan masuk hingga jawaban yang diterima customer.

Strategi AI TRiSM untuk Memantau dan Menjaga Akurasi

Enam langkah berikut dapat membantu perusahaan menerapkan pengawasan yang menghasilkan tindak lanjut yang jelas.

1. Tetapkan Definisi Akurasi dan Standar Penilaian

Mulailah dengan menentukan seperti apa jawaban yang dianggap benar untuk setiap kebutuhan layanan. Penilaian dapat mencakup kesesuaian fakta, kelengkapan informasi penting, serta kecocokan dengan kondisi customer.

Sebagai ilustrasi, jawaban tentang biaya layanan perlu mengikuti jenis produk dan ketentuan yang berlaku. Informasi yang benar untuk satu produk belum tentu sesuai bagi customer yang menggunakan produk lain.

Langkah praktis: Susun pedoman penilaian bersama tim operasional dan pemilik informasi. Bedakan kesalahan ringan, informasi yang kurang lengkap, dan kesalahan kritis yang dapat merugikan customer.

Tetapkan pula kapan sistem perlu meminta klarifikasi atau meneruskan pertanyaan kepada agent. Respons tersebut dapat menjadi hasil yang tepat ketika informasi untuk menjawab belum memadai.

2. Bangun Acuan Pengujian yang Mewakili Kondisi Layanan

Perusahaan memerlukan kumpulan pertanyaan dan hasil yang diharapkan sebagai acuan perbandingan. Sertakan pertanyaan rutin, variasi bahasa, permintaan yang ambigu, serta topik yang memiliki dampak tinggi.

Simpan hasil penilaian awal sebagai baseline, yaitu titik acuan untuk melihat perubahan kinerja. Catat juga versi model, instruksi, dan sumber informasi yang digunakan ketika pengujian berlangsung.

Cara menerapkannya: Pertahankan sebagian pertanyaan sebagai acuan tetap, lalu tambahkan skenario baru dari interaksi yang telah ditinjau dan dilindungi datanya. Pendekatan ini membantu tim membandingkan hasil secara konsisten sekaligus mengikuti perkembangan kebutuhan customer.

Pisahkan hasil berdasarkan topik atau jenis layanan. Nilai keseluruhan yang terlihat baik dapat menyembunyikan masalah pada kelompok pertanyaan tertentu.

3. Jaga Kualitas dan Kemutakhiran Sumber Informasi

Akurasi layanan berbasis AI juga bergantung pada informasi yang tersedia untuk menjawab pertanyaan. Knowledge base perlu memiliki pemilik konten, status persetujuan, dan waktu pembaruan yang jelas.

Ketika biaya, ketentuan produk, atau prosedur berubah, tim perlu memperbarui sumber yang digunakan AI. Dokumen lama yang bertentangan dengan kebijakan terbaru perlu ditangani agar tidak terus menjadi rujukan.

Langkah praktis: Hubungkan proses pembaruan informasi dengan pengujian pertanyaan terkait. Setelah perubahan ketentuan layanan, periksa apakah sistem mengambil dokumen yang benar dan menyampaikan jawaban sesuai versi terbaru.

Telusuri pula gangguan integrasi. Jawaban keliru dapat muncul ketika sistem gagal mengambil data yang dibutuhkan, meskipun informasi yang benar sudah tersedia dalam sumber resmi.

4. Pantau Hasil Operasional dan Siapkan Peringatan

Pemantauan perlu mencakup kualitas jawaban saat sistem digunakan. Tim dapat meninjau sampel interaksi secara berkala dan memberi perhatian lebih besar pada topik yang memiliki risiko tinggi.

Indikator yang dapat dipantau meliputi:

  • Ketepatan jawaban: Proporsi jawaban yang memenuhi pedoman penilaian dalam sampel yang ditinjau.
  • Kesalahan kritis: Temuan informasi keliru yang dapat menimbulkan dampak serius.
  • Dukungan sumber: Kesesuaian jawaban dengan informasi rujukan yang berlaku.
  • Kualitas eskalasi: Ketepatan keputusan sistem untuk meneruskan kebutuhan bantuan kepada agent.

Hal yang perlu diperhatikan: Kenaikan eskalasi perlu ditelusuri penyebabnya. Kondisi tersebut dapat menunjukkan bertambahnya pertanyaan kompleks atau sumber informasi yang belum memadai.

Tetapkan batas peringatan sesuai risiko layanan. Setiap peringatan perlu memiliki penerima, waktu penanganan yang ditargetkan, dan tindakan yang dapat dilakukan untuk membatasi dampak.

5. Uji Ulang Setiap Perubahan Penting Sebelum Diperluas

Perubahan model, instruksi, sumber informasi, atau integrasi perlu melewati evaluasi. Tim perlu memeriksa apakah perubahan memperbaiki masalah sekaligus mempertahankan kualitas pada kebutuhan lain.

Pengujian regresi, yaitu pengujian ulang untuk mencari penurunan pada fungsi yang sebelumnya berjalan baik, dapat mendukung proses ini. Gunakan acuan penilaian yang sama agar hasil versi lama dan baru dapat dibandingkan.

Cara menerapkannya: Uji pada cakupan terbatas sesuai tingkat risiko, tetapkan penanggung jawab persetujuan, dan siapkan langkah kembali ke versi sebelumnya jika diperlukan.

Dokumentasikan alasan perubahan serta hasilnya. Penurunan kinerja perlu ditelusuri ke sumber masalah terlebih dahulu, sehingga tim dapat memilih perbaikan pada data, instruksi, integrasi, atau model secara tepat.

6. Hubungkan Temuan dengan Koreksi dan Tanggung Jawab yang Jelas

Masukan agent dan laporan customer perlu masuk ke proses evaluasi. Kelompokkan temuan berdasarkan penyebab, seperti informasi kedaluwarsa, pertanyaan yang salah dipahami, atau kegagalan mengambil data.

Setiap kelompok masalah perlu memiliki penanggung jawab. Pemilik konten dapat memperbaiki sumber informasi, sedangkan tim teknologi meninjau konfigurasi atau integrasi. Tim operasional menentukan tindak lanjut untuk customer yang terdampak.

Langkah praktis: Catat masalah, versi sistem terkait, keputusan perbaikan, dan hasil pengujian ulang. Batasi isi catatan pada informasi yang diperlukan serta lindungi data pribadi di dalamnya.

Tutup proses koreksi setelah hasilnya diverifikasi. Temuan yang sudah diperbaiki juga dapat ditambahkan ke kumpulan pengujian agar masalah serupa lebih mudah dikenali pada pembaruan berikutnya.

Perkuat Pengawasan AI Bersama KPSG

Menjaga akurasi AI membutuhkan standar yang jelas, sumber informasi yang terkelola, pemantauan hasil, serta proses koreksi yang dapat ditelusuri. AI TRiSM membantu perusahaan menghubungkan kebutuhan tersebut dengan tata kelola selama sistem digunakan.

Pendekatan responsible AI di KPSG mengutamakan perlindungan data, transparansi, pengawasan manusia, dan akuntabilitas. Prinsip tersebut relevan sebagai dasar untuk membahas kontrol AI sesuai kebutuhan operasional serta dampaknya terhadap customer.

Tertarik mengetahui bagaimana CXaaS (Customer Experience as a Service) dan BPaaS (Business Process as a Service), sebagai basis teknologi di KPSG, dapat membantu meningkatkan efisiensi bisnis dan kualitas layanan customer? Hubungi kami di sini. Tonton pembahasan dan insight menarik seputar customer experience, teknologi, dan transformasi bisnis di YouTube kami. 

Pertanyaan yang Sering Diajukan

Apakah AI TRiSM hanya digunakan sebelum implementasi?

AI TRiSM mencakup pengawasan sepanjang siklus penggunaan AI. Setelah implementasi, perusahaan tetap perlu memantau hasil, meninjau risiko, dan mengevaluasi perubahan sistem.

Seberapa sering akurasi AI perlu dievaluasi?

Frekuensinya mengikuti risiko, volume penggunaan, dan tingkat perubahan layanan. Pemantauan dapat berjalan berkelanjutan, disertai peninjauan sampel serta pengujian ulang setelah perubahan penting.

Apakah penurunan akurasi selalu membutuhkan pelatihan ulang model?

Penyebabnya perlu ditelusuri terlebih dahulu. Perbaikan dapat melibatkan pembaruan knowledge base, penyesuaian instruksi, koreksi integrasi, atau perubahan model berdasarkan hasil evaluasi.

Wawasan lainnya

Responsible AI
Robocall
banner