Kelompok yang dipimpin oleh para bankir berbagi saran tentang halusinasi gen AI dan risiko lainnya

Para ahli teknologi di Citi, Morgan Stanley, dan London Stock Exchange telah membantu menulis dokumen yang memberikan saran praktis bagi bank tentang cara memitigasi berbagai risiko AI generatif, termasuk halusinasi, kebocoran data, dan ketidakstabilan perilaku model. Itu Kerangka Tata Kelola Kesiapan AI menjelaskan 14 jenis ancaman AI generatif terhadap perusahaan jasa keuangan dan teknik yang dapat mereka gunakan untuk melindungi diri mereka sendiri.

“Ada banyak upaya yang diperlukan untuk memungkinkan adopsi AI yang ‘aman’ (di mana keamanan mempertimbangkan nasabah dan bank) dan pada akhirnya memungkinkan organisasi jasa keuangan untuk dengan cepat mengadopsi teknologi baru yang muncul,” demikian isi dokumen tersebut.

Penulis kerangka kerja ini juga termasuk para ahli dari Bank of Montreal, Natwest, Fannie Mae, Microsoft, Github, Factset, Scott Logic, ControlPlane, Provectus, TestifySec, semuanya anggota Fintech Open Source Foundation (FINOS).

Sebagian besar organisasi jasa keuangan memiliki proses yang matang dalam menerapkan teknologi dan menangani data sensitif, kata Madhu Coimbatore, kepala platform pengembangan AI di Morgan Stanley dan salah satu penulis kerangka kerja tersebut, dalam sebuah wawancara email.

“Namun, AI generatif menghadirkan beberapa tantangan baru,” katanya. “AI generatif dapat menimbulkan risiko baru seperti bias dan halusinasi, namun juga menciptakan ancaman baru dari perspektif keamanan siber dan data. Untuk mengatasi risiko baru ini, kita memerlukan pengendalian baru.”

Beberapa standar umum terkait penerapan AI sudah ada, seperti Kerangka Manajemen Risiko NIST AI Dan OWASP Top 10 untuk Aplikasi Model Bahasa Besarkata Coimbatore.

“Kami tahu bahwa banyak bank telah mulai merancang kerangka internal mereka sendiri untuk mengatasi tantangan spesifik yang dihadapi organisasi jasa keuangan ketika menerapkan AI generatif,” kata Coimbatore.

Kerangka tata kelola AI dapat menjadi landasan yang dapat diterapkan oleh bank pada kasus penggunaan spesifik mereka, dibandingkan harus memulai dari awal.

“Seiring dengan semakin banyaknya perusahaan yang berkontribusi pada upaya ini, kerangka kerja ini akan menjadi lebih komprehensif dan mengatasi sejumlah besar kasus penggunaan sehingga akan meningkatkan kegunaan dan penerapannya,” kata Coimbatore.

Kerangka kerja ini masih dalam tahap rancangan, namun tim Coimbatore di Morgan Stanley telah merasakan manfaatnya sebagai serangkaian persyaratan untuk keamanan data, privasi, keamanan siber, keamanan AI, dan model manajemen yang telah ditugaskan kepada karyawan dan vendor.

“Banyak dari pengendalian ini harus diterapkan oleh penyedia teknologi, jadi dalam beberapa kasus kami berbicara dengan mereka tentang penerapan pengendalian ini sebagai bagian dari penawaran mereka,” katanya.

Kekhawatiran terbesar Coimbatore mengenai penggunaan AI generatif di lembaga keuangan adalah keamanan data dan privasi.

“Melindungi data perusahaan dan data nasabah sangat penting bagi semua bank,” ujarnya. “Dengan teknologi seperti AI generatif, keamanan data dapat dibobol melalui serangan injeksi instan, atau hilangnya data dari database vektor atau model kepemilikan.” Ancaman-ancaman ini dapat diatasi dengan pendekatan pertahanan mendalam terhadap keamanan dan dengan memiliki enkripsi data yang tepat dan akses berbasis peran, katanya.

Pengamat industri sepakat mengenai perlunya pedoman tersebut.

“Setiap bank harus menghadapi risiko yang terkait dengan AI generatif,” kata Dan Latimore, kepala penelitian di Financial Revolutionist, yang pada hari Kamis merilis laporan penelitiannya. Bank Paling Efektif: AI. “Kerangka kesiapan FINOS AI adalah cara terbaik bagi masing-masing institusi untuk menghindari inovasi baru sambil memastikan mereka tidak mengabaikan hambatan-hambatan utama apa pun. Kerangka kerja ini menjadi titik awal yang sangat baik bagi bank untuk beradaptasi dengan kebutuhan mereka.”

Proyek ini muncul karena para pemimpin FINOS, yang mengamati gelombang penggunaan AI generatif di bank, “melihat peluang untuk membantu industri menggunakan teknologi dengan lebih aman” kata Gabriele Columbro, direktur eksekutif FINOS, dalam sebuah wawancara. Misi FINOS secara keseluruhan adalah untuk mempercepat kolaborasi dan inovasi dalam layanan keuangan melalui penggunaan perangkat lunak sumber terbuka, standar, dan praktik terbaik.

Columbro berharap regulator bank akan melihat kerangka kesiapan AI dan menggunakannya untuk menulis standar mereka sendiri, “karena pada akhirnya hal ini membuat hidup lebih mudah, baik bagi regulator itu sendiri maupun bagi entitas yang diatur,” kata Columbro. “Lanskapnya sangat terfragmentasi, sehingga tingkat konsolidasi dan konsensus apa pun yang dapat kami bangun merupakan nilai penting bagi perusahaan.” Regulator belum menunjukkan dokumen ini.

Selanjutnya, anggota FINOS berupaya membuat kontrol yang dijelaskan dalam kerangka kerja sebagai kode sumber terbuka yang dapat digunakan oleh pengembang mana pun, kata Columbro.