Anthropic meluncurkan a program untuk mendanai pengembangan tolok ukur jenis baru yang mampu mengevaluasi kinerja dan dampak model AI, termasuk model generatif seperti Claude miliknya.
Diluncurkan pada hari Senin, program Anthropic akan memberikan hibah kepada organisasi pihak ketiga yang dapat, seperti dicatat oleh perusahaan dalam postingan blog, “secara efektif mengukur kemampuan tingkat lanjut dalam model AI.” Bagi yang berminat dapat mengajukan permohonan untuk dievaluasi secara bergilir.
“Investasi kami dalam penilaian ini bertujuan untuk meningkatkan seluruh bidang keamanan AI, menyediakan alat berharga yang bermanfaat bagi seluruh ekosistem,” tulis Anthropic di blog resminya. “Mengembangkan penilaian terkait keselamatan yang berkualitas tinggi masih merupakan tantangan, dan permintaan melebihi pasokan.”
Seperti yang telah kami soroti sebelumnya, AI memiliki masalah benchmarking. Tolok ukur AI yang paling sering dikutip saat ini kurang mampu menangkap bagaimana orang awam sebenarnya menggunakan sistem yang sedang diuji. Ada juga pertanyaan apakah beberapa tolok ukur, terutama yang dirilis sebelum munculnya AI generatif modern, mampu mengukur apa yang ingin diukur, mengingat usianya.
Solusi tingkat tinggi dan lebih sulit daripada yang disarankan Anthropic adalah menciptakan tolok ukur yang menantang dengan fokus pada keamanan AI dan implikasi sosial melalui alat, infrastruktur, dan metode baru.
Perusahaan tersebut secara khusus menyerukan pengujian yang menilai kemampuan model tersebut untuk melakukan tugas-tugas seperti melakukan serangan dunia maya, “meningkatkan” senjata pemusnah massal (misalnya senjata nuklir) dan memanipulasi atau menipu orang (misalnya melalui pemalsuan atau informasi yang salah). Untuk risiko AI yang berkaitan dengan keamanan dan pertahanan nasional, Anthropic mengatakan pihaknya berkomitmen untuk mengembangkan “sistem peringatan dini” untuk mengidentifikasi dan menilai risiko, meskipun mereka tidak mengungkapkan dalam postingan blognya apa saja yang mungkin diperlukan dari sistem tersebut.
Anthropic juga mengatakan pihaknya bermaksud program barunya untuk mendukung penelitian dalam pembandingan dan penugasan “end-to-end” yang menyelidiki potensi AI untuk membantu penelitian ilmiah, berbicara dalam berbagai bahasa dan mengurangi bias yang mengakar, serta toksisitas dari self– sensor.
Untuk mencapai semua ini, Anthropic membayangkan sebuah platform baru yang memungkinkan para ahli di bidangnya mengembangkan penilaian mereka sendiri dan uji coba model skala besar yang melibatkan “ribuan” pengguna. Perusahaan tersebut mengatakan bahwa mereka telah merekrut koordinator penuh waktu untuk program tersebut dan mereka mungkin akan membeli atau memperluas proyek yang diyakini memiliki potensi untuk ditingkatkan.
“Kami menawarkan berbagai opsi pembiayaan yang disesuaikan dengan kebutuhan dan tahapan masing-masing proyek,” tulis Anthropic dalam rilisnya, meski juru bicara Anthropic menolak memberikan rincian lebih lanjut mengenai opsi tersebut. “Tim akan mendapat kesempatan untuk berinteraksi langsung dengan pakar domain Antropik dari tim merah perbatasan, fine tuning, kepercayaan dan keamanan serta tim terkait lainnya.”
Upaya Anthropic untuk mendukung tolok ukur AI yang baru ini patut diacungi jempol – dengan asumsi, tentu saja, ada cukup uang dan tenaga kerja di belakangnya. Namun mengingat ambisi komersial perusahaan dalam perlombaan AI, mungkin sulit untuk mempercayainya sepenuhnya.
Dalam postingan blognya, Anthropic cukup transparan tentang fakta bahwa mereka ingin penilaian tertentu yang didanainya selaras dengan Klasifikasi keamanan AI dia dikembangkan (dengan beberapa masukan dari pihak ketiga seperti organisasi nirlaba penelitian AI METR). Itu adalah hak prerogratif perusahaan. Namun hal ini juga dapat memaksa pelamar program untuk menerima definisi AI yang “aman” atau “berisiko” yang mungkin tidak sepenuhnya mereka setujui.
Sebagian komunitas AI juga cenderung mempermasalahkan referensi Anthropic terhadap risiko AI yang “bencana” dan “menipu”, seperti risiko senjata nuklir. Banyak ahli katakanlah hanya ada sedikit bukti yang menunjukkan bahwa AI seperti yang kita tahu akan memiliki kemampuan untuk mengalahkan manusia dalam waktu dekat, atau bahkan selamanya. Klaim akan adanya “kebijaksanaan” hanya dimaksudkan untuk mengalihkan perhatian dari isu-isu regulasi AI yang mendesak saat ini, seperti kecenderungan AI untuk berhalusinasi, tambah para ahli ini.
Dalam postingannya, Anthropic menulis bahwa mereka berharap programnya akan berfungsi sebagai “katalisator kemajuan menuju masa depan di mana penilaian AI yang komprehensif menjadi standar industri.” Itu banyak misi terbuka, perusahaan-tidak terafiliasi upaya untuk menciptakan tolok ukur AI yang lebih baik dapat diidentifikasi. Namun masih harus dilihat apakah upaya tersebut bersedia untuk bekerja sama dengan vendor AI yang loyalitasnya pada akhirnya terletak pada pemegang saham.
