Namun sejauh ini Perusahaan AI mengalami kesulitan dalam menemukan alat yang dapat mendeteksi dengan andal ketika ada sesuatu yang ditulis diproduksi menggunakan model bahasa besar. Kini, sekelompok peneliti telah menciptakan metode baru untuk memperkirakan penggunaan LLM di sejumlah besar tulisan ilmiah dengan mengukur “kata-kata berlebihan” mana yang mulai lebih sering muncul selama era LLM (yaitu, 2023 dan 2024). Hasilnya “menunjukkan bahwa setidaknya 10 persen dari abstrak tahun 2024 diproses dengan LLM,” menurut para peneliti.
Di dalam makalah pracetak yang diterbitkan awal bulan iniEmpat peneliti dari Universitas Tübingen dan Universitas Northwestern Jerman mengaku terinspirasi oleh penelitian yang mengukur dampak pandemi Covid-19. dengan melihat kematian berlebih dibandingkan dengan masa lalu. Dengan tampilan serupa pada “penggunaan kata yang berlebihan” setelah alat penulisan LLM tersedia secara luas pada akhir tahun 2022para peneliti menemukan bahwa “kemunculan LLM menyebabkan peningkatan tajam dalam frekuensi kata-kata gaya tertentu” yang “belum pernah terjadi sebelumnya baik dalam kualitas maupun kuantitas.”
Menyelidiki
Untuk mengukur perubahan kosa kata ini, para peneliti menganalisis 14 juta makalah abstrak yang dipublikasikan PubMed antara tahun 2010 dan 2024, melacak frekuensi relatif setiap kata yang muncul setiap tahun. Mereka kemudian membandingkan frekuensi yang diharapkan dari kata-kata tersebut (berdasarkan garis tren sebelum tahun 2023) dengan frekuensi sebenarnya dari kata-kata tersebut dalam abstrak dari tahun 2023 dan 2024, ketika LLM digunakan secara luas.
Hasilnya menemukan beberapa kata yang sangat tidak biasa dalam abstrak ilmiah sebelum tahun 2023 yang tiba-tiba melonjak popularitasnya setelah LLM diperkenalkan. Kata “menggali”, misalnya, muncul di surat kabar tahun 2024 25 kali lebih banyak dari yang diharapkan oleh aliran pra-LLM; kata-kata seperti “pamer” dan “garis bawah” juga meningkat sembilan kali lipat penggunaannya. Kata-kata lain yang sebelumnya umum menjadi lebih umum dalam abstrak pasca-LLM: Frekuensi “potensi” meningkat sebesar 4,1 poin persentase, “penemuan” sebesar 2,7 poin persentase dan “penting” sebesar 2,6 poin persentase, misalnya.
Tentu saja, perubahan penggunaan kata semacam ini dapat terjadi secara independen dari penggunaan LLM—evolusi alami bahasa berarti bahwa kata-kata terkadang berubah-ubah dan ketinggalan jaman. Namun, para peneliti menemukan bahwa, di era pra-LLM, peningkatan yang besar dan tiba-tiba dari tahun ke tahun hanya terlihat pada kata-kata yang berkaitan dengan peristiwa besar kesehatan dunia: “ebola” pada tahun 2015; “zika” pada tahun 2017; dan kata-kata seperti “virus corona”, “lockdown”, dan “pandemi” pada periode 2020 hingga 2022.
Namun, pada periode pasca-LLM, para peneliti menemukan ratusan kata dengan peningkatan tajam dalam penggunaan ilmiah yang tidak memiliki kaitan umum dengan peristiwa dunia. Faktanya, meskipun kelebihan kata selama pandemi Covid adalah banyak kata benda, para peneliti menemukan bahwa kata-kata yang mengalami benjolan frekuensi pasca-LLM sebagian besar merupakan “gaya kata” seperti kata kerja, kata sifat, dan kata keterangan (contoh kecil: “di seberang , terlebih lagi , komprehensif, penting, meningkatkan, memamerkan, melihat, khususnya, khususnya, di”).
Ini bukanlah penemuan baru—meningkatnya prevalensi “penelitian” dalam makalah ilmiah belakangan ini sudah banyak dikenal, Misalnya. Namun penelitian sebelumnya umumnya mengandalkan perbandingan dengan sampel tulisan manusia “kebenaran dasar” atau daftar penanda LLM yang telah ditentukan sebelumnya yang diperoleh dari luar penelitian. Di sini, kumpulan abstrak pra-2023 bertindak sebagai kelompok kontrol efektif untuk menunjukkan bagaimana pilihan kosakata telah berubah secara keseluruhan di era pasca-LLM.
Interaksi yang kompleks
Dengan menyoroti ratusan apa yang disebut “kata penanda” yang menjadi lebih umum di era pasca-LLM, tanda-tanda penggunaan LLM terkadang mudah dikenali. Ambil contoh baris abstrak yang dipanggil oleh peneliti, dengan kata penanda yang diberi tanda: “A luas pegangan interaksi yang kompleks di antara […] Dan […] adalah penting untuk strategi terapi yang efektif.”
Setelah melakukan beberapa pengukuran statistik terhadap kemunculan kata-kata tag di masing-masing makalah, para peneliti memperkirakan bahwa setidaknya 10 persen makalah pasca-2022 di korpus PubMed ditulis dengan setidaknya beberapa bantuan LLM. Jumlah tersebut mungkin lebih tinggi, kata para peneliti, karena kumpulan mereka mungkin kehilangan abstrak berbantuan LLM yang tidak menyertakan kata penanda apa pun yang mereka identifikasi.
