Divisi cloud Amazon telah meluncurkan penyelidikan terhadap Perplexity AI. Masalahnya adalah apakah startup pencarian AI melanggar aturan Amazon Web Services dengan menghapus situs web yang mencoba mencegahnya, WIRED telah mempelajarinya.
Juru bicara AWS, yang berbicara kepada WIRED tanpa menyebut nama, mengonfirmasi penyelidikan perusahaan terhadap Perplexity. WIRED sebelumnya telah menemukan bahwa startup juga memilikinya mendukung dari dana keluarga Jeff Bezos dan Nvidia, dan baru-baru ini bernilai senilai $3 miliar—tampaknya bergantung pada konten dari situs web bekas yang melarang akses melalui Robot Exclusion Protocol, sebuah standar web yang umum. Meskipun Protokol Pengecualian Robot tidak mengikat secara hukum, persyaratan layanannya secara umum mengikat.
Protokol Pengecualian Robot adalah standar web berusia puluhan tahun yang melibatkan penempatan file teks biasa (seperti wired.com/robots.txt) pada domain untuk menunjukkan halaman yang tidak dapat diakses oleh bot dan crawler otomatis. Meskipun perusahaan yang menggunakan scraper mungkin memilih untuk mengabaikan protokol ini, sebagian besar perusahaan secara tradisional mematuhinya. Seorang juru bicara Amazon mengatakan kepada WIRED bahwa pelanggan AWS harus mematuhi standar robots.txt saat merayapi situs web.
“Ketentuan layanan AWS melarang pelanggan menggunakan layanan kami untuk aktivitas ilegal apa pun, dan pelanggan kami bertanggung jawab untuk mematuhi persyaratan kami dan semua hukum yang berlaku,” kata juru bicara tersebut dalam sebuah pernyataan.
Penelitian tentang praktik Kebingungan berikut Laporan 11 Juni dari Forbes yang menuduh startup tersebut mencuri setidaknya satu artikelnya. Investigasi WIRED mengkonfirmasi praktik tersebut dan menemukan bukti lebih lanjut penyalahgunaan dan plagiarisme oleh sistem yang terkait dengan chatbot pencarian bertenaga AI milik Perplexity. Insinyur Condé Nast, perusahaan induk WIRED, memblokir crawler Perplexity di semua situs webnya menggunakan file robots.txt. Namun WIRED menemukan bahwa perusahaan tersebut memiliki akses ke server menggunakan alamat IP yang tidak dipublikasikan—44.221.181.252—yang mengunjungi properti Condé Nast setidaknya ratusan kali selama tiga bulan terakhir, tampaknya untuk mengikis situs web Condé Nast.
Mesin yang terkait dengan Perplexity tampaknya terlibat dalam perayapan ekstensif situs berita yang melarang bot mengakses konten mereka. Juru bicara The Guardian, Forbes dan The New York Times juga mengatakan mereka melacak alamat IP yang berulang kali mengunjungi server mereka.
WIRED melacak alamat IP ke mesin virtual yang dikenal sebagai instance Elastic Compute Cloud (EC2) yang dihosting di AWS, yang meluncurkan penyelidikannya setelah kami bertanya apakah mesin tersebut menggunakan infrastruktur AWS untuk mengikis situs web yang melarangnya melanggar persyaratan layanan perusahaan.
Minggu lalu, CEO Perplexity Aravind Srinivas pertama kali menanggapi penyelidikan WIRED dengan mengatakan bahwa pertanyaan yang kami ajukan kepada perusahaan “mencerminkan kesalahpahaman yang mendalam dan mendasar tentang cara kerja Perplexity dan Internet.” Srinivas lalu mengatakan kepada Fast Company bahwa alamat IP rahasia yang diamati WIRED menggores situs web Condé Nast dan situs pengujian yang kami buat dijalankan oleh perusahaan pihak ketiga yang menjalankan layanan perayapan dan pengindeksan web. Dia menolak menyebutkan nama perusahaan tersebut, dengan alasan perjanjian kerahasiaan. Ketika ditanya apakah dia akan memberitahu pihak ketiga untuk berhenti meng-crawl WIRED, Srinivas menjawab, “Ini rumit.”
