Jika Anda pernah menggunakan ChatGPT Search atau Perplexity, Anda pasti tahu bahwa kemampuan menelusuri web dan mendapatkan kutipan secara langsung sangat meningkatkan chatbot AI ini. Hasil akan lebih baik bila melibatkan informasi yang tepat waktu, dan penelusuran web dapat mengurangi apa yang disebut halusinasi (yaitu ketika AI generatif mengeluarkan informasi yang salah).
Itu sebabnya startup asal Prancis, Linkup, sedang membangun API yang memungkinkan pengembang mengakses konten web dari sumber premium dan tepercaya, lalu menyerahkan hasilnya ke model bahasa besar (LLM) untuk memperkaya jawabannya. Banyak pengembang AI menyebut alur kerja ini Retrieval-Augmented Generation (atau RAG).
Lebih penting lagi, masa depan bot scraping tidak pasti. Jika tidak ada perjanjian finansial antara penerbit konten dan entitas yang menyalin halaman web, bot ini akan mengambil konten dari web terbuka tanpa membayar dan banyak orang tidak senang dengan kesepakatan tersebut — sehingga meningkatkan pengawasan peraturan seputar pelatihan AI.
Saat ini juga terdapat kasus hukum tingkat tinggi, seperti tuntutan hukum yang sedang berlangsung antara OpenAI, pembuat ChatGPT, dan New York Times — sehingga situasi seputar web scraping dapat berubah dalam waktu dekat. Oleh karena itu mengapa OpenAI telah menandatangani perjanjian lisensi konten multi-tahun dengan penerbit besar seperti AP, Axel Springer, Condé Nast, El País, Financial Times, Le Monde, dan lainnya.
“Kami mendirikan perusahaan ini pada saat OpenAI membuat kesepakatan dengan…
