Tanyakan kepada siapa pun di komunitas AI open source, dan mereka akan memberi tahu Anda bahwa kesenjangan antara mereka dan perusahaan swasta besar lebih dari sekadar kekuatan komputasi. Ai2 berupaya untuk memperbaikinya, pertama dengan database dan model sumber terbuka sepenuhnya dan sekarang dengan program pasca-pelatihan yang terbuka dan mudah diadaptasi untuk mengubah model bahasa besar (LLM) “mentah” menjadi model yang dapat digunakan.
Bertentangan dengan apa yang dipikirkan banyak orang, model bahasa “dasar” tidak keluar dari proses pelatihan dan siap untuk diterapkan. Proses pra-pelatihan tentu saja diperlukan, namun jauh dari cukup. Beberapa orang bahkan percaya bahwa pra-pelatihan mungkin tidak lagi menjadi bagian terpenting.
Hal ini karena proses pasca pelatihan semakin terbukti sebagai tempat terciptanya nilai nyata. Di sinilah model tersebut dibentuk dari jaringan raksasa yang serba tahu yang akan dengan mudah menghasilkan poin-poin pembicaraan penolakan Holocaust seperti halnya membuat resep kue. Anda biasanya tidak menginginkan itu!
Perusahaan sangat merahasiakan program pasca-pelatihan mereka karena, meskipun setiap orang dapat menjelajahi web dan membuat model menggunakan metode canggih, menjadikan model tersebut berguna bagi, misalnya, terapis atau analis riset adalah tantangan yang sangat berbeda.
Ai2 (sebelumnya dikenal sebagai Allen Institute for AI) telah berbicara tentang kurangnya keterbukaan dalam proyek AI yang “terbuka”, seperti Llama milik Meta. Meskipun model ini memang gratis untuk digunakan dan diubah oleh siapa saja,…
