Kontraktor yang berupaya meningkatkan AI Gemini Google membandingkan jawabannya dengan keluaran yang dihasilkan oleh model pesaing Anthropic, Claude, menurut korespondensi internal yang dilihat oleh TechCrunch.
Google tidak akan mengatakan, ketika dihubungi oleh TechCrunch untuk memberikan komentar, apakah mereka telah memperoleh izin untuk menggunakan Claude dalam pengujian terhadap Gemini.
Ketika perusahaan-perusahaan teknologi berlomba untuk membuat model AI yang lebih baik, kinerja model-model ini sering kali dievaluasi dibandingkan dengan pesaing, biasanya dengan menjalankan model mereka sendiri melalui tolok ukur industri daripada meminta kontraktor dengan susah payah mengevaluasi respons AI pesaing mereka.
Kontraktor yang mengerjakan Gemini yang ditugaskan untuk menilai keakuratan keluaran model harus menilai setiap respons yang mereka lihat berdasarkan berbagai kriteria, seperti kebenaran dan verbositas. Kontraktor diberikan waktu hingga 30 menit per prompt untuk menentukan jawaban mana yang lebih baik, jawaban Gemini atau Claude, menurut korespondensi yang dilihat oleh TechCrunch.
Para kontraktor baru-baru ini mulai memperhatikan referensi tentang Claude Anthropic yang muncul di platform internal Google yang mereka gunakan untuk membandingkan Gemini dengan model AI lain yang tidak disebutkan namanya, menurut korespondensi tersebut. Setidaknya salah satu keluaran yang disajikan kepada kontraktor Gemini, dilihat oleh TechCrunch, secara eksplisit menyatakan: “Saya Claude, diciptakan oleh Anthropic.”
Satu obrolan internal menunjukkan kontraktor memperhatikan tanggapan Claude yang tampak…
