Peneliti dari Google DeepMind, Universitas Toronto, Mila, dan UCLA memperkenalkan GenRM, sebuah pendekatan baru yang memanfaatkan kemampuan generatif dari model bahasa besar (LLM) untuk menciptakan verifikator yang lebih efektif.
GenRM hadir sebagai solusi praktis bagi aplikasi LLM yang sering mengalami kesalahan faktual dan logis, terutama dalam tugas penalaran kompleks. Pendekatan ini bertujuan untuk mengatasi keterbatasan metode verifikasi klasik yang sering kali gagal.
Baca juga: Perkenalkan, Bose QuietComfort Ultra: Earbuds Noise-Canceling Terbaik
Salah satu pendekatan umum dalam meningkatkan akurasi LLM adalah dengan menghasilkan beberapa jawaban kandidat dan menggunakan komponen terpisah untuk memilih yang terbaik.
Namun, verifikator atau model penghargaan klasik yang digunakan selama ini tidak sepenuhnya memanfaatkan kemampuan generatif LLM. GenRM mengubah paradigma ini dengan melatih verifikator menggunakan prediksi token berikutnya, sehingga bisa memanfaatkan kemampuan LLM dalam menghasilkan dan memproses respons.
Berkat GenRM, keputusan verifikasi direpresentasikan sebagai token, dan model dapat menggunakan teknik lanjutan seperti “chain-of-thought” (CoT) untuk melakukan pemikiran tambahan sebelum verifikasi.
Misalnya, sebelum memberikan skor terhadap sebuah solusi, verifikator dapat diminta untuk menghasilkan langkah-langkah penalaran menengah atau kritik, yang bisa mengidentifikasi kesalahan penalaran yang mungkin terlewatkan oleh verifikator langsung. Pendekatan ini memungkinkan GenRM untuk melakukan verifikasi dan generasi solusi dengan lebih akurat, memanfaatkan kekuatan penuh dari LLM generatif.