Cu mai mulți chatboți disponibili online, poate deveni extrem de dificil să-l selectați pe cel care vă satisface nevoile. Deși puteți compara manual oricare doi chatbot, va dura mult timp și efort.
O modalitate mai bună și mai simplă este să utilizați Chatbot Arena pentru a compara diferitele LLM-uri care alimentează chatbot-urile populare. Oferă câteva moduri de comparare a diferitelor modele, pe care le explicăm mai jos.
Cuprins
Ce este Chatbot Arena?
Creată de LMSYS Org, Chatbot Arena este o platformă de comparare a diferitelor LLM-uri. Utilizează sistemul Elo Rating pentru a clasifica diferitele modele.
Chatbot Arena oferă utilizatorilor câteva modalități de a compara și evalua LLM-urile. Pe baza feedback-ului trimis, Chatbot Arena clasifică diferitele LLM-uri în clasamentul public. Proiectul este sponsorizat de HuggingFace, o alternativă open-source la ChatGPT.
Cum să compari LLM-urile anonime cu Chatbot Arena
Modul de luptă al Chatbot Arena vă permite să comparați LLM-urile în mod anonim. De exemplu, puteți compara ChatGPT (GPT 3.5) și Claude. Aceasta înseamnă că Chatbot Arena în sine selectează oricare modele de două limbi și, fără a le dezvălui numele, vă permite să le comparați.
Când intri în prima solicitare, Chatbot Arena preia răspunsurile de la ambele modele, prezentându-le unul lângă altul. Platforma vă permite să regenerați răspunsurile (pentru ambele LLM) și să ștergeți istoricul pentru a începe o conversație diferită. Puteți continua să puneți mai multe întrebări până când alegeți un câștigător clar.
Apoi, puteți alege dacă modelul A este mai bun sau B. La selectarea câștigătorului, Chatbot Arena dezvăluie numele ambilor roboți. Acest mod funcționează excelent, deoarece decizia dvs. nu este afectată de percepția anterioară sau de popularitatea modelelor. Chatbot Arena vă permite, de asemenea, să ajustați parametri precum temperatura, Top P și jetoanele de ieșire maximă.
Cum să compari LLM-urile selectate cu Chatbot Arena
Dacă doriți să comparați oricare două LLM-uri specifice, puteți trece la modul alăturat al Chatbot Arena. În afară de faptul că puteți alege singur LLM-urile, acest mod funcționează aproape la fel ca și modul luptă. Puteți să ajustați parametrii, să regenerați răspunsurile, să ștergeți istoricul și să selectați un câștigător la final.
Cu toate acestea, numărul de LLM disponibile în acest mod este limitat. Puteți selecta diferite versiuni de Llama 2, Vicuna și ChatGLM. Deși LLM-urile populare, cum ar fi GPT-4, GPT-3.5, Claude 1, Claude 2 etc., sunt momentan indisponibile în acest mod, Chatbot Arena intenționează să le adauge.
Comparați LLM-urile folosind Chatbot Arena
Indiferent dacă doriți să găsiți un chatbot potrivit pentru nevoile dvs. sau doar doriți să testați diferite LLM-uri, Chatbot Arena este o platformă grozavă.
Oferă o modalitate simplificată de a compara diferite modele lingvistice unul lângă altul. Și, deoarece menține un clasament bazat pe feedback-ul utilizatorilor, puteți vizualiza direct clasamentele diferitelor modele fără a rula singur testele.