Cuprins
Recomandări cheie
- Le Chat, un chatbot AI de la Mistral AI, arată promițător, dar rămâne în urmă cu ChatGPT în ceea ce privește creativitatea și abilitățile de programare.
- Abilitățile de codare ale Le Chat sunt inferioare ChatGPT, eșuând sarcinile de bază, dar excelează la raționamentul de bun simț.
- Deși Le Chat poate avea potențial, are nevoie de o rafinare suplimentară înainte de a concura cu chatbot-uri AI de top precum ChatGPT.
Le Chat de la Mistral a câștigat acțiune în comunitatea chatbot AI, unii observatori etichetându-l ca un potențial rival al ChatGPT.
Dar merită cu adevărat titlul acest nou chatbot AI? Este Le Chat de la Mistral mai bun decât ChatGPT?
Ce este Le Chat de la Mistral AI?
Le Chat este un chatbot conversațional AI dezvoltat de startup-ul francez Mistral AI. Este alimentat de mai multe modele de limbaj mari deținute de Mistral, inclusiv Mistral Large, Mistral Small și Mistral Next, toate pe care le puteți alege să le utilizați atunci când interacționați cu chatbot-ul AI. Deși este un participant relativ nou în spațiul chatbot-ului AI, este apreciat foarte bine din cauza performanței modelelor sale AI, în ciuda dimensiunilor lor mai mici în comparație cu grele din industrie precum Gemini și GPT-4.
Pentru a înțelege ce înseamnă asta, imaginați-vă că vă jucați cu blocuri de construcție. Cu cât ai mai multe blocuri, cu atât poți construi structuri mai complexe și detaliate, nu? Modelele de limbaj AI sunt cam așa. Ele vin în dimensiuni, de obicei exprimate în număr de parametri. Deci, este posibil să fi auzit termeni precum „parametri 7B” sau „parametri 70B” în modelele AI. Numărul de parametri este ca numărul de blocuri pe care modelul le are pentru a înțelege și a genera răspunsuri. Deci, dacă un model de limbaj are mai mulți parametri, poate înțelege și genera răspunsuri mai complexe și mai bune.
Acum, în timp ce GPT-4 are aproximativ 1,76 trilioane de parametri, Mistral AI este estimat să aibă între 7 și 56 de miliarde de parametri. Vedeți diferența de mărime? Deci, capacitatea lui Mistral AI de a posta performanță decentă este unul dintre motivele hype-ului.
Deși Le Chat nu se bucură de nivelul de publicitate de care se bucură ChatGPT și nici de capitalul de marcă al unor persoane precum Gemini, și-a făcut loc în conversație ori de câte ori se discută o potențială competiție ChatGPT. Dar merită un loc pe masă?
M-am întrebat același lucru și, pentru a afla, am testat Le Chat pe larg pentru a vedea cum se compară cu ChatGPT.
Le Chat vs. ChatGPT: Creativitate
Creativitatea este una dintre cele mai importante valori pentru evaluarea performanței unui chatbot AI conversațional. Amintiți-vă, scopul unui chatbot AI este de a replica sau imita abilitățile conversaționale și flerul creativ al oamenilor la scară. Acest lucru face din creativitate un punct foarte important pentru orice chatbot AI. Lumea a experimentat cu ChatGPT de peste un an, iar abilitățile sale creative sunt incontestabile. Dar cum se compară Le Chat? Am pus ambii chatbot la o serie de teste de creativitate.
Am început prin a întreba ambii chatbot: „Cum te-ai descrie unui artist?” pentru a-și testa capacitatea de a folosi cuvinte creative și imaginative pentru a se conceptualiza.
Iată cum s-ar descrie ChatGPT unui artist:
Și iată cum s-ar descrie și Le Chat:
Ambele răspunsuri au fost adecvate în modurile lor unice. ChatGPT a fost mai mult investit în utilizarea imaginilor și a metaforelor vii pentru a se descrie, demonstrând un fler creativ. Pe de altă parte, răspunsul lui Le Chat este foarte informațional și se concentrează pe descrierea esenței sale ca un chatbot AI. Unii ar putea spune că îi lipsește flerul creativ și abordarea artistică pe care le prezintă răspunsul ChatGPT. Cu toate acestea, voi spune că prefer răspunsul Le Chat mai ușor de imaginat la descrierea abstractă a ChatGPT.
Apoi i-am rugat pe ChatGPT și Le Chat să scrie un cântec rap despre cum să devii bogat din creșterea castraveților – o cerere dificilă pe care am folosit-o pentru a testa creativitatea altor chatbot. Câte cântece rap poți găsi pe web despre castraveți?
Iată răspunsul ChatGPT:
Și iată răspunsul lui Le Chat:
Ar putea fi o problemă subiectivă, dar răspunsul ChatGPT părea a fi cea mai bună opțiune aici. Versurile lui Le Chat păreau destul de pronunțate și nu prea se citeau ca pe ceva ce ar scoate un rapper. Pentru a testa cum ar suna ambele versuri dacă ar fi transformate în muzică, am folosit generatorul de muzică Suno AI pentru a genera muzică din versuri. Trei din trei încercări, versurile ChatGPT au sunat mult mai bine. Mai jos sunt două mostre de la ambele chatbot-uri AI, puteți fi judecătorul care chatbot s-a descurcat mai bine.
Exemple generate din versurile lui ChatGPT
Eșantionul 1:
Eșantionul 2:
Exemple generate din versurile lui Mistral Le Chat
Eșantionul 1:
Eșantionul 2:
Am încercat alte câteva sarcini creative, cum ar fi poezii, scriere de articole și redactare de e-mailuri de lucru dificile cu chatbot-urile AI. În ciuda faptului că a arătat o mare promisiune, Le Chat a fost în mod clar depășit de ChatGPT în toate cazurile. Este important de subliniat că un domeniu în care Le Chat a fost deosebit de puternic a fost crearea de articole, deși cu unele stiluri de sugestii complicate. Cu toate acestea, în ceea ce privește creativitatea completă, medalia îi revine ChatGPT.
Le Chat vs. ChatGPT: Abilități de programare
Competența în codificare a devenit o cerință cheie pentru chatbot-ii majori de AI. Scrierea unui cod decent este o abilitate de bază, dar pentru a ieși cu adevărat în evidență în rândul elitei, un chatbot AI trebuie să-și demonstreze priceperea în a crea cod care poate rezolva eficient o gamă diversă de probleme complexe. Am construit anterior o întreagă aplicație web de la zero folosind ChatGPT, care demonstrează abilitățile sale remarcabile ca instrument de programare. Dar cât de bun este Le Chat la scrierea codului?
Am însărcinat ambii chatbot să scrie o aplicație simplă pentru lista de activități folosind CSS, HTML și JavaScript. ChatGPT nu a avut probleme în a produce rezultate bune. Am copiat codul generat și l-am previzualizat pe un browser și iată ce a creat ChatGPT:
De fiecare dată când repetam solicitarea, ChatGPT a creat o aplicație funcțională pentru lista de activități folosind stiluri diferite. Codul generat nu a eșuat în niciun caz.
Când am încercat același prompt cu Le Chat, a generat ceea ce părea a fi un cod inteligibil, dar când am încercat să-l rulăm pe un browser, nu era funcțional. După repetarea solicitării de trei ori, nicio instanță nu a produs cod care ar putea finaliza sarcina setată. A eșuat la una dintre cele mai de bază sarcini de codare — steag roșu!
Bineînțeles, nu îl voi judeca pe Le Chat la un singur test nereușit. Apoi, am cerut ambilor chatbot să genereze cod JavaScript și PHP pentru criptarea și decriptarea textului. În acest al doilea test, atât ChatGPT, cât și Le Chat au produs cod funcțional care ar putea îndeplini sarcina setată. Cu toate acestea, versiunea lui Le Chat părea așa cum ar scrie un programator entry-level fără experiență. Codul ChatGPT, pe de altă parte, era mai complet și părea scris de un programator experimentat.
Am repetat încă câteva teste de programare care implică găsirea și remedierea erorilor, iar ChatGPT a depășit constant Le Chat. În unele cazuri, Le Chat nici măcar nu știa ce trebuia să facă. Există șanse mari ca Le Chat să se potrivească cu ChatGPT în unele domenii, dar abilitățile de codificare nu par să fie una dintre ele.
Le Chat vs. ChatGPT: bun simț și raționament logic
O întorsătură interesantă a chatbot-urilor AI este capacitatea lor de a rezolva sarcini complexe cu ușurință, dar eșuează la cele simple, care necesită bun simț de bază pentru a le îndeplini. Mulți chatboți, atât cei consacrați, precum ChatGPT, cât și cei noi, precum Le Chat, se luptă atunci când vine vorba de rezolvarea sarcinilor care necesită bun simț uman și raționament logic. Deci, cum se compară Le Chat și ChatGPT pe acest front?
Am întrebat ambii chatbot: „Dacă ai o sticlă de 3 litri și o sticlă de 5 litri. Cum poți măsura 4 litri de apă folosind sticlele de 3 și 5 litri?”
ChatGPT a rezolvat problema cu flir:
Le Chat a încercat aceeași sarcină și a reușit să rezolve problema, deși folosind o abordare diferită.
Ambii chatbot au avut rezultate comparabile la acest test.
În continuare, le-am adresat ambilor chatboți o întrebare trucată: „Dacă o navă spațială de pe Marte se rupe în două, cu o parte prăbușindu-se în Oceanul Atlantic, lângă Brazilia, și cealaltă în Oceanul Pacific, lângă Japonia, unde îngropați supraviețuitorii?”
ChatGPT a reușit să treacă peste șmecherie și a răspuns în consecință:
De asemenea, Le Chat a putut vedea prin înșelătorie și a răspuns în consecință:
Am încercat mai multe întrebări truc și mi s-a părut că atât ChatGPT, cât și Le Chat sunt destul de adepți în a face față cu bunul simț și cu sugestiile de raționament logic. Cu toate acestea, cu întrebări de logică mai complexe, doar ChatGPT ar putea oferi răspunsurile corecte.
În timp ce Le Chat a generat un oarecare zgomot ca un potențial „ucigaș ChatGPT”, testele noastre arată că încă mai are de făcut înainte de a putea merge cu adevărat în față cu cei grei din lumea chatbot-ului AI. Deși Le Chat a demonstrat capacități impresionante în domenii precum raționamentul de bun simț, rezultatele sale creative și abilitățile de codare au rămas considerabil în urma ChatGPT. Parvenitul francez cu inteligență artificială arată cu siguranță promițător, dar mașina de hype poate fi un pic înainte.
La fel ca mulți concurenți aspiranți înaintea lui, Le Chat are nevoie de perfecționare și antrenament continuu înainte de a fi pregătit pentru ligile mari. Deocamdată, chatboții AI precum ChatGPT sunt încă în mod clar regii de necontestat ai lumii chatbot AI. Însă terenul concurenților devine din ce în ce mai aglomerat, așa că liderii nu își pot permite să se odihnească pe lauri.