Cuprins
Recomandări cheie
- Mai puțină cenzură: LLM-urile locale oferă libertatea de a discuta subiecte care provoacă gândirea fără restricțiile impuse chatbot-urilor publice, permițând conversații mai deschise.
- O mai bună confidențialitate a datelor: prin utilizarea unui LLM local, toate datele generate rămân pe computerul dvs., asigurând confidențialitatea și împiedicând accesul companiilor care rulează LLM-uri publice.
- Utilizare offline: LLM-urile locale permit utilizarea neîntreruptă în zone îndepărtate sau izolate, fără acces fiabil la internet, oferind un instrument valoros în astfel de scenarii.
De la apariția ChatGPT în noiembrie 2022, termenul de model de limbă mare (LLM) a trecut rapid de la un termen de nișă pentru tocilarii AI la un cuvânt la modă pe buzele tuturor. Cea mai mare atracție a unui LLM local este capacitatea de a replica abilitățile unui chatbot precum ChatGPT pe computer fără bagajele unei versiuni găzduite în cloud.
Există argumente pro și contra creării unui LLM local pe computer. Vom reduce hypeul și vă vom aduce faptele. Ar trebui să utilizați un LLM local?
Avantajele utilizării LLM-urilor locale
De ce oamenii sunt atât de entuziasmați să își creeze propriile modele mari de limbaj pe computerele lor? Dincolo de hype și drepturi de lăudare, care sunt câteva beneficii practice?
1. Mai puțină cenzură
Când ChatGPT și Bing AI au apărut pentru prima dată online, lucrurile pe care ambii chatbot erau dispuși să le spună și să le facă au fost pe cât de fascinante, pe atât de alarmante. Bing AI s-a comportat cald și drăguț, de parcă ar avea emoții. ChatGPT a fost dispus să folosească blestem dacă ai întrebat frumos. La acea vreme, ambii chatbot te-ar ajuta chiar să faci o bombă dacă foloseai instrucțiunile potrivite. Acest lucru ar putea suna ca toate nuanțele de greșit, dar a fi capabil să facă orice a fost emblematic pentru capacitățile nerestricționate ale modelelor de limbaj care le-au alimentat.
Astăzi, ambii chatboți au fost cenzurați atât de strâns încât nici măcar nu vă vor ajuta să scrieți un roman polițist fictiv cu scene violente. Unii chatbot AI nici nu vor vorbi despre religie sau politică. Deși LLM-urile pe care le puteți configura la nivel local nu sunt în totalitate lipsite de cenzură, mulți dintre ei vor face cu plăcere lucrurile care provoacă gândurile pe care nu le vor face chatbot-urile publicului. Deci, dacă nu doriți ca un robot să vă predea despre moralitate atunci când discutați subiecte de interes personal, conducerea unui LLM local ar putea fi calea de urmat.
2. O mai bună confidențialitate a datelor
Unul dintre motivele principale pentru care oamenii optează pentru un LLM local este să se asigure că orice se întâmplă pe computerul lor rămâne pe computerul lor. Când utilizați un LLM local, este ca și cum ați avea o conversație privată în camera dvs. de zi – nimeni din afară nu poate asculta. Fie că experimentați cu detaliile cardului dvs. de credit sau aveți conversații personale sensibile cu LLM, toate datele rezultate sunt stocate. doar pe computerul dvs. Alternativa este utilizarea LLM-urilor publice, cum ar fi GPT-4, care oferă companiilor responsabile acces la informațiile dvs. de chat.
3. Utilizare offline
Având în vedere că internetul este accesibil și accesibil pe scară largă, accesul offline ar putea părea un motiv trivial pentru a utiliza un LLM local. Accesul offline ar putea deveni deosebit de critic în locații îndepărtate sau izolate, unde serviciul de internet nu este de încredere sau nu este disponibil. În astfel de scenarii, un LLM local care funcționează independent de o conexiune la internet devine un instrument vital. Vă permite să continuați să faceți tot ce doriți să faceți fără întrerupere.
4. Economii de costuri
Prețul mediu al accesării unui LLM capabil precum GPT-4 sau Claude 2 este de 20 USD pe lună. Deși s-ar putea să nu pară un preț alarmant, aveți totuși câteva restricții enervante pentru acea sumă. De exemplu, cu GPT-4, accesat prin ChatGPT, ești blocat cu un plafon de 50 de mesaje pe trei ore. Puteți depăși aceste limite doar trecând la planul ChatGPT Enterprise, care ar putea costa mii de dolari. Cu un LLM local, odată ce ați configurat software-ul, nu există nici un abonament lunar de 20 USD sau costuri recurente de plătit. Este ca și cum ai cumpăra o mașină în loc să te bazezi pe servicii de ride-share. Inițial, este scump, dar în timp, economisești bani.
5. Personalizare mai bună
Chatbot-urile AI disponibile public au personalizarea restricționată din cauza problemelor de securitate și cenzură. Cu un asistent AI găzduit local, puteți personaliza complet modelul pentru nevoile dvs. specifice. Puteți instrui asistentul cu privire la datele proprietare adaptate cazurilor dvs. de utilizare, îmbunătățind relevanța și acuratețea. De exemplu, un avocat își poate optimiza AI local pentru a genera informații juridice mai precise. Avantajul cheie este controlul asupra personalizării pentru cerințele dumneavoastră unice.
Dezavantajele utilizării LLM-urilor locale
Înainte de a face schimbarea, există câteva dezavantaje la utilizarea unui LLM local pe care ar trebui să le luați în considerare.
1. Resurse intensive
Pentru a rula un LLM local performant, veți avea nevoie de hardware de ultimă generație. Gândiți-vă la procesoare puternice, o mulțime de memorie RAM și probabil un GPU dedicat. Nu vă așteptați ca un laptop cu buget de 400 USD să ofere o experiență bună. Răspunsurile vor fi dureros de lente, mai ales în cazul modelelor AI mai mari. Este ca și cum ai rula jocuri video de ultimă generație — ai nevoie de specificații robuste pentru performanțe optime. Este posibil să aveți nevoie chiar de soluții de răcire specializate. Concluzia este că LLM-urile locale necesită o investiție în hardware de top pentru a obține viteza și capacitatea de răspuns de care vă bucurați la LLM-urile bazate pe web (sau chiar pentru a îmbunătăți acest lucru). Cerințele de calcul din partea dvs. vor fi semnificative în comparație cu utilizarea serviciilor bazate pe web.
2. Răspunsuri mai lente și performanță inferioară
O limitare comună a LLM-urilor locale este timpii de răspuns mai lenți. Viteza exactă depinde de modelul AI specific și de hardware-ul utilizat, dar majoritatea setărilor sunt în urmă cu serviciile online. După ce au primit răspunsuri instantanee de la ChatGPT, Bard și alții, LLM-urile locale se pot simți extrem de lente. Cuvintele se scurg încet, spre deosebire de a fi returnate rapid. Acest lucru nu este universal adevărat, deoarece unele implementări locale ating performanțe bune. Dar utilizatorii medii se confruntă cu o scădere abruptă din experiența web rapidă. Așadar, pregătiți-vă pentru un „șoc cultural” de la sisteme online rapide la echivalente locale mai lente.
Pe scurt, cu excepția cazului în care aveți o configurație absolut de vârf (vorbim de AMD Ryzen 5800X3D cu un Nvidia RTX 4090 și suficientă RAM pentru a scufunda o navă), performanța generală a LLM-ului dvs. local nu va comparați cu chatbot-urile AI generative online cu care v-ați obișnuit.
3. Configurare complexă
Implementarea unui LLM local este mai implicată decât simpla înscriere la un serviciu AI bazat pe web. Cu o conexiune la internet, contul dvs. ChatGPT, Bard sau Bing AI ar putea fi gata să înceapă să vă solicite în câteva minute. Configurarea unei stive complete de LLM local necesită descărcarea cadrelor, configurarea infrastructurii și integrarea diferitelor componente. Pentru modelele mai mari, acest proces complex poate dura ore, chiar și cu instrumente care urmăresc să simplifice instalarea. Unele sisteme AI de ultimă generație necesită încă o expertiză tehnică profundă pentru a funcționa la nivel local. Deci, spre deosebire de modelele AI bazate pe web plug-and-play, gestionarea propriei AI implică o investiție tehnică și de timp semnificativă.
4. Cunoștințe limitate
O mulțime de LLM locale sunt blocate în trecut. Ei au cunoștințe limitate despre evenimentele actuale. Îți amintești când ChatGPT nu a putut accesa internetul? Când a putut oferi răspunsuri doar la întrebările despre evenimentele care au avut loc înainte de septembrie 2021? Da? Ei bine, similar modelelor ChatGPT timpurii, modelele de limbă găzduite local sunt adesea instruite numai pe date înainte de o anumită dată limită. Drept urmare, le lipsește conștientizarea evoluțiilor recente după acel moment.
În plus, LLM-urile locale nu pot accesa date live de pe internet. Acest lucru restricționează utilitatea pentru interogări în timp real, cum ar fi prețurile acțiunilor sau vremea. Pentru a vă bucura de o aparență de date în timp real, LLM-urile locale vor necesita de obicei un nivel suplimentar de integrare cu serviciile conectate la internet. Accesul la internet este unul dintre motivele pentru care ai putea
luați în considerare trecerea la ChatGPT Plus
!
Ar trebui să utilizați un LLM local?
Modelele locale de limbi mari oferă beneficii tentante, dar au și dezavantaje reale de luat în considerare înainte de a face pasul. Mai puțină cenzură, confidențialitate mai bună, acces offline, economii de costuri și personalizare reprezintă un argument convingător pentru configurarea LLM local. Cu toate acestea, aceste beneficii au un preț. Cu o mulțime de LLM-uri disponibile gratuit online, săriți în LLM-uri locale poate fi ca și cum ați lovi o muscă cu un baros – posibil, dar exagerat. Dar amintiți-vă, dacă este gratuit, probabil că dvs. și datele pe care le generați sunteți produsul. Deci, nu există un răspuns definitiv corect sau greșit astăzi. Evaluarea priorităților tale va determina dacă acum este momentul potrivit pentru a face schimbarea.