Doriți să vă construiți propriile aplicații AI generative? Iată o listă de modele AI care vă vor ajuta să începeți.
Modelele AI sunt arhitecturi de rețele neuronale care funcționează extrem de bine în anumite sarcini. Acestea includ arhitecturi de rețele neuronale convoluționale pentru clasificarea și segmentarea imaginilor, modele de limbaj mari pre-antrenate generative, modele de difuzie pentru sarcini de generare de imagini și
Recent, modelele AI pentru aplicații AI generative — pentru imagine, vorbire, text și multe altele — au devenit super populare. Ceea ce se datorează atât progreselor în cercetare, cât și accesului la calcularea de înaltă performanță.
Iată un rezumat rapid al modelelor AI populare pe care le voi discuta mai jos.
Capabilități ModelKeyGPT-4Un model de limbaj mare open-source poate fi utilizat pentru a construi aplicații bazate pe LLMLamăO varietate de aplicații NLP, de la chatbot la asistenți de codareŞoimModelul de limbaj mare open-source poate fi folosit pentru a construi aplicații bazate pe LLMDifuzie stabilăText-to-image, imagine în pictură, delimitare și upscalingDALL-E 2Generare text-to-imageŞoaptăRecunoașterea vorbirii, traducerea limbii și detectarea limbiiStableLMModel de limbă mare cu sursă deschisă, ușorCLAMĂO varietate de sarcini NLP, cum ar fi răspunsul la întrebări, rezumarea și generarea de textInternLMUn model de limbă mare open-source; poate fi folosit pentru a construi aplicații bazate pe LLMSegmentează orice modelGeneralizare zero-shot pentru o varietate de sarcini de segmentare a imaginiiWaveGANGenerare audioCycleGAN și pix2pixTraducere imagine în imagineBioGPTGenerarea de texte biomedicale și minerit
De la arta AI până la construirea unui asistent de codare personalizat, puteți construi o gamă de aplicații AI generative bazate pe interesele dvs. Aici, enumerăm câteva modele AI interesante pe care le puteți explora, împreună cu capacitățile lor cheie.
Să începem!
Cuprins
GPT-4
De la generarea itinerariului pentru planurile viitoare de călătorie până la redactarea scrisorilor de intenție care se potrivesc cu fișa postului, ChatGPT a devenit o parte a sarcinilor noastre de zi cu zi. GPT-4succesorul său, este un model de limbă mare și mai puternic.
Este cel mai puternic sistem AI al OpenAI, cu capacități de raționament și performanțe mai bune decât ChatGPT.
Iată o discuție tehnologică despre cum funcționează GPT-4 și cum puteți crea aplicații cu el.
Puteți accesa interfața ChatGPT cu un cont gratuit OpenAI. Pentru a accesa GPT-4, totuși, ar trebui să aveți un abonament ChatGPT Plus.
Iată câteva aplicații pe care le puteți crea cu aceste modele mari de limbaj:
- Chatbot personalizat
- Îmbunătățirea platformelor CRM
- Întrebări-răspuns pe un corpus personalizat
- Alte sarcini precum rezumarea și generarea de text
În continuare, vom trece peste câteva modele de limbaj mari open-source.
Lamă
Meta AI a fost lansat Lamă, un model de limbă mare de bază cu parametri 65B, în februarie 2023. Ulterior, LLama 2 a fost lansat cu îmbunătățiri substanțiale față de versiunea anterioară. Puteți accesa următoarele:
- Chat cu Llama: Llama 2 reglată fin
- Code Llama: Construit pe Llama 2; instruit pe peste 500B de jetoane de cod; acceptă generarea de cod în toate cele mai populare limbaje de programare
Puteți descărca și utiliza modelele Llama prin solicitarea accesului. Consultați acest tutorial pentru a afla cum să utilizați LLama 2 în aplicațiile dvs. Python:
Şoim
Şoim este încă un alt model de limbaj open-source al Institutului de Inovare Tehnologică (UAE). Toate modelele din suita Falcon LLM sunt open source și sunt disponibile pentru acces deschis. Deci, le puteți folosi pentru a construi aplicații bazate pe LLM.
În prezent, există patru dimensiuni de model: 1.3B, 7.5B, 40B și 180B. pentru a performa mai bine decât la mai multe benchmark-uri, modelul 180B a fost antrenat pe un set de date de 3.5T token-uri. Falcon LLM funcționează la egalitate cu alte lideri LLM open-source.
Falcon 180B open-source LLM atinge performanțe apropiate de cele ale GPT-4. Consultați acest tutorial care acoperă Falcon 180B, cum îl puteți utiliza, cerințele hardware și cum să faceți o comparație cu GPT-4:
Difuzie stabilă
Difuzie stabilă un model text-to-image pentru generarea de imagini și alte aplicații creative AI. Poate fi folosit, de asemenea, pentru upscaling de imagini și în vopsire.
Difuziune stabilă XLlansat în iulie 2023, oferă mai multe îmbunătățiri, printre care:
- generând imagini descriptive din prompturi mult mai scurte
- capacitatea de a genera text suport în imagini
- sarcini de pictură și pictură de imagine
- interacționând cu o imagine sursă pentru a genera variante
Dacă doriți să aflați cum funcționează modelele de difuzie – metoda din spatele magiei – verificați Cum funcționează modelele de difuzieun curs gratuit de la DeepLearning.AI.
DALL-E 2
DALL-E 2 de la Open AI este un alt model popular de generare text-to-image. Îl puteți folosi pentru a genera imagini realiste și artă din text – descriere în limbaj natural.
Poate fi folosit pentru următoarele sarcini:
- generarea de imagini din solicitări de text
- pictură în pictură și desenare a imaginii
- generând variații ale unei imagini
Puteți accesa DALL-E 2 prin intermediul API-ului OpenAI sau al Interfața web a laboratoarelor OpenAI.
Şoaptă
Deschide AI-uri Şoaptă este un model de recunoaștere a vorbirii care poate fi utilizat pentru o multitudine de aplicații, inclusiv:
- identificarea limbii
- sarcini de recunoaștere a vorbirii, cum ar fi transcrierea fișierelor audio
- traducerea vorbirii
Iată un tutorial despre cum să convertiți vorbirea în text folosind API-ul OpenAI Whisper:
Pentru a încerca modelul, puteți instala whisper (openai-whisper) folosind pip și accesând API-ul dintr-un script Python pentru a transcrie fișiere audio. În plus, puteți utiliza alte modele de limbaj mari pentru a rezuma transcrierea și a crea un fișier audio → canal de rezumat.
StableLM
StableLM este o suită LLM open-source de la Stability AI. Parametrii 3B și 7B sunt disponibili în prezent. Lansările ulterioare vor include modele mai mari cu parametri 15B – 65B.
Deci, dacă doriți să experimentați cu LLM-uri ușoare, open-source în aplicațiile dvs., puteți încerca StableLM.
CLAMĂ
CLAMĂ înseamnă Contrastive Language-Image Pre-training. Este o rețea neuronală, un model multimodal, antrenat pe un set mare de date de perechi (text, imagine). Modelul folosește datele din limbajul natural, încearcă să învețe — din descrierile din limbajul natural — semantica imaginilor. Modelul CLIP este capabil să prezică textul cel mai relevant dat de o imagine.
Cu CLIP, puteți efectua o clasificare a imaginilor zero-shot, fără o pregătire prealabilă costisitoare și un reglaj fin. În plus, puteți profita de capacitățile bazelor de date CLIP și vectoriale pentru a construi aplicații interesante în:
- căutare de la text la imagine și de la imagine la imagine
- căutare inversă a imaginilor
Segmentează orice model
Segmentarea imaginii este sarcina de a identifica pixelii care aparțin unui anumit obiect dintr-o imagine. Meta AI a fost lansat Segmentează orice model (SAM) care poate fi folosit pentru a segmenta orice imagine și a decupa obiecte din ele.
Sursa imagine: Segmentează orice
Puteți utiliza solicitări pentru a specifica ce să segmentați într-o imagine. SAM acceptă în prezent următoarele solicitări: casete de delimitare, măști și puncte din prim-plan și din fundal. Modelul are, de asemenea, performanțe excelente de generalizare zero-shot pe imagini nevăzute anterior. Deci nu este necesară o pregătire explicită.
Încearcă Modelul SAM în browserul dvs!
InternLM
InternLM este un model de limbaj open-source. Puteți încerca modelul de bază 7B și modelul de chat open-source. Modelul acceptă o fereastră de context de 8K. În plus, InternLM acceptă interpretul de cod și capabilitățile de apelare a funcției.
InternLM este disponibil și în biblioteca de transformatoare HuggingFace. Puteți profita de cadrul ușor de pre-antrenament. De asemenea, acceptă construirea și implementarea aplicațiilor folosind LMDeploy. Deci, puteți construi aplicații NLP generative end-to-end cu InternLM.
WaveGAN
WaveGAN este un model pentru generarea audio. Ajută la sintetizarea sunetului brut din mostre de date audio reale.
Puteți antrena WaveGAN pe un set de date de fișiere audio arbitrare și puteți sintetiza audio fără o preprocesare extinsă.
CycleGAN și Pix2Pix
Până acum, am acoperit modele de vorbire în text, text în imagine și alte modele pentru diferite sarcini de procesare a limbajului natural. Dar ce se întâmplă dacă doriți să efectuați traducerea imagine-la-imagine? Aici, puteți folosi CycleGAN pentru a învăța o mapare de la domeniul sursă la domeniul țintă pentru a efectua traducerea imagine-la-imagine.
De exemplu, având în vedere imaginea unui lac în timpul iernii, poate doriți să traduceți aceeași imagine atunci când sezonul este vara. În imaginea unui cal, poate doriți să înlocuiți calul cu o zebră, păstrând același fundal. CycleGAN este potrivit pentru astfel de sarcini.
Modelul pix2pix poate fi folosit pentru traducerea imagine-la-imagine; capabilitățile cheie ale modelului includ:
- reconstruind obiecte din hărți de margine și
- colorarea imaginilor
Puteți găsi implementările PyTorch ale CycleGAN și pix2pix pe GitHub.
BioGPT
BioGPT de la Microsoft este un model de transformator pe care îl puteți utiliza pentru extragerea datelor biomedicale și aplicațiile de generare de text. Utilizează implementările modelului secvență-la-secvență furnizate de corectq.
Fairseq de la Facebook Research (acum Meta AI) este un set de instrumente care oferă implementări de modele secvență-la-secvență pentru sarcini precum:
- modelarea limbajului
- traducere
- rezumare
Amandoua modele pre-antrenate și sunt disponibile puncte de control fin reglate. Puteți descărca modelul fie de la adresa URL, fie de la hub-ul HuggingFace.
Modelele BioGPT fac, de asemenea, parte din biblioteca de transformatoare HuggingFace. Deci, dacă lucrați în spațiul biomedical, puteți utiliza BioGPT pentru a construi aplicații specifice domeniului.
Încheierea
Sper că ați găsit câteva modele utile cu care puteți construi aplicații AI generative. Deși această listă nu este exhaustivă, am acoperit unele dintre cele mai populare modele pe care le puteți utiliza pentru a crea aplicații pentru generarea de text și audio, transcriere de la vorbire în text, căutare de imagini și multe altele.
Când construiți aplicații folosind modele de limbaj mari, ar trebui să fiți conștienți de capcanele comune, cum ar fi informații incorecte și halucinații. Și vă puteți confrunta cu limitări atunci când reglați modelele, deoarece procesul de reglare fină necesită adesea resurse.
Deci, dacă sunteți dezvoltator, este timpul să vă alăturați revoluției AI și să începeți să construiți aplicații AI interesante! Puteți încerca aceste modele în Google Colab sau în alte caiete de știință a datelor colaborative.