Algoritmul Support Vector Machine (SVM) se numără printre cei mai populari algoritmi utilizați în domeniul învățării automate. Eficiența sa este remarcabilă, iar antrenarea se poate realiza chiar și cu seturi de date de dimensiuni reduse. Dar ce reprezintă, de fapt, acest algoritm?
Ce este un Support Vector Machine (SVM)?
Un Support Vector Machine este un algoritm de învățare automată care folosește învățarea supravegheată pentru a construi un model de clasificare binară. Aceasta poate suna complex, dar acest articol are scopul de a explica clar conceptul SVM, inclusiv legătura sa cu procesarea limbajului natural. Vom începe prin a analiza modul în care funcționează un Support Vector Machine.
Cum funcționează SVM?
Să luăm în considerare o problemă simplă de clasificare, unde avem date cu două caracteristici, x și y, și o ieșire – o clasificare care poate fi roșie sau albastră. Putem ilustra un set de date ipotetic în felul următor:
Sarcina noastră este să creăm o limită de decizie, adică o linie care separă cele două clase ale punctelor noastre de date. Iată același set de date, dar cu o limită de decizie adăugată:
Având această limită de decizie, putem prezice cărei clase aparține un punct de date, în funcție de poziția sa față de această limită. Algoritmul Support Vector Machine construiește cea mai bună limită de decizie, care este folosită pentru clasificarea punctelor.
Dar ce înseamnă exact „cea mai bună limită de decizie”?
Se consideră că cea mai bună limită de decizie este cea care maximizează distanța față de vectorii suport. Vectorii suport sunt punctele de date ale fiecărei clase care se află cel mai aproape de clasa opusă. Aceste puncte prezintă cel mai mare risc de clasificare incorectă, datorită apropierii lor de cealaltă clasă.
Astfel, antrenarea unui Support Vector Machine implică găsirea unei linii care maximizează marja dintre vectorii suport.
Este important de reținut că, deoarece limita de decizie este poziționată în raport cu vectorii suport, aceștia sunt singurii factori determinanți ai poziției limitei. Celelalte puncte de date devin, astfel, redundante, iar antrenamentul necesită doar vectorii suport.
În acest exemplu, limita de decizie este o linie dreaptă, deoarece setul de date are doar două caracteristici. Când setul de date are trei caracteristici, limita de decizie devine un plan, nu o linie. Iar când sunt patru sau mai multe caracteristici, limita de decizie este numită hiperplan.
Date non-liniar separabile
Exemplul de mai sus a vizat date simple care pot fi separate printr-o limită de decizie liniară. Să analizăm un caz în care datele arată în felul următor:
În această situație, separarea datelor printr-o linie este imposibilă. Totuși, putem crea o a treia caracteristică, z, definită prin ecuația: z = x^2 + y^2. Această caracteristică poate fi adăugată ca a treia axă, transformând planul în unul tridimensional.
Dacă privim graficul 3D dintr-un unghi în care axa x este orizontală, iar axa z verticală, obținem o reprezentare de acest tip:
Valoarea z indică cât de departe este un punct de origine față de celelalte puncte din vechiul plan XY. Astfel, punctele albastre, mai apropiate de origine, au valori z mai mici, în timp ce punctele roșii, mai depărtate, au valori z mai mari. Această reprezentare ne oferă o clasificare clară, care poate fi separată printr-o limită de decizie liniară.
Aceasta este o idee puternică, folosită în Support Vector Machines. În general, ideea constă în maparea datelor într-un spațiu cu mai multe dimensiuni, astfel încât punctele de date să poată fi separate printr-o limită liniară. Funcțiile care se ocupă de această mapare sunt funcțiile kernel. Există mai multe tipuri de funcții kernel, cum ar fi sigmoid, liniar, neliniar și RBF.
Pentru a face maparea acestor caracteristici mai eficientă, SVM utilizează un „truc al nucleului”.
SVM în Învățarea Automată
Support Vector Machine este unul dintre numeroșii algoritmi utilizați în învățarea automată, alături de alții populari, precum Decision Trees și Rețele Neuronale. Este preferat deoarece funcționează bine chiar și cu mai puține date decât alți algoritmi. De obicei, este folosit pentru următoarele aplicații:
- Clasificare text: clasificarea datelor text, cum ar fi comentariile și recenziile, în diverse categorii
- Detectarea feței: analizarea imaginilor pentru a detecta fețe, utilizată pentru adăugarea de filtre de realitate augmentată, printre altele
- Clasificarea imaginilor: Support Vector Machines pot clasifica imagini eficient comparativ cu alte abordări.
Problema clasificării textului
Internetul este o sursă vastă de date textuale, dar multe dintre aceste date sunt nestructurate și neetichetate. Pentru a folosi și a înțelege mai bine aceste date, este necesară clasificarea lor. Exemple de situații în care textul este clasificat includ:
- Clasificarea tweet-urilor pe subiecte, pentru a permite utilizatorilor să urmărească subiectele de interes
- Clasificarea e-mailurilor în categorii precum Social, Promoții sau Spam
- Clasificarea comentariilor de pe forumurile publice ca fiind urâte sau obscene.
Cum funcționează SVM cu clasificarea limbajului natural
Support Vector Machine este utilizat pentru a clasifica textul în funcție de apartenența la un anumit subiect. Acest lucru se realizează prin transformarea datelor textuale într-un set de date cu mai multe caracteristici.
O modalitate de a face acest lucru este prin crearea de caracteristici pentru fiecare cuvânt din setul de date. Apoi, pentru fiecare fragment de text, se înregistrează de câte ori apare fiecare cuvânt. Astfel, dacă în setul de date apar cuvinte unice, vom avea caracteristici.
În plus, trebuie furnizate clasificări pentru aceste fragmente de text. Deși aceste clasificări sunt etichetate prin text, majoritatea implementărilor SVM așteaptă etichete numerice. Prin urmare, etichetele text trebuie convertite în numere înainte de antrenare. După ce setul de date este pregătit, folosind aceste caracteristici ca și coordonate, un model SVM poate fi folosit pentru a clasifica textul.
Crearea unui SVM în Python
Pentru a crea un Support Vector Machine (SVM) în Python, se poate folosi clasa SVC din biblioteca sklearn.svm. Iată un exemplu de utilizare a clasei SVC pentru a construi un model SVM în Python:
from sklearn.svm import SVC
# Încarcă setul de date
X = ... y = ...
# Împarte datele în seturi de antrenare și testare
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=19)
# Creează un model SVM
model = SVC(kernel="linear")
# Antrenează modelul pe datele de antrenare
model.fit(X_train, y_train)
# Evaluează modelul pe datele de testare
accuracy = model.score(X_test, y_test)
print("Acuratețe: ", accuracy)
În acest exemplu, mai întâi importăm clasa SVC din biblioteca sklearn.svm. Apoi, încărcăm setul de date și îl împărțim în seturi de antrenare și testare.
Ulterior, creăm un model SVM prin instanțierea unui obiect SVC și specificăm parametrul kernel ca fiind „liniar”. Antrenăm modelul pe datele de antrenament folosind metoda fit și evaluăm modelul pe datele de testare cu ajutorul metodei score. Metoda score returnează acuratețea modelului, care este afișată în consolă.
Se pot specifica și alți parametri pentru obiectul SVC, cum ar fi parametrul C, care controlează puterea regularizării, și parametrul gamma, care controlează coeficientul nucleului pentru anumite nuclee.
Beneficiile SVM
Iată o listă cu câteva avantaje ale utilizării Support Vector Machines (SVM):
- Eficiență: SVM-urile sunt, în general, eficiente în procesul de antrenare, mai ales când numărul de mostre este mare.
- Robust la zgomot: SVM-urile sunt relativ robuste la zgomot în datele de antrenament, deoarece încearcă să găsească clasificatorul de marjă maximă, care este mai puțin sensibil la zgomot comparativ cu alți clasificatori.
- Eficiență în memorie: SVM-urile necesită doar un subset al datelor de antrenament în memorie la un moment dat, ceea ce le face mai eficiente din punct de vedere al memoriei.
- Eficiență în spații cu dimensiuni mari: SVM-urile pot funcționa bine chiar și atunci când numărul de caracteristici depășește numărul de mostre.
- Versatilitate: SVM-urile pot fi utilizate pentru sarcini de clasificare și regresie și pot gestiona diverse tipuri de date, inclusiv date liniare și neliniare.
Acum, vom explora câteva dintre cele mai bune resurse pentru a studia Support Vector Machines (SVM).
Resurse de învățare
O introducere în Support Vector Machines
Această carte, „Introducere în Support Vector Machines”, prezintă într-un mod detaliat și progresiv metodele de învățare bazate pe kernel.
Oferă o bază solidă în teoria Support Vector Machines.
Aplicațiile Support Vector Machines
În timp ce prima carte s-a concentrat pe teoria Support Vector Machines, această carte, „Aplicațiile Support Vector Machines”, pune accentul pe aplicațiile practice ale acestora.
Analizează modul în care SVM-urile sunt utilizate în procesarea imaginilor, detectarea modelelor și viziunea computerizată.
Support Vector Machines (știința informației și statistică)
Această carte, „Support Vector Machines (știința informației și statistică)”, oferă o imagine de ansamblu asupra principiilor care stau la baza eficienței Support Vector Machines (SVM) în diverse aplicații.
Autorii evidențiază mai mulți factori care contribuie la succesul SVM-urilor, inclusiv capacitatea lor de a funcționa bine cu un număr limitat de parametri ajustabili, rezistența la diferite tipuri de erori și anomalii și performanța eficientă din punct de vedere al calculului în comparație cu alte metode.
Învățarea cu Kernels
„Learning with Kernels” este o carte care îi introduce pe cititori în Support Vector Machines (SVM) și tehnicile asociate nucleului.
Este concepută pentru a oferi cititorilor o înțelegere de bază a matematicii și cunoștințele necesare pentru a începe să folosească algoritmi de nucleu în învățarea automată. Cartea își propune să ofere o introducere completă, dar accesibilă, în SVM-uri și metode de kernel.
Support Vector Machines cu Sci-kit Learn
Acest curs online, „Support Vector Machines cu Sci-kit Learn”, de la rețeaua de proiect Coursera, învață cum să implementezi un model SVM folosind biblioteca populară de învățare automată Sci-Kit Learn.
În plus, vei învăța teoria din spatele SVM-urilor și vei determina punctele lor forte și limitările. Cursul este destinat începătorilor și necesită aproximativ 2,5 ore.
Support Vector Machines în Python: concepte și cod
Acest curs online plătit, „Support Vector Machines în Python” de la Udemy, are până la 6 ore de instruire bazată pe video și vine cu o certificare.
Acoperă SVM-urile și modul în care acestea pot fi implementate eficient în Python. De asemenea, sunt analizate aplicațiile comerciale ale Support Vector Machines.
Învățare automată și IA: Support Vector Machines în Python
În cadrul acestui curs despre învățarea automată și IA, vei învăța cum să utilizezi Support Vector Machines (SVM) pentru diverse aplicații practice, inclusiv recunoașterea imaginilor, detectarea spamului, diagnosticarea medicală și analiza regresiei.
Vei utiliza limbajul de programare Python pentru a implementa modele de învățare automată pentru aceste aplicații.
Concluzie
În acest articol, am explorat pe scurt teoria din spatele Support Vector Machines. Am discutat despre aplicarea lor în învățarea automată și procesarea limbajului natural.
Am văzut și cum arată implementarea sa folosind scikit-learn. În plus, am abordat aplicațiile practice și beneficiile Support Vector Machines.
Deși acest articol a fost doar o introducere, resursele suplimentare recomandate oferă detalii mai ample despre Support Vector Machines. Având în vedere versatilitatea și eficiența lor, SVM-urile merită înțelese pentru dezvoltarea ca cercetător de date și inginer ML.
În continuare, poți consulta și cele mai bune modele de învățare automată.