Analiza datelor reprezintă o provocare captivantă pentru cei pasionați de descifrarea complexităților și descoperirea insight-urilor ascunse în spatele aparentului haos informațional.
Este o activitate similară căutării acului în carul cu fân, dar, spre deosebire de această imagine, experții în date nu se murdăresc pe mâini. Prin utilizarea instrumentelor avansate, caracterizate de grafice colorate și analizarea unor cantități uriașe de date numerice, ei se adâncesc în acest „car cu fân” digital pentru a scoate la lumină „acele” valoroase: perspectivele cu impact semnificativ asupra afacerilor.
Un set de instrumente esențial pentru un specialist în date trebuie să includă elemente din fiecare dintre următoarele categorii: baze de date relaționale, baze de date NoSQL, platforme pentru gestionarea volumelor mari de date, instrumente de vizualizare, instrumente de extragere a datelor web, limbaje de programare, medii de dezvoltare (IDE-uri) și instrumente de învățare profundă.
Baze de Date Relaționale
O bază de date relațională organizează datele în tabele structurate, fiecare având atribute specifice. Aceste tabele sunt interconectate prin relații și restricții, formând un model de date. Pentru a interacționa cu bazele de date relaționale, se utilizează limbajul SQL (Structured Query Language).
Aplicațiile care gestionează structura și informațiile din bazele de date relaționale sunt numite RDBMS (Relational DataBase Management Systems). Există numeroase astfel de aplicații, cele mai relevante orientându-se recent către știința datelor, adăugând funcții pentru lucrul cu depozite mari de date și aplicarea tehnicilor de analiză și învățare automată.
SQL Server
RDBMS-ul oferit de Microsoft a evoluat timp de peste două decenii prin extinderea continuă a funcționalităților. Începând cu versiunea din 2016, SQL Server oferă un portofoliu de servicii ce includ suport pentru codul R. SQL Server 2017 a mers mai departe, redenumind Serviciile R în Servicii de Limbaj Machine și adăugând suport pentru Python.
Prin aceste îmbunătățiri semnificative, SQL Server se adresează experților în date care nu au experiență cu Transact SQL, limbajul de interogare specific Microsoft SQL Server.
SQL Server nu este un produs gratuit. Licențele pot fi achiziționate pentru instalarea pe un server Windows (prețul depinzând de numărul de utilizatori simultani) sau poate fi utilizat ca serviciu contra cost prin cloud-ul Microsoft Azure. Învățarea Microsoft SQL Server este accesibilă.
MySQL
În domeniul software-ului open-source, MySQL deține poziția dominantă în popularitatea RDBMS-urilor. Deși este deținut de Oracle, rămâne gratuit și open-source, sub licența publică GNU. Majoritatea aplicațiilor web utilizează MySQL ca depozit principal de date, datorită conformității sale cu standardul SQL.
Popularitatea sa este susținută de procedurile de instalare simple, de o comunitate mare de dezvoltatori, de o documentație extinsă și de instrumente terțe, precum phpMyAdmin, care facilitează operațiunile de administrare zilnice. Chiar dacă MySQL nu are funcții native de analiză a datelor, natura sa deschisă permite integrarea cu aproape orice instrument de vizualizare, raportare și business intelligence.
PostgreSQL
O altă opțiune RDBMS open-source este PostgreSQL. Deși nu are aceeași popularitate ca MySQL, PostgreSQL se distinge prin flexibilitate, extensibilitate și suport pentru interogări complexe, care depășesc instrucțiunile de bază, cum ar fi SELECT, WHERE și GROUP BY.
Aceste caracteristici îl fac tot mai popular în rândul experților în date. O altă caracteristică relevantă este suportul pentru diverse medii, putând fi utilizat în cloud, on-premise sau într-o combinație a acestora, cunoscută sub denumirea de mediu cloud hibrid.
PostgreSQL este capabil să combine procesarea analitică online (OLAP) cu procesarea tranzacțiilor online (OLTP), funcționând în așa numitul model de procesare tranzacțională/analitică hibridă (HTAP). De asemenea, este potrivit pentru lucrul cu volume mari de date, datorită extensiilor PostGIS pentru date geografice și JSON-B pentru documente. PostgreSQL suportă și date nestructurate, fiind un hibrid între baze de date SQL și NoSQL.
Baze de Date NoSQL
Acest tip de depozit de date, cunoscut și ca baze de date non-relaționale, oferă acces mai rapid la structuri de date non-tabulare, cum ar fi grafice, documente, coloane extinse, perechi cheie-valoare și multe altele. Bazele de date NoSQL pot sacrifica uneori coerența datelor în favoarea disponibilității, partiționării și vitezei de acces.
Deoarece nu se utilizează SQL în bazele de date NoSQL, singura modalitate de a le interoga este prin limbaje de nivel inferior. În plus, nu există specificații standard pentru NoSQL. Astfel, unele baze de date NoSQL încep să adauge suport pentru scripturi SQL, într-un mod paradoxal.
MongoDB
MongoDB este un sistem popular de baze de date NoSQL care stochează datele ca documente JSON. Se pune accentul pe scalabilitate și flexibilitatea de a stoca date nestructurate. Nu există o listă fixă de câmpuri pe care trebuie să o respecte fiecare element stocat. Mai mult, structura datelor poate fi modificată în timp, ceea ce într-o bază de date relațională ar implica un risc major pentru aplicațiile în funcțiune.
Tehnologia din MongoDB permite indexarea, interogările ad-hoc și agregarea, oferind o bază solidă pentru analiza datelor. Natura distribuită a bazei de date asigură disponibilitate înaltă, scalare și distribuție geografică fără a necesita instrumente avansate.
Redis
Aceasta este o altă opțiune open-source NoSQL. Este un depozit de structuri de date care funcționează în memorie și, pe lângă rolul de bază de date, poate servi ca memorie cache și broker de mesaje.
Suportă numeroase structuri de date neconvenționale, inclusiv hash-uri, indici geospațiali, liste și seturi sortate. Este extrem de util pentru știința datelor datorită performanțelor sale ridicate în sarcinile ce implică date masive, cum ar fi calcularea intersecțiilor seturilor, sortarea listelor lungi sau generarea de clasamente complexe. Performanța remarcabilă a lui Redis se datorează funcționării sale în memorie, fiind configurabil pentru a păstra selectiv datele.
Platforme pentru Gestionarea Volumelor Mari de Date
Imaginați-vă că trebuie să analizați datele generate de utilizatorii Facebook într-o lună. Vorbim despre fotografii, clipuri video, mesaje – toate acestea. Având în vedere că zilnic sunt adăugați peste 500 de terabytes de date de către utilizatorii rețelei sociale, volumul generat într-o lună este enorm.
Pentru a manipula eficient un asemenea volum imens de date, este nevoie de o platformă adecvată, capabilă să efectueze calcule statistice printr-o arhitectură distribuită. Cele mai importante două platforme de acest tip sunt Hadoop și Spark.
Hadoop
Ca platformă pentru date mari, Hadoop se ocupă de complexitățile legate de regăsirea, prelucrarea și stocarea unor volume uriașe de date. Hadoop funcționează într-un mediu distribuit, format din clustere de computere care prelucrează algoritmi simpli. Un algoritm de orchestrare, numit MapReduce, împarte sarcinile complexe în părți mici, distribuindu-le apoi între nodurile disponibile.
Hadoop este recomandat pentru depozitele de date enterprise care necesită acces rapid și disponibilitate înaltă, toate acestea la un cost redus. Totuși, este necesară prezența unui administrator Linux cu cunoștințe solide despre Hadoop pentru a menține funcționarea platformei.
Spark
Hadoop nu este singura platformă disponibilă pentru gestionarea datelor mari. Un alt nume important în domeniu este Spark. Motorul Spark a fost conceput pentru a depăși Hadoop în ceea ce privește viteza de analiză și ușurința în utilizare. Se pare că a reușit: unele comparații sugerează că Spark rulează de până la 10 ori mai rapid decât Hadoop când lucrează pe disc și de 100 de ori mai rapid când funcționează în memorie. De asemenea, necesită mai puține resurse hardware pentru a procesa aceeași cantitate de date.
Pe lângă viteză, un alt avantaj al Spark este suportul pentru procesarea fluxului, numită și procesare în timp real, care implică intrarea și ieșirea continuă a datelor.
Instrumente de Vizualizare
O glumă comună printre oamenii de știință a datelor este că, dacă „torturezi” suficient datele, acestea vor mărturisi ce trebuie să știi. În acest context, „tortura” înseamnă manipularea datelor prin transformarea și filtrarea lor pentru o vizualizare mai eficientă. Aici intervin instrumentele de vizualizare, care preiau datele prelucrate din diverse surse și dezvăluie informațiile relevante în format grafic, ușor de interpretat.
Există sute de instrumente în această categorie. Cel mai utilizat, fie că ne place sau nu, este Microsoft Excel și funcțiile sale grafice. Graficele Excel sunt accesibile oricui utilizează Excel, dar au funcționalități limitate. Același lucru este valabil și pentru alte aplicații de tip foaie de calcul, cum ar fi Google Sheets și Libre Office. Ne vom concentra aici pe instrumente specializate pentru business intelligence (BI) și analiza datelor.
Power BI
Microsoft a lansat de curând aplicația de vizualizare Power BI. Aceasta poate prelua date din diverse surse, cum ar fi fișiere text, baze de date, foi de calcul și servicii de date online, inclusiv Facebook și Twitter, generând tablouri de bord cu grafice, tabele, hărți și multe alte elemente de vizualizare. Obiectele din tabloul de bord sunt interactive, oferind posibilitatea de a selecta un set de date dintr-un grafic pentru a-l folosi ca filtru pentru restul obiectelor.
Power BI este o combinație între o aplicație desktop Windows (parte a suitei Office 365), o aplicație web și un serviciu online pentru a publica tablourile de bord pe web și a le distribui utilizatorilor. Serviciul permite crearea și gestionarea permisiunilor de acces la panouri pentru anumite persoane.
Tableau
Tableau este o altă opțiune pentru crearea de tablouri de bord interactive dintr-o combinație de surse de date. De asemenea, oferă o versiune desktop, o versiune web și un serviciu online pentru distribuirea tablourilor de bord create. Funcționează „așa cum gândești” (conform afirmațiilor sale) și este ușor de utilizat chiar și pentru persoanele fără cunoștințe tehnice, datorită numeroaselor tutoriale și clipuri video online.
Unele dintre cele mai importante caracteristici ale Tableau sunt conectivitatea nelimitată la surse de date, funcționalitățile de date live și în memorie și designul optimizat pentru mobil.
QlikView
QlikView oferă o interfață de utilizator simplă și intuitivă, ajutând analiștii să descopere noi perspective din date prin elemente vizuale ușor de înțeles.
Acest instrument este recunoscut ca fiind una dintre cele mai flexibile platforme de business intelligence, oferind o funcție numită Căutare Asociativă, care ajută la concentrarea asupra datelor importante, economisind timp.
Cu QlikView, se poate colabora cu colegii în timp real, făcând analize comparative. Toate datele relevante pot fi combinate într-o singură aplicație, cu funcții de securitate care restricționează accesul.
Instrumente de Extragere a Datelor Web
În perioada inițială a internetului, crawlerele web călătoreau prin rețele, adunând informații. Odată cu evoluția tehnologiei, termenul de web crawling s-a transformat în web scraping, dar sensul a rămas același: extragerea automată a informațiilor de pe site-uri web. Pentru web scraping, se folosesc procese automate, sau boți, care navighează între paginile web, extrag date și le exportă în diverse formate sau le introduc în baze de date pentru analize ulterioare.
Prezentăm mai jos caracteristicile a trei dintre cele mai populare instrumente de web scraping disponibile în prezent.
Octoparse
Instrumentul de web scraping Octoparse oferă funcții interesante, inclusiv instrumente încorporate pentru a prelua informații de pe site-uri care îngreunează activitatea roboților de scraping. Este o aplicație desktop care nu necesită codificare, cu o interfață de utilizator intuitivă, ce permite vizualizarea procesului de extracție printr-un designer grafic de flux de lucru.
Pe lângă aplicația autonomă, Octoparse oferă un serviciu bazat pe cloud pentru a accelera procesul de extragere a datelor. Utilizatorii pot experimenta o creștere a vitezei de 4 până la 10 ori când utilizează serviciul cloud în loc de aplicația desktop. Versiunea desktop poate fi utilizată gratuit. Pentru serviciul cloud, sunt disponibile diverse planuri plătite.
Content Grabber
Pentru un instrument de web scraping complex, Content Grabber este o opțiune de luat în considerare. Spre deosebire de Octoparse, Content Grabber necesită cunoștințe avansate de programare. În schimb, se oferă facilități de editare a scripturilor, interfețe de depanare și alte funcționalități avansate. Cu Content Grabber, se pot folosi limbaje .Net pentru a scrie expresii regulate, evitând astfel generarea expresiilor cu un instrument încorporat.
Instrumentul oferă un API (Application Programming Interface) ce poate fi utilizat pentru a adăuga funcții de scraping aplicațiilor desktop și web. Pentru a utiliza acest API, dezvoltatorii trebuie să aibă acces la serviciul Windows Content Grabber.
ParseHub
Acest instrument poate gestiona o gamă variată de tipuri de conținut, inclusiv forumuri, comentarii imbricate, calendare și hărți, dar și pagini cu autentificare, Javascript, Ajax etc. ParseHub poate fi folosit ca aplicație web sau desktop, compatibilă cu Windows, macOS X și Linux.
Similar cu Content Grabber, ParseHub necesită cunoștințe de programare pentru a putea fi utilizat la capacitate maximă. Dispune de o versiune gratuită, limitată la 5 proiecte și 200 de pagini per rulare.
Limbaje de Programare
Similar modului în care limbajul SQL a fost conceput special pentru bazele de date relaționale, există și limbaje create cu un accent clar pe știința datelor. Aceste limbaje permit dezvoltatorilor să creeze programe care se ocupă de analiza masivă a datelor, precum statistica și învățarea automată.
SQL este, de asemenea, considerat o competență importantă pentru specialiștii în date, deoarece multe organizații utilizează în continuare baze de date relaționale. Cu toate acestea, limbajele „autentice” ale științei datelor sunt R și Python.
Python
Python este un limbaj de programare de nivel înalt, interpretat, de uz general, potrivit pentru dezvoltarea rapidă a aplicațiilor. Sintaxa sa este simplă și ușor de învățat, oferind o curbă de învățare accesibilă și reducând costurile de întreținere a programelor. Există numeroase motive pentru care este limbajul preferat în știința datelor, inclusiv potențialul de scripting, expresivitatea, portabilitatea și performanța.
Acest limbaj este un punct de plecare bun pentru specialiștii în date care doresc să experimenteze înainte de a începe lucrul la prelucrarea datelor și care doresc să dezvolte aplicații complete.
R
Limbajul R este utilizat în principal pentru prelucrarea datelor statistice și reprezentarea grafică. Deși nu este destinat dezvoltării de aplicații complexe, precum Python, R a devenit foarte popular în ultimii ani datorită potențialului său în data mining și analiza datelor.
Datorită unei biblioteci în continuă creștere de pachete disponibile gratuit, care extind funcționalitățile, R poate efectua diverse operațiuni de prelucrare a datelor, inclusiv modelare liniară/neliniară, clasificare, teste statistice etc.
Nu este un limbaj ușor de învățat, dar, odată familiarizați cu filosofia sa, veți putea efectua calcule statistice ca un expert.
IDE-uri
Dacă doriți să vă dedicați științei datelor, este esențial să alegeți cu atenție un mediu de dezvoltare integrat (IDE) care să corespundă nevoilor, deoarece veți petrece mult timp lucrând împreună cu IDE-ul.
Un IDE ideal ar trebui să reunească toate instrumentele de care aveți nevoie ca programator: un editor de text cu evidențiere de sintaxă și autocompletare, un depanator performant, un browser de obiecte și acces ușor la instrumente externe. În plus, trebuie să fie compatibil cu limbajul preferat, fiind recomandat să alegeți IDE-ul după ce ați decis limbajul pe care îl veți utiliza.
Spyder
Acest IDE general este destinat în principal specialiștilor în date și analiștilor care au nevoie și de codificare. Pentru confortul acestora, nu se limitează la funcționalitatea IDE, oferind și instrumente pentru explorarea și vizualizarea datelor și execuția interactivă, caracteristice unui pachet științific. Editorul din Spyder suportă mai multe limbi și oferă browser de clase, divizarea ferestrelor, navigarea la definire, autocompletarea codului și un instrument de analiză a codului.
Depanatorul ajută la urmărirea interactivă a fiecărei linii de cod, iar un profiler ajută la identificarea și eliminarea ineficiențelor.
PyCharm
Dacă programați în Python, este posibil ca IDE-ul ales să fie PyCharm. Oferă un editor de cod inteligent cu căutare, autocompletarea codului și detectarea și corectarea erorilor. Cu un singur click, se poate naviga din editorul de cod către orice fereastră legată de context, inclusiv test, supermetodă, implementare, declarație etc. PyCharm suportă Anaconda și numeroase pachete științifice, cum ar fi NumPy și Matplotlib.
Oferă integrare cu principalele sisteme de control al versiunilor, dar și un runner de teste, un profiler și un debugger. În plus, se integrează cu Docker și Vagrant pentru a asigura dezvoltarea și containerizarea pe diverse platforme.
RStudio
Pentru specialiștii în date care preferă R, IDE-ul de ales ar trebui să fie RStudio, datorită numeroaselor funcționalități. Poate fi instalat pe un desktop Windows, macOS sau Linux, sau rulat dintr-un browser web dacă nu se dorește instalarea locală. Ambele versiuni oferă facilități, cum ar fi evidențierea sintaxelor, indentarea inteligentă și autocompletarea codului. Există un vizualizator de date integrat, util pentru navigarea prin datele tabulare.
Modul de depanare permite vizualizarea modului în care datele sunt actualizate dinamic când se execută pas cu pas un program sau script. Pentru controlul versiunilor, RStudio integrează suport pentru SVN și Git. Un plus este posibilitatea de a crea grafice interactive cu Shiny și oferirea de biblioteci.
Setul Tău Personal de Instrumente
Acum, ar trebui să aveți o imagine completă a instrumentelor pe care trebuie să le cunoașteți pentru a excela în știința datelor și sperăm că v-am oferit suficiente informații pentru a decide care este opțiunea potrivită din fiecare categorie. Acum depinde de voi. Știința datelor este un domeniu în plină ascensiune, care oferă oportunitatea de a dezvolta o carieră. Dar, dacă doriți să reușiți, este necesar să țineți pasul cu schimbările de tendințe și tehnologii, deoarece acestea apar aproape zilnic.