Descoperirea seturilor de date potrivite: Un ghid complet
Identificarea seturilor de date adecvate poate fi o provocare, mai ales când acestea sunt necesare pentru proiecte de învățare automată (ML) sau știința datelor. Pentru a facilita procesul, vă prezentăm o listă exhaustivă cu cele mai bune seturi de date disponibile gratuit.
Seturile de date sunt, în esență, colecții de informații. Ele pot include date financiare, informații despre sănătatea comunității, date bursiere, bancare, geografice, cercetări din domeniul fizicii particulelor sau evaluări ale produselor de pe site-uri de comerț electronic.
Aceste seturi de date sunt rezultatul unor investigații științifice riguroase și sunt esențiale pentru vizualizare, analiză, prognoză și alte operațiuni. În era digitală, unde datele sunt comparate cu petrolul brut, seturile de date devin din ce în ce mai valoroase și căutate.
Citiți în continuare pentru a afla mai multe despre seturile de date și pentru a descoperi resurse gratuite pe care le puteți utiliza în proiectele dvs. de învățare automată sau știința datelor.
Ce sunt seturile de date?
Seturile de date reprezintă colecții structurate și organizate de date. Adesea, ele sunt asociate cu o entitate specifică, cum ar fi Banca Mondială și datele sale deschise. Colectarea datelor se face pe diverse teme, cum ar fi datele recensământului din SUA din 2020, publicate de Biroul de recensământ al Statelor Unite.
Există numeroase seturi de date, atât la nivel global, cât și local, care conțin puncte de date interconectate. De exemplu, se poate analiza relația dintre populația unei țări și prevalența obezității în diverse segmente ale acestei populații.
Oamenii de știință trebuie adesea să curețe, să restructureze și să proceseze aceste seturi de date folosind instrumente specifice pentru a extrage informații valoroase. Aceste informații pot fi folosite, de exemplu, pentru a reduce deșeurile de plastic, pentru a soluționa problemele forței de muncă sau pentru a antrena inteligența artificială.
Tipuri de seturi de date
Seturile de date pot fi publice sau private, în funcție de sursa lor. Seturile de date publice sunt accesibile tuturor și contribuie semnificativ la cercetare și dezvoltare.
În funcție de conținutul lor, seturile de date pot fi clasificate astfel:
- Multivariabil: Conțin mai multe variabile.
- Categoric: Reprezintă diferite categorii de subiecți.
- Numeric: Măsoară datele în numere, cum ar fi vârsta sau înălțimea.
- Corelație: Punctele de date sunt interconectate.
- Bazat pe fișiere: Stocate în fișiere de diverse formate.
- Bivariat: Conține două variabile și relația dintre ele.
- Set de date web: Colectate de pe unul sau mai multe portaluri de internet.
- Baza de date: Stochează datele în tabele, coloane și rânduri.
Seturi de date Open Source pentru proiecte de știință a datelor
Seturile de date gratuite sunt esențiale pentru cei care doresc să urmeze o carieră în știința datelor. Ele permit celor aflați la început de drum să lucreze la proiecte personale pentru a câștiga încredere și a-și construi un portofoliu.
Prin aplicarea instrumentelor și tehnicilor de știință a datelor la probleme reale, se pot testa abilitățile nou-învățate. De exemplu, datele de cercetare despre cancer, Covid-19 sau datele FBI sunt disponibile public și pot fi folosite pentru a crea modele utile pentru rezolvarea problemelor sociale, financiare sau de sănătate.
Astfel de proiecte îmbunătățesc semnificativ portofoliul profesional. Un model de analiză a datelor de succes, capabil să ofere informații valoroase, poate fi prezentat online prin intermediul unui site web personal. Angajatorii sunt adesea mai impresionați de proiectele realizate decât de declarațiile generale.
Seturi de date gratuite pentru proiecte de învățare automată
La fel ca specialiștii în știința datelor, și profesioniștii în învățare automată trebuie să lucreze la proiecte independente pentru a-și demonstra abilitățile. Un proiect de succes poate deveni o componentă valoroasă a portofoliului online sau offline.
Este clar că atât știința datelor, cât și învățarea automată depind de seturile de date structurate. Dacă acestea ar fi comercializate excesiv, cercetarea în domeniu ar deveni preponderent corporativă. Pentru a menține cercetarea accesibilă tuturor, diverse instituții și platforme oferă seturi de date gratuite:
Data.gov
Data.gov pune la dispoziție toate datele colectate și prelucrate de Guvernul SUA. Platforma oferă, de asemenea, resurse și instrumente pentru cercetare, vizualizare de date, dezvoltare de aplicații mobile/web. Printre seturile de date notabile se numără cele privind utilizarea durabilă a terenurilor, locuințele rurale și hărțile electronice de navigație interioare.
Seturi de date deschise: Kaggle
Kaggle oferă o gamă largă de date publice și coduri de programare pentru proiecte de știința datelor. Puteți selecta seturi de date brute sau coduri de programare. Printre cele mai populare seturi de date se numără datele AMEX, Simpsons Viewership și datele pentru antrenarea Chatbot.
Segment de date: YouTube 8-M
Segmentul de date YouTube 8-M oferă adnotări verificate de evaluatori umani. Tot aici se poate accesa și setul de date YouTube-8M, care conține 6,1 milioane de ID-uri video, 350.000 de ore de conținut video, 2,6 miliarde de caracteristici audio/vizuale, 3863 de clase de videoclipuri și, în medie, 3 etichete per videoclip.
Registrul datelor deschise pe AWS
Registrul datelor deschise (ROD) pe AWS ajută oamenii de știință de date să partajeze și să descopere seturi de date găzduite pe resursele AWS. Aici pot fi găsite seturi de date precum Atlasul genomului cancerului, seturile de date Foldingathome COVID-19 și Common Crawl.
Depozitul de învățare automată: UCI
Depozitul de învățare automată UCI menține 622 de seturi de date adecvate pentru antrenarea modelelor AI. Platforma oferă o interfață de căutare pentru a facilita cercetarea bazelor de date. Printre cele mai populare seturi de date se numără Accelerator, Machine Synchronous, Wikipedia Math Essentials și Turkish Headlines.
Seturi de date publice BigQuery: Google Cloud
Google Cloud oferă acces gratuit la numeroase seturi de date publice prin programul Google Cloud Public Dataset. Interogarea gratuită este limitată la 1 TB pe lună. Utilizatorii pot efectua interogări SQL standard și SQL vechi.
Seturi de date publice minunate: GitHub
Awesome Public Datasets este un set de date open-source care conține informații publice structurate pe subiecte. Colectate din diverse surse, cum ar fi bloguri și feedback-ul utilizatorilor, combină seturi de date gratuite și plătite din domenii precum fizica, sportul, software-ul, limbajul natural și învățarea automată.
Datele Băncii Mondiale
Banca Mondială oferă acces gratuit la datele de dezvoltare globale prin intermediul platformei sale Open Data. Aceasta oferă, de asemenea, tabele și rapoarte preformatate. Navigarea se face ușor, permițând utilizatorilor să găsească setul de date dorit pe baza țării sau indicatorului specific.
FiveThirtyEight: Date
FiveThirtyEight este un site web american specializat în analiza sondajelor de opinie, politică, economie și sport. Sondajele și prognozele realizate pot fi accesate prin intermediul seturilor de date disponibile pe platformă, care pot fi descărcate cu un singur clic.
ImageNet
ImageNet este o bază de date de imagini de unde cercetătorii din întreaga lume pot obține seturi de date open source pentru proiectele lor necomerciale. Imaginile sunt organizate după ierarhia WordNet și proiectul este esențial pentru cercetările avansate în deep learning.
Seturi de date Arhive: UNICEF DATA
Arhivele de seturi de date UNICEF oferă acces la datele colectate de organizație la nivel mondial. Sunt disponibile date despre migrație, dietă, educație, sănătate, mortalitate, violență, dezvoltarea copilăriei, căsătoria copiilor și diverse statistici.
Găsiți date deschise: Govt. din Marea Britanie
Pentru proiecte care necesită date publicate de organizațiile locale și guvernul central din Marea Britanie, Find Open Data este portalul ideal. Aici se găsesc seturi de date despre cheltuielile guvernamentale, afaceri, sănătate, educație, apărare și multe altele.
Date: Biroul de recensământ al Statelor Unite
Biroul de recensământ al SUA (USCB Data) oferă date, tabele, hărți și profiluri din recensământul din 2020, precum și instrumente de date pentru analiză.
Date și statistici: CDC
Centrele pentru Controlul și Prevenirea Bolilor (CDC) din SUA oferă acces gratuit la date și statistici. Subiectele abordate includ sănătatea mediului, boli cronice, natalitatea și mortalitatea, speranța de viață, răni și violență, sănătatea reproducerii și boli cu notificare națională.
Seturi de date: MIT
Această colecție de seturi de date se concentrează pe datele de vibrație induse de vortex. Centrul de Inginerie Oceanică de la MIT găzduiește diverse seturi de date publice utilizate pentru compararea codurilor computerizate și invitarea la noi teorii în domeniu.
Catalogul de date al Băncii Mondiale
Catalogul de date oferă acces facil la seturile de date gratuite legate de dezvoltare ale Băncii Mondiale. Platforma conține peste 5000 de seturi de date care acoperă microdate, finanțe și platforme energetice.
Date NASA Space Science
NASA oferă acces la datele sale arhivistice prin Arhiva Coordonată de Date Științifice Spațiale. Platforma conține 400 TB de date digitale despre 550 de subiecte din domeniul științelor spațiale și este utilă pentru publicul larg, mai ales pentru cei din domeniul educației și cercetării spațiale.
Obțineți datele: în interiorul Airbnb
Airbnb, platforma online pentru gazde și închirieri de vacanțe, oferă date pentru diferite orașe din întreaga lume prin intermediul secțiunii Get the Data. Utilizatorii pot naviga și obține datele necesare rapid sau pot solicita date specifice și citi ipotezele de date.
Date web: recenzii Amazon
Cei interesați de studii de piață și recenzii de produse pot folosi seturile de date oferite de Snap Web Data. Acesta conține peste 34 de milioane de recenzii ale utilizatorilor pe Amazon, din iunie 1995 până în martie 2013, incluzând informații despre produs, nume de utilizator, evaluări și textul recenziei.
Date FMI
Portalul de date FMI (Fondul Monetar Internațional) este util pentru a obține date economice și financiare de diverse tipuri. Utilizatorii pot accesa statistici din sectorul extern, publicații importante sau date microeconomice, inclusiv filtre pentru a obține date specifice pe țară.
Google Cărți Ngrams
Google Books Ngrams este un set de date open-source care analizează utilizarea cuvintelor și expresiilor de-a lungul timpului. Datele sunt obținute din documentele digitale indexate de Google.
Date despre piețe: The Financial Times
Pentru acces la date fiabile de piață, Markets Data de la Financial Times oferă informații despre piețele din America, Asia-Pacific, Europa, Africa și piața globală.
Earthdata: NASA
NASA oferă acces complet și deschis la datele sale științifice prin programul Earth Data. Platforma permite înțelegerea planetei și realizarea de proiecte pe baza seturilor de date disponibile despre atmosferă, biosferă, criosferă, dimensiuni umane, suprafața terestră, ocean, solul solid, interacțiunea soare-pământ și hidrosfera terestră.
Căutare set de date: Google
Google Dataset Search este un motor de căutare pentru seturi de date, util pentru studenți, cercetători sau specialiști în date. Platforma permite descoperirea seturilor de date disponibile online, prin căutarea după cuvinte cheie.
Date deschise: CERN
Organizația Europeană pentru Cercetări Nucleare (CERN) oferă un portal de date deschise care permite accesul la datele generate de cercetările efectuate în cadrul instituției. Portalul conține doi petabytes de date despre fizica particulelor, precum și aplicații și documentație necesară pentru analiza datelor.
Crime Data Explorer: FBI
Crime Data Explorer (CDE) de la FBI este un set de date open-source care oferă acces ușor la date penale, non-penale și de aplicare a legii. Platforma permite descoperirea datelor necesare prin vizualizare și filtrare, precum și descărcarea lor în format CSV.
Cuvinte finale
Acest articol a prezentat o listă extinsă de seturi de date de înaltă calitate din diverse domenii precum știința fizică, medicina, cercetarea spațială, dosarele penale și evaluări de produse.
Puteți alege setul de date potrivit în funcție de proiectul dvs. de știință a datelor sau de învățare automată. Aproape toate seturile de date includ instrucțiuni detaliate pentru a vă ajuta să demarați proiectul.
S-ar putea să vă intereseze și aceste resurse pentru a învăța știința datelor și învățarea automată.