Data Mesh este o arhitectură de date care își propune să creeze o autoritate centrală partajată pentru date în cadrul unei organizații.
Încearcă să creeze o cultură și o guvernare în jurul datelor care să permită echipele autonome și cu autoservire și să le împuternicească să colaboreze și să inoveze folosind date. Să înțelegem despre ce înseamnă Data Mesh.
Cuprins
Ce este Data Mesh?
Cu cuvinte simple, Data Mesh este o arhitectură descentralizată pentru gestionarea datelor în cadrul unei organizații, ceea ce înseamnă că este concepută pentru a oferi control și proprietate asupra datelor echipelor care le folosesc, mai degrabă decât să le centralizeze într-un singur grup sau departament.
Subliniază importanța datelor ca un activ cheie. Este conceput pentru a ajuta organizațiile să obțină o mai bună guvernare a datelor, o calitate a datelor și o integrare mai bună a datelor, încurajând în același timp o cultură a procesului decizional bazat pe date.
Arhitectura rețelei de date
O arhitectură Data Mesh include de obicei trei componente principale: surse de date, infrastructură și conducte de date orientate pe domeniu, gestionate de proprietarii funcționali.
Credit imagine: Microsoft
Aceste trei componente sunt interconectate și integrate mai degrabă decât să fie izolate de date. Într-o arhitectură Data Mesh, echipele sunt responsabile pentru datele pe care le folosesc, inclusiv pentru calitatea, accesul și securitatea acestora.
Această abordare descentralizată ajută la asigurarea faptului că datele sunt utilizate în mod eficient și că echipele au informațiile necesare pentru a lua decizii informate. De asemenea, promovează o cultură a procesului decizional bazat pe date, făcând datele mai accesibile, mai transparente și mai demne de încredere.
Pași necesari pentru a proiecta o arhitectură a rețelei de date
Pentru a implementa rețeaua de date în cadrul unei organizații, pot fi urmați următorii pași:
#1. Identificați domeniile de afaceri
Primul pas în implementarea rețelei de date este identificarea domeniilor de afaceri din cadrul organizației. Acestea sunt domeniile afacerii care sunt responsabile pentru furnizarea de valoare clienților. Fiecare domeniu de afaceri ar trebui să aibă un proprietar clar care este responsabil pentru datele care sunt utilizate în acel domeniu.
#2. Stabiliți guvernarea datelor
Ar trebui stabilit un cadru clar de guvernare a datelor pentru a se asigura că datele sunt utilizate în mod responsabil și etic. Aceasta include stabilirea rolurilor și responsabilităților pentru gestionarea datelor, stabilirea standardelor pentru calitatea și acuratețea datelor și definirea proceselor pentru accesul și utilizarea datelor.
#3. Definiți proprietatea datelor
Fiecare domeniu de afaceri ar trebui să fie responsabil pentru datele pe care le utilizează, inclusiv pentru calitatea și acuratețea acestora. Aceasta înseamnă că domeniul de afaceri ar trebui să fie implicat în crearea și întreținerea datelor, precum și în utilizarea și diseminarea acestora.
#4. Promovați alfabetizarea datelor
Pentru a le permite angajaților să ia decizii informate pe baza datelor, este important să se promoveze alfabetizarea datelor în cadrul organizației. Acest lucru se poate realiza prin programe de formare și educație, precum și prin furnizarea de acces la instrumente și resurse care permit angajaților să lucreze cu date.
#5. Democratizează accesul la date
Mesh-ul de date promovează democratizarea datelor, ceea ce înseamnă că datele ar trebui să fie accesibile tuturor angajaților. Acest lucru se poate realiza prin furnizarea de instrumente și resurse care permit angajaților să acceseze și să utilizeze date din întreaga organizație.
#6. Implementarea operațiunilor de date
Pentru a ne asigura că datele sunt gestionate și menținute în mod corespunzător, este important să se implementeze procese și practici pentru operațiunile de date. Aceasta include sarcini precum asimilarea datelor, transformarea datelor și stocarea și recuperarea datelor.
Principiile rețelei de date
Mesh-ul de date este implementat printr-un set de principii și practici care urmăresc să creeze o cultură a procesului decizional bazat pe date și le permite angajaților să acceseze și să utilizeze mai ușor datele din întreaga organizație.
Aceste patru principii includ:
Credit imagine: altexsoft
#1. Proprietatea și arhitectura descentralizată a datelor orientate pe domenii
Acest principiu subliniază importanța organizării datelor în jurul domeniilor de afaceri, fiecare unitate de afaceri fiind responsabilă pentru datele pe care le folosește și pentru calitatea acestor date. Acest lucru ajută la asigurarea că datele sunt aliniate cu nevoile companiei și ale clienților săi și permite unităților de afaceri să acceseze și să utilizeze mai ușor datele din alte părți ale organizației.
#2. Datele ca produs
Acest principiu tratează datele ca pe un bun valoros care ar trebui gestionat și guvernat ca un produs. Aceasta include definirea produselor de date, stabilirea echipelor de produse de date și crearea unei foi de parcurs pentru produsele de date.
#3. Infrastructură de date cu autoservire ca platformă
Acesta încurajează crearea unui model de autoservire pentru date, în care unitățile de afaceri au mai mult control asupra datelor pe care le folosesc și pot accesa și utiliza mai ușor datele din alte părți ale organizației.
#4. Guvernare computațională federată
Acest principiu stabilește un cadru pentru guvernanța datelor care ia în considerare nevoile și obiectivele mai multor părți interesate, inclusiv unitățile de afaceri, IT și oamenii de știință ai datelor. Această abordare ajută la asigurarea faptului că datele sunt utilizate în mod responsabil și etic și promovează alfabetizarea datelor și luarea deciziilor bazate pe date în cadrul organizației.
Importanța rețelei de date
Există mai multe motive pentru care o organizație ar putea lua în considerare adoptarea rețelei de date:
Calitatea și acuratețea datelor îmbunătățite
Prin organizarea datelor în jurul domeniilor de afaceri și stabilirea proprietății și guvernării clare, rețeaua de date poate ajuta la îmbunătățirea calității și acurateței datelor în cadrul unei organizații. Acest lucru poate ajuta la asigurarea că datele sunt aliniate cu nevoile companiei și ale clienților săi și poate sprijini luarea deciziilor mai informate.
Accesibilitate și utilizare îmbunătățită a datelor
Mesh-ul de date promovează democratizarea datelor, ceea ce înseamnă că datele ar trebui să fie accesibile tuturor angajaților. Acest lucru se poate realiza prin furnizarea de instrumente și resurse care permit angajaților să acceseze și să utilizeze date din întreaga organizație. Permițând angajaților să acceseze și să utilizeze mai ușor datele, rețeaua de date poate ajuta la îmbunătățirea alfabetizării datelor și a luării deciziilor bazate pe date în cadrul organizației.
Control mai mare asupra datelor
Cu rețeaua de date, unităților de afaceri li se oferă mai mult control asupra datelor pe care le folosesc și asupra calității acestora. Acest lucru poate ajuta la asigurarea că datele sunt aliniate cu nevoile afacerii și pot fi accesate și utilizate mai ușor de către persoanele care au nevoie de ele.
O mai bună guvernare a datelor
Rețeaua de date promovează stabilirea unor cadre clare de guvernare a datelor care ajută la asigurarea faptului că datele sunt utilizate în mod responsabil și etic. Aceasta include stabilirea rolurilor și responsabilităților pentru gestionarea datelor, stabilirea standardelor pentru calitatea și acuratețea datelor și definirea proceselor pentru accesul și utilizarea datelor.
În general, adoptarea rețelei de date poate ajuta organizațiile să își valorifice mai mult activele de date și să promoveze o cultură a procesului decizional bazat pe date.
Data Mesh vs. Data Lake
Mesh-ul de date și lacul de date au mai multe diferențe în ceea ce privește concentrarea lor, organizarea datelor, accent pe guvernanța și alfabetizarea datelor și abordarea accesului și utilizării datelor.
Iată o comparație a rețelei de date și a lacului de date într-o formă tabelară:
Data MeshData LakeSe concentrează pe nevoile afacerii și ale clienților săi. Se concentrează pe aspectele tehnice ale stocării și prelucrării datelor. Organizează datele în jurul domeniilor de afaceri.Organizează datele într-o structură de fișiere ierarhică. Datele sunt deținute și guvernate de unități de afaceri. Datele pot fi accesate de mai multe departamente sau echipe. nu se concentrează neapărat pe guvernanța datelor sau pe alfabetizarea datelor. Permite o cultură a procesului decizional bazat pe date. Oferă un depozit centralizat pentru stocarea și procesarea datelor. Încurajează accesul la date în sistem self-service. Poate necesita intervenția IT pentru a accesa și utiliza datele. Promovează democratizarea datelor. Poate avea acces limitat la date din cauza securității sau preocupări privind confidențialitatea Urmează principiile proiectării bazate pe domenii Nu urmează un cadru de proiectare specific. Implica procese și practici pentru operațiunile de date Poate să nu aibă procese specifice pentru operațiunile cu date. Poate necesita mai multă planificare și proiectare inițială. Poate fi mai flexibil și permite stocarea de date ad-hoc vechime și procesare
Un lac de date este un depozit central care vă permite să stocați toate datele structurate și nestructurate la orice scară. Este un loc pentru stocarea datelor în forma sa brută și granulară înainte de a avea loc orice procesare sau transformare. Acest lucru permite organizațiilor să stocheze și să analizeze datele într-un mod mai flexibil și mai rentabil decât depozitele tradiționale de date.
În timp ce rețeaua de date este concepută pentru a permite echipelor să dețină și să-și gestioneze propriile date, mai degrabă decât să se bazeze pe un grup centralizat pentru a gestiona datele pentru ele.
Resurse de învățare în rețea de date
Există multe resurse disponibile online pentru a afla despre rețeaua de date și poate fi copleșitor să încerci să le găsești pe cele mai utile. Învățarea rețelei de date în mod corect este importantă pentru a vă asigura că aveți o înțelegere solidă a conceptelor și că le puteți aplica eficient în munca dvs.
Aceste resurse pot oferi o bază pentru înțelegerea principiilor și practicilor rețelei de date și vă pot ajuta să vă dezvoltați abilitățile de care aveți nevoie pentru a gestiona și analiza datele într-un mediu de rețea de date în mod eficient.
#1. Data Mesh – Un concept modern de management al datelor descentralizat
În acest curs Udemy, Trainerul acoperă elementele fundamentale ale arhitecturii mesh de date pentru un management eficient al datelor. Și oferă, de asemenea, diverse studii de caz privind implementarea rețelei de date.
Este posibil să finalizați acest curs pe Udemy în decurs de o săptămână, în funcție de programul dvs. și de timpul pe care îl puteți dedica cursului. Cu toate acestea, este important să rețineți că cursul este conceput pentru a oferi o imagine de ansamblu cuprinzătoare a rețelei de date și, ca atare, poate necesita mai mult timp pentru a înțelege și a absorbi pe deplin materialul.
#2. Data Mesh: Masterclass complet
Pentru persoanele care doresc să-și avanseze profesiile, acest curs de rețea de date este excelent. Acest curs acoperă fiecare subiect legat de proiectarea unei rețele de date și a arhitecturii produsului de date,
Până la sfârșitul acestui curs, veți putea implementa conceptul de rețea de date în întreprinderile din lumea reală. Nu sunt necesare cunoștințe anterioare despre rețeaua de date pentru a începe cu acest curs,
#3. Mesh de date: furnizarea de valoare bazată pe date la scară
Această carte prezintă conceptul de rețea de date și oferă o imagine de ansamblu clară asupra modului de proiectare a unei arhitecturi de rețea de date și un ghid pentru strategia și execuția rețelei de date.
Mulți recenzenți au considerat că cartea este un ghid util și practic pentru înțelegerea principiilor și tiparelor rețelei de date și pentru implementarea acesteia în organizații.
Concluzie
Mesh-ul de date este un model de design și un cadru cultural pentru construirea unei organizații bazate pe date. Se bazează pe ideea de a crea o „sursă unică de adevăr” pentru date în cadrul unei organizații și de a promova conceptul de date ca produs.
Acest lucru se realizează prin utilizarea guvernanței descentralizate a datelor, în care echipele interfuncționale sunt responsabile pentru calitatea, disponibilitatea și întreținerea datelor din domeniul lor.
Data Mesh subliniază, de asemenea, importanța stabilirii unei înțelegeri clare a contractelor de date între diferite echipe și încurajează utilizarea instrumentelor și platformelor de descoperire a datelor pentru a facilita partajarea datelor în cadrul organizației.
Sper că ați găsit acest articol util pentru a afla despre rețeaua de date și principiile acesteia. De asemenea, ați putea fi interesat să aflați despre virtualizarea datelor.