Microsoft și-a transformat serviciile Azure în soluții cloud de nivel enterprise, care încorporează caracteristici de ultimă oră, cum ar fi managementul și analiza datelor.
Microsoft a lansat Azure SQL Data Warehouse atunci când a luat decizia de a utiliza cloud-ul. Microsoft promovează Azure SQL Data Warehouse cu mare energie. Este un serviciu flexibil de gestionare a bazelor de date care combină caracteristicile elastice ale depozitului de date.
Cuprins
Ce este Azure SQL Data Warehouse?
Azure SQL Data Warehouse (denumit acum Azure Synapse Dedicated SQL Pool, un depozit de date bazat pe cloud, vă permite să creați și să furnizați un depozit de date pe Microsoft Azure. Azure Data Warehouse poate procesa cantități mari de date relaționale și non-relaționale. Oferă Capacități de depozit de date SQL și o platformă de cloud computing.
Acceptă serverele SQL în mod nativ și poate migra serverele SQL existente la SQL Data Warehouse. De asemenea, puteți utiliza aceleași interogări și constructe. În plus, abonații au acces instantaneu la scalarea, întreruperea și reducerea resurselor din depozitul de date.
Este folosit pentru a oferi o soluție completă de depozit de date bazată pe SQL de clasă enterprise. De asemenea, poate fi folosit în următoarele moduri:
- Migrarea depozitelor de date existente (on-premises) în cloud
- Oferiți o soluție de depozit de date aplicațiilor și serviciilor care necesită stocare și recuperare a datelor în timpul execuției, cum ar fi aplicațiile web.
- O soluție hibridă de depozit de date care se conectează la depozitul de date găzduit de Azure și la SQL Server pe site.
Cea mai bună caracteristică a Azure SQL Data Warehouse este natura sa elastică. Permite scalabilitate și capacitatea de a gestiona separat resursele de stocare și de calcul. Acesta creează o platformă câștig/câștig în care utilizatorii plătesc doar pentru ceea ce folosesc și când îl folosesc.
Partea de calcul a Azure SQL Data Warehouse se bazează pe Data Warehouse Unit (DWU), care urmărește resursele de calcul, cum ar fi I/O de stocare și memoria în toate nodurile de calcul participante.
Azure SQL Data Warehouse oferă o caracteristică de securitate a conexiunii. Acest lucru vă permite să limitați accesul la anumite adrese IP sau intervale de IP folosind reguli de firewall. Integrarea cu autentificarea Azure Active Directory (AAD) vă va permite să vă conectați la Azure SQL Data Warehouse utilizând identități din Azure AD.
Criptarea pe mai multe straturi oferă protecție în repaus, în mișcare și în utilizare pentru a vă proteja datele împotriva utilizării greșite. Sunt disponibile instrumente suplimentare pentru a audita și monitoriza datele și pentru a identifica breșele de securitate.
Atunci când este combinat cu alte instrumente Microsoft, Azure SQL Data Warehouse oferă performanțe de neegalat, ceea ce reprezintă un avantaj major față de alte servicii comparabile de pe piață.
Pool SQL dedicat Azure Synapse
Azure Synapse SQL Pool Dedicated SQL Pool (anterior Azure SQL Data Warehouse) este o bancă de date de procesare masivă paralelă, similară cu tehnologiile de baze de date cu scalabilitate pe coloane, cum ar fi Snowflake și Amazon Redshift. Arată ca un server SQL tradițional pentru utilizatorul final, dar nu stochează și procesează date pe un singur nod.
Acest lucru poate îmbunătăți dramatic performanța depozitelor de date care sunt mai mari de câțiva Terabytes, dar pot exista soluții mai bune pentru implementări mai mici.
Arhitectura de bază este foarte diferită de serverele SQL tradiționale. Aceasta înseamnă că sintaxa și metodele de dezvoltare sunt, de asemenea, diferite.
Distribuțiile sunt mapate la nodurile de calcul într-un pool SQL dedicat. Pool-ul vă remapează distribuțiile la nodurile de calcul pe măsură ce achiziționați mai multe resurse de calcul.
Puteți importa date mari utilizând interogări PolyBase SQL simple și apoi utilizați motorul de interogări distribuite pentru analize de înaltă performanță.
Pool-ul dedicat SQL, anterior SQL DW, va oferi afacerii dvs. o singură sursă de adevăr care vă permite să integrați și să analizați datele mai rapid și oferă informații mai solide.
Care este diferența dintre pool-urile SQL dedicate Azure Synapse și pool-urile SQL dedicate dintr-un spațiu de lucru Azure Synapse Analytics?
PowerShell este una dintre cele mai confuze zone din documentație între „poolul SQL dedicat (fost SQLDW) și pool-urile SQL dedicate „Synapse Analytics”.
Implementarea originală a SQL DW utilizează un server logic similar cu Azure SQL DB. Un modul PowerShell numit Az.Sql este partajat.
Acest modul creează un nou pool SQL (fost SQLDW) folosind cmdletul New.AzSqlDatabase. Are un parametru „Ediție” care vă permite să specificați că doriți un DataWarehouse.
Synapse Analytics a venit cu un nou modul PowerShell de la Az.Synapse când a fost lansat pentru prima dată. Pentru a crea un pool SQL dedicat într-un spațiu de lucru Synapse Analytics, ar trebui să utilizați New-AzSynapseSqlPool.
Acest modul PowerShell nu necesită să includeți parametrul „Ediție”, deoarece este folosit doar pentru artefactele Synapse.
Un pool SQL dedicat oferă calcul și stocare bazate pe T-SQL. Datele pot fi încărcate, modelate și procesate în Synapse pentru a oferi o perspectivă mai rapidă.
Azure Synapse oferă pool-uri Serverless SQL și Apache Spark pe lângă pool-urile SQL dedicate. Îl poți alege pe cel potrivit în funcție de cerințele tale.
Un pool SQL fără server vă permite să interogați datele stocate în lacul dvs. de date.
Ce face Azure Synapse Dedicated SQL Pool?
Poolul SQL dedicat Azure Synapse utilizează o arhitectură de scalare pentru a distribui calculul datelor pe mai multe noduri. Puteți scala calcularea independent de stocare, deoarece calculul este diferit de stocare.
Pool-urile SQL fără server sunt fără server și se scalează automat pentru a îndeplini cerințele de resurse de interogare. Se adaptează la schimbarea topologiilor prin adăugarea, eliminarea sau eșuarea nodurilor. Acest lucru vă asigură că interogarea dvs. are resurse suficiente și poate fi finalizată cu succes.
Synapse SQL se bazează pe o arhitectură bazată pe noduri. Synapse SQL folosește o arhitectură bazată pe noduri. Aplicațiile se pot conecta la nodul Control și emite comenzi T-SQL. Acesta este singurul punct pentru Synapse SQL.
Nodurile de control SQL Azure Synapse utilizează un motor de interogare distribuit care optimizează interogările pentru procesarea paralelă și apoi transmite operațiunile către nodurile de calcul, astfel încât acestea să își poată face munca în paralel.
Nodul de control al pool-ului SQL fără server utilizează motorul de procesare a interogărilor distribuite (DQP), pentru a optimiza și orchestra execuția distribuită.
Acest lucru se face prin împărțirea interogării utilizatorului în interogări mai mici care pot fi executate pe nodurile de calcul. Fiecare sarcină este o unitate de execuție distribuită. Preia date din alte sarcini, grupează fișiere și le citește din stocare.
Nodurile de calcul stochează toate datele utilizatorului și rulează interogări paralele. Data Movement Service (DMS), un serviciu intern la nivel de sistem, mută datele între noduri pentru a permite interogări paralele și returnează rezultate precise.
Synapse SQL utilizează Azure Storage pentru securitatea datelor utilizatorilor. Azure Storage stochează și gestionează datele dvs. Există o taxă separată pentru utilizarea stocării.
Caracteristicile pool-urilor SQL dedicate Azure Synapse
Iată principalele caracteristici ale Azure Synapse SQL Pool:
- Puteți întreba despre datele în diferite formate, cum ar fi Parquet, JSON și CSV în lacul de date.
- Utilizatorii pot vizualiza cele mai recente date utilizând o abstractizare relațională.
- T-SQL vă permite să transformați datele din lac într-un mod simplu, scalabil
- Oamenii de știință de date pot examina rapid structura și conținutul datelor lacului folosind OPENROWSET sau funcțiile de inferență automată a schemei.
- Inginerii de date pot folosi piscina pentru a explora lacul și a transforma, crea sau simplifica conductele de transformare a datelor.
- Analiștii de date pot accesa datele și pot genera tabele externe prin limbajul T-SQL și alte instrumente familiare. Aceste instrumente pot fi, de asemenea, conectate la un pool SQL fără server.
- Generați instantaneu rapoarte BI de către profesioniștii în business intelligence prin tabele Spark sau data lake.
Pool SQL dedicat Vs. Pool SQL fără server
Pool SQL fără server
Spațiile de lucru Azure Synapse au un pool SQL fără server care acționează ca un serviciu de interogare peste lacurile de date. Nu necesită configurare suplimentară pentru a accesa datele. Este complet fără server și nu necesită infrastructură pentru a fi configurat sau întreținut.
Scalare se poate face automat pentru a îndeplini cerințele de resurse. Utilizatorul plătește doar pentru datele prelucrate și nu pentru orice resurse rezervate. Pool-ul SQL fără server creează, de asemenea, statistici pentru a optimiza execuțiile interogărilor.
De exemplu, când rulăm o interogare de două ori sau rulăm două interogări cu planuri de execuție similare, aceste statistici pot fi reutilizate.
Aceste caracteristici ne permit să analizăm rapid cantități mari de date fără a le copia sau a le încărca într-un anumit magazin.
Pool SQL dedicat
Pool-ul SQL dedicat Synapse este succesorul Azure SQL Data Warehouse și oferă toate funcțiile de depozitare de date ale întreprinderii. Cu toate acestea, nu există un pool SQL fără server. În schimb, utilizatorii trebuie să creeze și să ștergă pool-ul SQL dedicat Synapse. De asemenea, putem alege resursele pe care le va folosi.
Aceste resurse sunt măsurate folosind pool-urile SQL dedicate Synapse. Ele sunt numite unități de depozitare de date (DWU). Un DWU se referă la o combinație de CPU, memorie și resurse IO.
Numărul de DWU determină performanța și costul pool-ului. În loc să fim taxați per interogare, vom fi taxați pentru oricând grupul este activ, indiferent de cât de mult a lucrat.
Pentru a evita costurile suplimentare, piscinele dedicate pot fi oprite și repornite. Am creat un pool SQL dedicat de 100 DWU pentru testul nostru.
După ce pool-ul este creat, datele pot fi încărcate în el utilizând comanda COPY, PolyBase cu interogări T–SQL sau o conductă. Aceste date vor fi stocate în stocare coloană în tabele relaționale.
Pool SQL dedicat PoolServerless SQL Acest lucru vă permite să interogați lacul de date și să îl ingerați. Utilizatorii pot interoga fișierele lacului de date. Este necesară infrastructura. Nu este necesară stabilirea infrastructurii sau menținerea clusterelor. Înainte de a putea efectua orice operațiune, este necesar să obțineți servere dedicate. Nu este necesară nicio infrastructură pentru transformarea sau explorarea datelor. Tabelele relaționale sunt utilizate pentru stocarea datelor. Data Lake stochează date. Puteți gestiona costurile întrerupând pool-ul SQL și reducând depozitul. Costul este gestionat și facturat automat în conformitate cu o bază de plată-pe-cerere.Resursele rezervate sunt supuse costurilor.Costurile de procesare a datelor pe interogare sunt taxate.Plătire per DWU furnizată.Plătire per TB procesat.
Concluzie
Deci, asta era totul despre Azure SQL Data Warehouse (acum numit Azure Synapse Dedicated SQL Pool). În timp ce un pool SQL dedicat poate arăta similar cu un server SQL tradițional din mai multe unghiuri, arhitectura de bază (Procesare masivă paralelă) este complet diferită. Aceasta înseamnă că anumite concepte și tehnici sunt aplicabile numai unui Pool SQL dedicat.
Puteți explora, de asemenea, diferențele dintre Data Lake și Data Warehouse.