Apache Kafka este un serviciu de transmitere a mesajelor care permite diferitelor aplicații dintr-un sistem distribuit să comunice și să partajeze date prin mesaje.
Funcționează ca un pub/subsistem în care aplicațiile producătorilor publică mesaje, iar sistemele de consum se abonează la ele.
Apache Kafka vă permite să adoptați o arhitectură slab cuplată între părțile sistemului dvs. care produc și consumă date. Acest lucru simplifică proiectarea și gestionarea sistemului. Kafka se bazează pe Zookeeper pentru gestionarea metadatelor și sincronizarea diferitelor elemente ale clusterului.
Cuprins
Caracteristicile Apache Kafka
Apache Kafka a devenit popular, printre alte motive, pentru a fi
- Scalabil prin clustere și partiții
- Rapid capabil să efectueze 2 milioane de scrieri pe secundă
- Menține ordinea în care sunt trimise mesajele
- Fiabil prin sistemul său de replici
- Poate fi actualizat fără timpi de nefuncționare
Acum, să explorăm câteva dintre cazurile comune de utilizare ale lui Kafka.
Cazuri de utilizare obișnuite ale Apache Kafka
Kafka este adesea folosit pentru procesarea datelor mari, înregistrarea și agregarea evenimentelor, cum ar fi clicurile pe butoane pentru analiză și combinarea jurnalelor din diferite părți ale unui sistem într-o singură locație centrală.
Ajută la facilitarea comunicării între diferite aplicații dintr-un sistem și la procesarea în timp real a datelor de pe dispozitivele IoT.
Acum, să verificăm pașii detaliați pentru a instala Kafka pe Windows și Linux.
Instalarea Kafka pe Windows
Mai întâi, verificați dacă Java este instalat pe mașina dvs. pentru a instala Apache Kafka pe Windows. Deschideți promptul de comandă în modul Administrator și introduceți comanda:
java --version
Dacă este instalat Java, ar trebui să obțineți numărul versiunii JDK instalat în prezent.
Dacă primiți un mesaj de eroare care spune că comanda nu a fost recunoscută, Java nu a fost instalat și trebuie să instalați Java. Pentru a instala Java, accesați Adoptium.net și faceți clic pe butonul de descărcare.
Acesta ar trebui să descarce fișierul de instalare Java. Când descărcarea este completă, rulați programul de instalare. Acest lucru ar trebui să deschidă promptul de instalare.
Apăsați, Următorul în mod repetat pentru a alege opțiunile implicite. Apoi, instalarea ar trebui să înceapă. Verificați instalarea închizând promptul de comandă, redeschizând un alt prompt de comandă în modul Administrator și introducând comanda:
java --version
De data aceasta, ar trebui să obțineți versiunea JDK pe care tocmai ați instalat-o. După finalizarea instalării, putem începe instalarea Kafka.
Pentru a instala Kafka, accesați mai întâi site-ul web Kafka.
Faceți clic pe link și ar trebui să vă duce la pagina Descărcări. Descărcați cele mai recente binare disponibile.
Aceasta va descărca scripturile Kafka și binarele ambalate în fișierul .tgz. După descărcare, trebuie să extrageți fișierele din arhiva .tgz. Pentru a extrage, voi folosi WinZip, care poate fi descărcat de pe site-ul WinZip.
După extragerea fișierului, mutați-l în C: astfel încât calea fișierului să devină C:kafka
Apoi deschideți promptul de comandă în modul Administrator și porniți Zookeeper navigând mai întâi la directorul Kafka. Și rulează fișierul zookeeper-server-start.bat cu zookeeper.properties ca fișier de configurare
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Cu Zookeeper rulând, trebuie să adăugăm fișierul executabil wmic pe care Kafka îl folosește în sistemul nostru PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
După aceasta, porniți serverul Apache Kafka deschizând o altă sesiune de prompt de comandă în modul Administrator și navigând la folderul C:kafka
cd C:kafka
Apoi începeți Kafka alergând
binwindowskafka-server-start.bat configserver.properties
Cu asta, Kafka ar trebui să alerge. Puteți personaliza proprietățile serverului, cum ar fi locul unde sunt scrise jurnalele în fișierul server.properties.
Instalarea Kafka pe Linux
În primul rând, asigurați-vă că sistemul dumneavoastră este actualizat actualizând toate pachetele
sudo apt update && sudo apt upgrade
Apoi, verificați dacă Java este instalat pe mașina dvs. rulând
java --version
Dacă este instalat java, veți vedea numărul versiunii. Cu toate acestea, dacă nu este, îl puteți instala folosind apt.
sudo apt install default-jdk
După aceasta, putem instala Apache Kafka descărcând binarele de pe site.
Deschideți terminalul și navigați la folderul în care a fost salvată descărcarea. În cazul meu, trebuie să navighez la folderul Descărcări.
cd Downloads
Odată ajuns în folderul de descărcări, extrageți fișierele descărcate folosind tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Navigați la folderul extras
cd kafka_2.13-3.3.1.tgz
Listați directoarele și fișierele.
Odată ajuns în folder, porniți un server Zookeeper rulând scriptul zookeeper-server-start.sh aflat în directorul bin al folderului extras.
Scriptul va necesita un fișier de configurare Zookeeper. Fișierul implicit se numește zookeeper.properties și se află în subdirectorul config.
Deci, pentru a porni serverul, utilizați comanda:
bin/zookeeper-server-start.sh config/zookeeper.properties
Cu Zookeeper rulând, putem porni serverul Apache Kafka. Scriptul kafka-server-start.sh este, de asemenea, localizat în directorul bin. Comanda așteaptă și un fișier de configurare. Cel implicit este server.properties stocat în fișierul de configurare.
bin/kafka-server-start.sh config/server.properties
Acest lucru ar trebui să facă funcționarea Apache Kafka. În directorul bin, veți găsi multe scripturi pentru a face lucruri precum crearea de subiecte, gestionarea producătorilor și gestionarea consumatorilor. De asemenea, puteți personaliza proprietățile serverului în fișierul server.properties.
Cuvinte finale
În acest ghid, am analizat cum să instalați Java și Apache Kafka. Deși puteți instala și gestiona clusterele Kafka manual, puteți utiliza și opțiuni gestionate, cum ar fi Amazon Web Services și Confluent.
Apoi, puteți învăța procesarea datelor cu Kafka și Spark.