Cum se instalează Apache Kafka pe Ubuntu 20.04

Apache Kafka este o platformă de streaming distribuită, open-source, utilizată pentru a prelucra cantități mari de date în timp real. Este un sistem cu toleranță la erori, scalabil și de înaltă performanță, care îl face ideal pentru aplicații critice de business, cum ar fi analiza datelor în timp real, procesarea fluxurilor și integrarea datelor. În acest tutorial, vă vom ghida pas cu pas prin procesul de instalare a Apache Kafka pe un sistem Ubuntu 20.04.

Cerințe preliminare

Înainte de a începe instalarea, asigurați-vă că sistemul dvs. îndeplinește următoarele cerințe preliminare:

– Sistem de operare: Ubuntu 20.04
– Java Runtime Environment (JRE) versiunea 11 sau o versiune ulterioară
– Python versiunea 2.7 sau o versiune ulterioară

Instalarea Java Runtime Environment (JRE)

Dacă nu aveți deja JRE instalat, puteți utiliza următoarele comenzi pentru a instala OpenJDK 11:


sudo apt update
sudo apt install openjdk-11-jre


Instalarea Apache Kafka

Descărcarea pachetului Apache Kafka

Mergeți la site-ul oficial de descărcare al Apache Kafka și descărcați cea mai recentă versiune stabilă a Apache Kafka. În momentul scrierii acestui articol, cea mai recentă versiune este 3.3.1.

Extrageți pachetul Kafka

Odată ce ați descărcat pachetul, extrageți-l într-un director nou. Puteți utiliza următoarea comandă:


tar -xzvf kafka_2.13-3.3.1.tgz


Acest lucru va crea un director numit kafka_2.13-3.3.1.

Setare variabile de mediu

Adăugați următoarele variabile de mediu la fișierul /etc/profile:


export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin


Salvați și închideți fișierul.

Reîncărcați variabilele de mediu:


source /etc/profile


Configurarea Apache Kafka

Crearea directoarelor de date și jurnal

Kafka stochează datele și jurnalele în directoare desemnate. Creați următoarele directoare:


sudo mkdir -p /var/lib/kafka/data
sudo mkdir -p /var/log/kafka


Modificați proprietarul și permisiunile pentru directoare:


sudo chown -R kafka:kafka /var/lib/kafka
sudo chown -R kafka:kafka /var/log/kafka


Editarea fișierului de configurare Kafka

Editați fișierul de configurare server.properties, care se află în directorul config din directorul de instalare Kafka:


sudo nano $KAFKA_HOME/config/server.properties


Adăugați sau modificați următoarele proprietăți în fișier:

Adresa de ascultare a serverului Kafka

listeners=PLAINTEXT://:9092

Directorul unde sunt stocate datele

log.dirs=/var/lib/kafka/data

Directorul unde sunt stocate jurnalele

log.dirs=/var/log/kafka

Numărul de partiții pentru fiecare topic nou

num.partitions=1

Factor de replicare pentru fiecare topic nou

replication.factor=1

ID-ul brokerului

broker.id=0


Salvați și închideți fișierul.

Crearea utilizatorului Kafka

Creați un utilizator dedicat pentru a rula Kafka:


sudo useradd -r -m -U -d /opt/kafka -s /bin/bash kafka


Pornirea Apache Kafka

Pornirea brokerului Kafka

Puteți porni brokerul Kafka utilizând următoarea comandă:


sudo /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &


Verificarea dacă Kafka rulează

Puteți verifica dacă Kafka rulează utilizând următoarea comandă:


jps | grep Kafka


Ar trebui să vedeți un proces care rulează numit Kafka.

Concluzie

Felicitări! Ați instalat cu succes Apache Kafka pe sistemul dvs. Ubuntu 20.04. Platforma Kafka este acum gata de a fi utilizată pentru a procesa și a gestiona cantități mari de date în timp real. Cu caracteristicile sale scalabile, tolerante la erori și de înaltă performanță, Kafka este o soluție ideală pentru o gamă largă de aplicații centrate pe date. Acum puteți începe să creați și să gestionați topicuri, să produceți și să consumați mesaje și să valorificați puterea streaming-ului de date cu Apache Kafka.

Întrebări frecvente

1. Ce este Apache Kafka?

Apache Kafka este o platformă de streaming distribuită utilizată pentru gestionarea datelor în timp real.

2. Care sunt cerințele preliminare pentru instalarea Kafka?

Ubuntu 20.04, JRE versiunea 11 sau o versiune ulterioară, Python versiunea 2.7 sau o versiune ulterioară.

3. Cum pot verifica dacă Kafka este instalat corect?

Rulați comanda jps | grep Kafka și căutați procesul Kafka care rulează.

4. Cum pot configura fișierul de configurare Kafka?

Editați fișierul server.properties din directorul config și modificați proprietățile în funcție de nevoile dvs.

5. Cum pot porni brokerul Kafka?

Rulați comanda sudo /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &.

6. Cum pot crea un utilizator dedicat pentru a rula Kafka?

Rulați comanda sudo useradd -r -m -U -d /opt/kafka -s /bin/bash kafka.

7. Cum pot descărca cea mai recentă versiune de Kafka?

Accesați site-ul oficial de descărcare al Apache Kafka la https://kafka.apache.org/downloads.

8. Unde pot găsi documentație suplimentară despre Kafka?

Consultați documentația oficială Kafka la https://kafka.apache.org/documentation.