Postavljanje Kafke: 4 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:35

Uvod:

Apache Kafka je otvoreni izvorni skalabilan i visokopropusni sustav razmjene poruka koji je razvila Apache Software Foundation napisana u Scali. Apache Kafka posebno je dizajniran kako bi omogućio da jedan klaster služi kao središnja podatkovna okosnica za veliko okruženje. Ima mnogo veću propusnost u usporedbi s drugim sustavima za posredovanje poruka kao što su ActiveMQ i RabbitMQ. Sposobna je učinkovito rukovati velikim količinama podataka u stvarnom vremenu. Kafku možete postaviti na jedan Apache poslužitelj ili u distribuirano klasterizirano okruženje.

Značajke:

Opće značajke Kafke su sljedeće:

Trajna poruka na disku koja pruža stalne vremenske performanse.

Veliki protok s diskovnim strukturama koje podržavaju stotine tisuća poruka u sekundi.

Distribuirani sustav lako se skalira bez zastoja.

Podržava više pretplatnika i automatski uravnotežuje potrošače tijekom kvara.

Ovaj vodič prikazuje kako instalirati i konfigurirati Apache Kafku na poslužitelju Ubuntu 16.04.

Zahtjevi

Poslužitelj Ubuntu 16.04.

Korisnički račun koji nije root, sa super korisničkim privilegijama postavljenim na vašem poslužitelju.

Korak 1: Početak rada i instaliranje Jave

1) Počnimo provjeravati je li vaš Ubuntu 16.04 poslužitelj potpuno ažuriran

Poslužitelj možete ažurirati pokretanjem sljedećih naredbi:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Instaliranje Jave

Pomoću sljedeće naredbe provjerite ima li vaš stroj već instaliranu javu ili ima zadanu inačicu jave:-

java -verzija

Čak i ako imate javu, ali nižu verziju, morat ćete je nadograditi.

Java možete instalirati na sljedeći način:-

sudo apt-get install default-jdk

ILI

Oracle JDK 8 možete instalirati pomoću spremišta PPA tima Webupd8 tima.

Da biste dodali spremište, pokrenite sljedeću naredbu:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Korak 2: Instalirajte Zookeeper

Što je Zookeeper?

Zookeeper je centralizirana usluga za održavanje konfiguracijskih informacija, imenovanje, distribuiranu sinkronizaciju i pružanje grupnih usluga. Sve ove vrste usluga u ovom ili onom obliku koriste distribuirane aplikacije. Svaki put kad se implementiraju, puno se radi na popravljanju grešaka i uvjetima utrke koji su neizbježni. Zbog poteškoća u implementaciji ovih vrsta usluga, aplikacije ih u početku obično štede, što ih čini krhkim u prisutnosti promjena i teškim za upravljanje. Čak i ako su ispravno izvedene, različite implementacije ovih usluga dovode do složenosti upravljanja pri implementaciji aplikacija.

Prije instaliranja Apache Kafke morat ćete imati dostupnog i pokrenutog programa Zookeeper. ZooKeeper je usluga otvorenog koda za održavanje konfiguracijskih informacija, distribuiranu sinkronizaciju, imenovanje i pružanje grupnih usluga.

1) Prema zadanim postavkama, paket Zookeeper dostupan je u zadanom spremištu Ubuntu -a

Možete ga instalirati pokretanjem sljedeće naredbe:-

sudo apt-get install zookeeperd

Nakon što instalacija završi, automatski će se pokrenuti kao demon. Prema zadanim postavkama Zookeeper će raditi na portu 2181.

Možete ga testirati pokretanjem sljedeće naredbe:

netstat -ant | grep: 2181

Iskaz bi vam trebao pokazati da se sluša luka 2181.

Korak 3: Instalirajte i pokrenite Kafka poslužitelj

Sada kada su Java i ZooKeeper instalirani, vrijeme je za preuzimanje i izdvajanje Kafke s web stranice Apache.

1) Možete koristiti curl ili wget za preuzimanje Kafke: (verzija Kafka 0.10.1.1)

Pokrenite sljedeću naredbu da biste preuzeli postavku kafke:-

curl -O

ILI

wget

2) Napravite direktorij za Kafku

Zatim stvorite direktorij za instalaciju Kafke:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Raspakirajte preuzetu mapu

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Promijenite korisničko ime u skladu sa svojim korisničkim imenom

4) Pokrenite kafka poslužitelj

Sljedeći korak je pokretanje Kafka poslužitelja, možete ga pokrenuti pokretanjem skripte kafka-server-start.sh koja se nalazi u direktoriju /opt/kafka/kafka_2.11-0.10.1.1/bin/ pomoću sljedeće naredbe:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Provjerite radi li Kafka poslužitelj dobro

Sada imate poslužitelj Kafka koji radi i sluša na portu 9092.

Sada možemo provjeriti portove za slušanje:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Korak 4: Testirajte svoj Kafka poslužitelj

Vrijeme je da provjerite radi li poslužitelj Kafka ispravno.

1) Napravite novu temu

Da biste testirali Kafku, stvorite uzorak teme s imenom "testiranje" u Apache Kafki pomoću sljedeće naredbe:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --kreiraj --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Provjerite je li vaša tema uspješno stvorena

Sada zamolite Zookeeper -a da navede dostupne teme na Apache Kafki pokretanjem sljedeće naredbe:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Objavite poruku pomoću teme koju ste stvorili

echo "hello world" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --brokerski popis localhost: 9092 --tematsko testiranje

4) Primite poruku o stvorenoj temi

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-poslužitelj localhost: 9092 --tematsko testiranje –od početka

5) Za slanje datoteke pomoću kafke preko teme

kafka-console-producer.sh --brokerski popis localhost: 9092 –tematsko testiranje