Pesquisa de site

Como instalar o Apache Kafka no CentOS/RHEL 7

O Apache Kafka é um poderoso mecanismo de mensagens, amplamente utilizado em projetos de BigData e no ciclo de vida de Data Analytics. É uma plataforma de código aberto para construir pipelines de streaming de dados em tempo real. É uma plataforma distribuída de publicação e assinatura com confiabilidade, escalabilidade e durabilidade.

Podemos ter o Kafka como independente ou como um cluster. Kafka armazena os dados de streaming e pode ser categorizado como Tópicos. O Tópico terá um número de partições para que possa lidar com uma quantidade arbitrária de dados. Além disso, podemos ter múltiplas réplicas para tolerância a falhas, como temos no HDFS. Em um cluster Kafka, o corretor é um componente que armazena os dados publicados.

Zookeeper é um serviço obrigatório para executar um cluster Kafka, pois é usado para gerenciar a coordenação dos corretores Kafka. O Zookeeper desempenha um papel fundamental entre produtor e consumidor, sendo responsável por manter o estado de todos os corretores.

Neste artigo, explicaremos como instalar o Apache Kafka em um único nó CentOS 7 ou RHEL 7.

Instalando o Apache Kafka no CentOS 7

1. Primeiro, você precisa instalar o Java em seu sistema para executar o Apache Kafka sem erros. Portanto, instale a versão padrão disponível do Java usando o seguinte comando yum e verifique a versão do Java conforme mostrado.

yum -y install java-1.8.0-openjdk
java -version

2. Em seguida, baixe a versão estável mais recente do Apache Kafka do site oficial ou use o seguinte comando wget para baixá-lo diretamente e extraí-lo.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz

3. Crie um link simbólico para o pacote kafka, adicione o caminho do ambiente Kafka ao arquivo .bash_profile e inicialize-o conforme mostrado.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Em seguida, inicie o Zookeeper, que vem integrado com o pacote Kafka. Como é um cluster de nó único, você pode iniciar o zookeeper com propriedades padrão.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Valide se o tratador do zoológico está acessível ou não simplesmente telnet para a porta do Zookeeper 2181.


telnet localhost 2181

6. Inicie o Kafka com suas propriedades padrão.


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Valide se o Kafka está acessível ou não simplesmente telnet para a porta Kafka 9092


telnet localhost 9092

8. Em seguida, crie um tópico de amostra.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Liste o tópico criado.

kafka-topics.sh --zookeeper localhost:2181 --list

Conclusão

Neste artigo, vimos como instalar um cluster Kafka de nó único no CentOS 7. Veremos como instalar um cluster Kafka multinode no próximo artigo.