Como instalar e configurar o Cloudera Manager no CentOS/RHEL 8?
Cloudera Manager é uma solução de software de nível empresarial para gerenciar clusters Apache Hadoop. Ele fornece uma interface baseada na web para implantar, configurar e monitorar clusters Hadoop. Cloudera Manager está disponível em edições de código aberto e empresariais. Neste artigo, discutiremos como instalar e configurar o Cloudera Manager no CentOS/RHEL 8.
Pré-requisitos
Antes de prosseguir com a instalação, certifique-se de que os seguintes pré-requisitos sejam atendidos -
Uma nova instalação do CentOS/RHEL 8
Um usuário com privilégios sudo
Uma conexão de internet estável
Etapa 1: instalar o Java
Cloudera Manager requer que o Java esteja instalado no sistema. CentOS/RHEL 8 vem com OpenJDK pré-instalado, mas Cloudera Manager recomenda usar Oracle JDK. Para instalar o Oracle JDK no CentOS/RHEL 8, siga as etapas abaixo -
Baixe a versão mais recente do Oracle JDK do site oficial.
Extraia o arquivo baixado usando o seguinte comando -
$ tar zxvf jdk-<version>-linux-x64.tar.gz
Mova o diretório extraído para /usr/local usando o seguinte comando -
$ sudo mv jdk-<version> /usr/local
Defina a variável de ambiente JAVA_HOME adicionando a seguinte linha ao arquivo /etc/profile -
export JAVA_HOME=/usr/local/jdk-<version>
Recarregue o arquivo de perfil usando o seguinte comando -
$ source /etc/profile
Verifique a instalação executando o seguinte comando -
$ java -version
Etapa 2: instalar o servidor Cloudera Manager
Para instalar o Cloudera Manager Server, siga as etapas abaixo -
Baixe a versão mais recente do Cloudera Manager Server do site oficial.
Instale as dependências necessárias usando o seguinte comando -
$ sudo yum install -y postgresql-server postgresql-jdbc
Instale o Cloudera Manager Server usando o seguinte comando -
$ sudo rpm -ivh cloudera-manager-server-<version>.rpm
Inicie o Cloudera Manager Server usando o seguinte comando -
$ sudo systemctl start cloudera-scm-server
Habilite o Cloudera Manager Server para iniciar na inicialização usando o seguinte comando -
$ sudo systemctl enable cloudera-scm-server
Etapa 3: instalar o agente Cloudera Manager
Para instalar o Cloudera Manager Agent, siga as etapas abaixo -
Baixe a versão mais recente do Cloudera Manager Agent do site oficial.
Instale o Cloudera Manager Agent usando o seguinte comando -
$ sudo rpm -ivh cloudera-manager-agent-<version>.rpm
Edite o arquivo /etc/cloudera-scm-agent/config.ini e defina o nome do host ou endereço IP do Cloudera Manager Server usando a seguinte linha -
server_host=<hostname_or_IP_address>
Inicie o Cloudera Manager Agent usando o seguinte comando -
$ sudo systemctl start cloudera-scm-agent
Habilite o Cloudera Manager Agent para iniciar na inicialização usando o seguinte comando -
$ sudo systemctl enable cloudera-scm-agent
Etapa 4: Acessando a IU da Web do Cloudera Manager
Para acessar a UI da Web do Cloudera Manager, siga as etapas abaixo -
Abra um navegador da web e vá para http://
Faça login com nome de usuário e senha que você especificou durante o processo de instalação.
Etapa 5: implantando o cluster Hadoop
Para implantar um cluster Hadoop usando Cloudera Manager, siga as etapas abaixo -
Clique na guia Clusters e depois clique no botão Criar Cluster.
Siga as instruções na tela para configurar o cluster.
Após configurar o cluster, clique no botão Continuar.
O Cloudera Manager começará a implantar o cluster. Este processo pode levar algum tempo dependendo do tamanho e da complexidade do cluster.
Etapa 6: Monitorando o Cluster Hadoop
Depois que o cluster for implementado, você poderá usar o Cloudera Manager para monitorar a integridade e o desempenho do cluster. Para monitorar o cluster, siga as etapas abaixo -
Clique na guia Clusters e a seguir clique no nome do cluster que deseja monitorar.
Clique na guia Serviços para ver a lista de serviços em execução no cluster.
Clique no nome de um serviço para ver o status e as métricas de desempenho desse serviço.
Clique na guia Gráficos para ver gráficos de métricas de desempenho para o serviço selecionado.
Além da instalação e implantação básicas de clusters Hadoop, o Cloudera Manager oferece uma ampla gama de recursos para gerenciar e otimizar seu ambiente Hadoop. Alguns desses recursos incluem -
Gerenciamento de configuração - Cloudera Manager permite gerenciar a configuração de componentes e serviços do Hadoop em todo o cluster. Você pode fazer alterações nas definições de configuração de um ou mais serviços e propagar essas alterações para todos os nós do cluster.
Health Monitoring - Cloudera Manager fornece um painel centralizado que exibe a integridade do seu cluster Hadoop em tempo real. Você pode monitorar o status de serviços e componentes, verificar alertas e avisos e diagnosticar quaisquer problemas.
Gerenciamento de recursos - Cloudera Manager permite gerenciar recursos (CPU, memória e disco) consumidos por seus aplicativos Hadoop. Você pode alocar recursos para diferentes aplicativos com base em suas prioridades e garantir que todos os aplicativos recebam uma parcela justa dos recursos.
Backup e recuperação - Cloudera Manager fornece uma solução de backup e recuperação para seu cluster Hadoop. Você pode fazer backups de metadados, configurações e dados armazenados no Hadoop e restaurá-los em caso de desastre ou falha.
Gerenciamento de segurança - Cloudera Manager permite gerenciar a segurança do seu cluster Hadoop. Você pode ativar a autenticação e autorização, configurar a criptografia SSL e gerenciar principais e keytabs Kerberos.
No geral, Cloudera Manager é uma ferramenta abrangente para gerenciar clusters Hadoop. Com sua interface fácil de usar e recursos poderosos, ele pode ajudá-lo a otimizar o desempenho, a confiabilidade e a segurança do seu ambiente Hadoop.
Cloudera Manager também oferece vários recursos avançados para ajudá-lo a gerenciar e otimizar seu cluster Hadoop. Alguns desses recursos incluem -
Métricas personalizadas - O Cloudera Manager permite monitorar e coletar métricas personalizadas específicas para seus aplicativos Hadoop. Você pode definir métricas personalizadas usando JMX ou API Cloudera Manager e criar gráficos personalizados para visualizar métricas.
Controle de acesso baseado em função - Cloudera Manager fornece controle de acesso baseado em função (RBAC) para gerenciar permissões de usuários e grupos. Você pode atribuir diferentes funções a usuários e grupos, como administrador, operador ou visualizador, e controlar seu acesso a diferentes partes da interface do Cloudera Manager.
Atualizações contínuas - O Cloudera Manager fornece um recurso de atualização contínua que permite atualizar seus componentes e serviços do Hadoop sem tempo de inatividade. Você pode executar atualizações de forma contínua, onde um nó por vez é atualizado, enquanto o restante dos nós continua em execução.
Auto-Tuning - Cloudera Manager fornece um recurso de auto-tuning que ajusta automaticamente a configuração dos serviços Hadoop com base na carga de trabalho e no uso de recursos. Esse recurso garante que seu cluster Hadoop esteja sempre otimizado para desempenho e utilização de recursos.
Integração com outras ferramentas - Cloudera Manager integra-se com outras ferramentas e serviços, como Apache Kafka, Apache Spark e Apache Impala. Você pode implantar e gerenciar facilmente essas ferramentas usando o Cloudera Manager e monitorar seu desempenho e integridade.
Conclusão
Cloudera Manager é uma ferramenta poderosa para gerenciar clusters Hadoop. Ele fornece uma interface amigável para implantar, configurar e monitorar clusters Hadoop. Neste artigo, discutimos como instalar e configurar o Cloudera Manager no CentOS/RHEL 8. Seguindo estas etapas, você pode configurar facilmente um cluster Hadoop e gerenciá-lo usando o Cloudera Manager.