Pesquisa de site

Como configurar alta disponibilidade para Namenode - Parte 5

O Hadoop tem dois componentes principais que são HDFS e YARN. HDFS é para armazenar os dados, YARN é para processar os dados. HDFS é o Hadoop Distributed File System, possui Namenode como Master Service e Datanode como Serviço Escravo.

Namenode é o componente crítico do Hadoop que armazena os metadados dos dados armazenados no HDFS. Se o Namenode falhar, todo o cluster não estará acessível, é o ponto único de falha (SPOF). Portanto, o ambiente de produção terá Alta disponibilidade de Namenode para evitar a interrupção da produção se um Namenode falhar devido a vários motivos, como falha de máquina, atividade de manutenção planejada, etc.

O Hadoop 2.x fornece a viabilidade de podermos ter dois Namenodes, um será o Namenode ativo e o outro será o Namenode em espera.

  • Active Namenode – Gerencia todas as operações do cliente.
  • Namenode em espera – É redundante do Namenode ativo. Se Active NN cair, então Standby NN assumirá toda a responsabilidade de Active NN.

A ativação da Alta disponibilidade de Namenode requer o Zookeeper, que é obrigatório para failover automático. ZKFC (Zookeeper Failover Controller) é um cliente Zookeeper usado para manter o estado do Namenode.

Requisitos

  • Melhores práticas para implantação do servidor Hadoop no CentOS/RHEL 7 – Parte 1
  • Configurando pré-requisitos do Hadoop e reforço de segurança – Parte 2
  • Como instalar e configurar o Cloudera Manager no CentOS/RHEL 7 – Parte 3
  • Como instalar o CDH e configurar posicionamentos de serviço no CentOS/RHEL 7 – Parte 4

Neste artigo, vamos ativar a Alta disponibilidade de Namenode no Cloudera Manager.

Passo 1: Instalação do Zookeeper

1. Faça login no Cloudera Manager.

http://Your-IP:7180/cmf/home

2. No prompt de ação do Cluster (tecmint), selecione “Adicionar serviço ”.

3. Selecione o serviço “Zookeeper ”.

4. Selecione os servidores onde instalaremos o Zookeeper.

5. Teremos 3 tratadores do zoológico para formar o Quórum de tratadores do zoológico. Selecione os servidores conforme mencionado abaixo.

6. Configure as propriedades do Zookeeper, aqui temos as propriedades padrão. Em tempo real, você precisa ter diretórios/pontos de montagem separados para armazenar dados do Zookeeper. Na Parte 1, explicamos sobre a configuração de armazenamento para cada serviço. Clique em ‘continuar’ para prosseguir.

7. A instalação começará, uma vez instalado o Zookeeper será iniciado. Você pode ver as operações em segundo plano aqui.

8. Após a conclusão bem-sucedida da etapa acima, o status será ‘Concluído’.

9. Agora, o Zookeeper foi instalado e configurado com sucesso. Clique em ‘Concluir’.

10. Você pode visualizar o serviço Zookeeper no painel do Cloudera Manager.

Etapa 2: Habilitando a alta disponibilidade do Namenode

11. Vá para Cloudera Manager –> HDFS –> Ações –> Ativar alta disponibilidade forte>.

12. Insira o Nome do Nameservice como “nameservice1 ” – Este é um Namespace comum para Namenode ativo e em espera.

13. Selecione o Segundo Namenode onde teremos o Namenode em espera.

14. Aqui estamos selecionando master2.linux-console.net para Namenode em espera.

15. Selecione os nós Journal, estes são serviços obrigatórios para sincronizar o Namenode Ativo e o Namenode.

16. Estamos criando o Quorum Journal colocando o nó Journal em 3 servidores conforme mencionado abaixo. Selecione 3 servidores e clique em ‘OK’.

17. Clique em ‘Continuar’ para continuar.

18. Insira o caminho do diretório Nó do diário. Basta mencionar o caminho durante a instalação. Este diretório será criado automaticamente pelo próprio serviço. Estamos mencionando como '/jn'. Clique em ‘Continuar’ para prosseguir.

19. Começará a habilitar a Alta Disponibilidade.

20. Depois de concluídos todos os processos em segundo plano, obteremos o status ‘Concluído’.

21. Por fim, receberemos uma notificação ‘Alta disponibilidade habilitada com sucesso’. Clique em ‘Concluir’.

22. Verifique o Namenode ativo e em espera acessando o Cloudera Manager –> HDFS > –> Instâncias.

23. Aqui você pode usar dois Namenodes, um estará no estado 'Ativo' e outro estará em 'Espera ' estado.

Conclusão

Neste artigo, percorremos o processo passo a passo para ativar a Alta disponibilidade de Namenode. É altamente recomendável ter Alta disponibilidade de Namenode em todos os clusters em um ambiente em tempo real. Poste suas dúvidas caso encontre algum erro ao realizar este processo. Veremos Alta disponibilidade do Resource Manager no próximo artigo.