Pesquisa de site

Melhores práticas para implantação do servidor Hadoop no CentOS/RHEL 7 - Parte 1


Nesta série de artigos, cobriremos todo o edifício do Cloudera Hadoop Cluster Building com as melhores práticas recomendadas por fornecedores e industriais.

Instalação do SO e execução do nível do SO Os pré-requisitos são os primeiros passos para construir um cluster Hadoop. O Hadoop pode ser executado em vários tipos de plataforma Linux: CentOS, RedHat, Ubuntu, Debian<, SUSE etc., na produção em tempo real, a maioria dos clusters Hadoop são construídos sobre RHEL/CentOS, nós usaremos o CentOS 7 para demonstração nesta série de tutoriais.

Em uma organização, a instalação do sistema operacional pode ser feita usando o kickstart. Se for um cluster de 3 a 4 nós, a instalação manual é possível, mas se construirmos um cluster grande com mais de 10 nós, será tedioso instalar o sistema operacional um por um. Neste cenário, o método Kickstart entra em cena, podemos prosseguir com a instalação em massa usando o kickstart.

Alcançar um bom desempenho em um ambiente Hadoop depende do provisionamento do hardware e software corretos. Portanto, construir um cluster Hadoop de produção envolve muita consideração em relação a hardware e software.

Neste artigo, examinaremos vários benchmarks sobre instalação de sistema operacional e algumas práticas recomendadas para implantação do Cloudera Hadoop Cluster Server no CentOS/RHEL 7.

Considerações importantes e práticas recomendadas para implantação do servidor Hadoop

A seguir estão as práticas recomendadas para configurar a implantação do Cloudera Hadoop Cluster Server no CentOS/RHEL 7.

  • Os servidores Hadoop não exigem servidores padrão corporativos para construir um cluster, mas sim hardware comum.
  • No cluster de produção, é recomendado ter de 8 a 12 discos de dados. De acordo com a natureza da carga de trabalho, precisamos decidir sobre isso. Se o cluster for para aplicativos com uso intensivo de computação, ter de 4 a 6 unidades é uma prática recomendada para evitar problemas de E/S.
  • As unidades de dados devem ser particionadas individualmente, por exemplo – começando de /data01 a /data10.
  • A configuração RAID não é recomendada para nós de trabalho, porque o próprio Hadoop fornece tolerância a falhas nos dados, replicando os blocos em 3 por padrão. Portanto, JBOD é melhor para nós de trabalho.
  • Para Servidores Master, RAID 1 é a prática recomendada.
  • O sistema de arquivos padrão no CentOS/RHEL 7.x é o XFS. Hadoop oferece suporte a XFS, ext3 e ext4. O sistema de arquivos recomendado é ext3, pois foi testado para bom desempenho.
  • Todos os servidores devem ter a mesma versão do sistema operacional, pelo menos a mesma versão secundária.
  • É uma prática recomendada ter hardware homogêneo (todos os nós de trabalho devem ter as mesmas características de hardware (RAM, espaço em disco e núcleo, etc.).
  • De acordo com a carga de trabalho do cluster (carga de trabalho balanceada, computação intensiva, E/S intensiva) e tamanho, o planejamento de recursos (RAM, CPU) por servidor será diferente.

Encontre abaixo o exemplo de particionamento de disco dos servidores de armazenamento de 24 TB.

Instalando CentOS 7 para implantação de servidor Hadoop

Coisas que você precisa saber antes de instalar o servidor CentOS 7 para o Hadoop Server.

  • A instalação mínima é suficiente para servidores Hadoop (nós de trabalho), em alguns casos, a GUI pode ser instalada apenas para servidores Master ou servidores de gerenciamento onde podemos usar navegadores para Web UIs de Ferramentas de gerenciamento.
  • A configuração de redes, nome de host e outras configurações relacionadas ao sistema operacional pode ser feita após a instalação do sistema operacional.
  • Em tempo real, os fornecedores de servidores terão seu próprio console para interagir e gerenciar os servidores, por exemplo – os servidores Dell estão tendo o iDRAC, que é um dispositivo integrado aos servidores. Usando essa interface iDRAC, podemos instalar o sistema operacional com uma imagem do sistema operacional em nosso sistema local.

Neste artigo, instalamos o sistema operacional (CentOS 7) na máquina virtual VMware. Aqui, não teremos vários discos para realizar partições. O CentOS é semelhante ao RHEL (mesma funcionalidade), então veremos os passos para instalar o CentOS.

1. Comece baixando a imagem ISO do CentOS 7.x em seu sistema Windows local e selecione-a durante a inicialização da máquina virtual. Selecione ‘Instalar CentOS 7‘ conforme mostrado.

2. Selecione o Idioma, o padrão será Inglês e clique em continuar.

3. Seleção de software – Selecione ‘Instalação mínima‘ e clique em ‘Concluído‘.

4. Defina a senha root, pois ela nos solicitará a definição.

5. Destino da instalação – Este é o passo importante a ser cauteloso. Precisamos selecionar o disco onde o sistema operacional deve ser instalado, o disco dedicado deve ser selecionado para o sistema operacional. Clique em ‘Destino de instalação‘ e selecione o disco, em tempo real vários discos estarão lá, precisamos selecionar, de preferência ‘sda‘.

6. Outras opções de armazenamento – Escolha a segunda opção (vou configurar o particionamento) para configurar o particionamento relacionado ao sistema operacional, como /var, / var/log, /home, /tmp, /opt, /swap.

7. Uma vez feito isso, comece a instalação.

8. Assim que a instalação for concluída, reinicie o servidor.

9. Faça login no servidor e defina o nome do host.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Resumo

Neste artigo, percorremos as etapas de instalação do sistema operacional e as práticas recomendadas para particionamento do sistema de arquivos. Todas essas são diretrizes gerais. De acordo com a natureza da carga de trabalho, podemos precisar nos concentrar em mais nuances para obter o melhor desempenho do cluster. O planejamento de cluster é uma arte para o administrador do Hadoop. Teremos um mergulho profundo nos pré-requisitos de nível de sistema operacional e no reforço de segurança no próximo artigo.