Como instalar o CDH e configurar posicionamentos de serviço no CentOS/RHEL 7 - Parte 4
Em um artigo anterior explicamos a instalação do Cloudera Manager, neste artigo você aprenderá como instalar e configurar o CDH (Cloudera Distribution Hadoop) no RHEL/CentOS 7.
Ao instalar o pacote CDH, temos que garantir a compatibilidade do Cloudera Manager e do CDH. A versão Cloudera tem 3 partes –
Por exemplo, estamos usando Cloudera Manager 6.3.1 e CDH 6.3.2. Aqui 6 é a versão principal e 3 é a versão secundária. Maior e Menor devem ser iguais para evitar problemas de compatibilidade.
Requisitos
- Melhores práticas para implantação do servidor Hadoop no CentOS/RHEL 7 – Parte 1
- Configurando pré-requisitos do Hadoop e reforço de segurança – Parte 2
- Como instalar e configurar o Cloudera Manager no CentOS/RHEL 7 – Parte 3
Usaremos os 2 nós abaixo para instalar o CDH. Já instalamos o Cloudera Manager em master1, também estamos usando master1 como servidor repo.
master1.linux-console.net
worker1.linux-console.net
Etapa 1: Baixe pacotes CDH no servidor mestre
1. Primeiro, conecte-se ao servidor master1 e baixe os arquivos CDH Parcels em /var/www/html/cloudera-repos/ diretório cdh . Temos que baixar os 3 arquivos mencionados abaixo que devem ser compatíveis com RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Antes de baixar esses arquivos, certifique-se de criar um diretório cdh no local /var/www/html/cloudera-repos/.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Em seguida, baixe os 3 arquivos mencionados acima usando o seguinte comando wget.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Etapa 2: configurar o repositório Cloudera Manager em clientes trabalhadores
4. Agora, conecte-se aos servidores worker e copie o arquivo repo (cloudera-manager.repo) do servidor repo (master1<) para todos os servidores de trabalho restantes. Este arquivo repo garante aos servidores que todos os pacotes e RPMs necessários serão baixados do servidor repo durante a instalação.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Depois que o repositório for adicionado, liste os repositórios habilitados para garantir que o repositório cloudera-manager esteja habilitado.
yum repolist
Etapa 3: instalar daemons e agentes do Cloudera Manager em servidores de trabalho
6. Agora, precisamos instalar cloudera-manager-daemons e cloudera-manager-agent em todos os servidores restantes.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Em seguida, você precisa configurar o agente Cloudera Manager para reportar o servidor Cloudera Manager.
sudo vi /etc/cloudera-scm-agent/config.ini
Substitua o localhost pelo endereço IP do servidor Cloudera Manager.
8. Inicie o agente Cloudera Manager e verifique o status.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Etapa 4: instalar e configurar o CDH
Temos pacotes CDH em master1 – servidor repo. Certifique-se de que todos os servidores tenham o arquivo repo Cloudera Manager em /etc/yum.repos.d/ se você seguir a instalação automática usando o Cloudera Manager.
9. Faça login no Cloudera Manager usando o URL abaixo na porta 7180 e use o nome de usuário e a senha padrão do Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Depois de fazer login, você será saudado com a página de boas-vindas. Aqui você encontra notas de versão, novos recursos do Cloudera Manager.
11. Aceite a licença e continue.
12. Selecione a edição. A versão de teste está selecionada por padrão, podemos prosseguir com isso.
13. Agora, siga as etapas de instalação do cluster. Continue a página de boas-vindas.
14. Nomeie o Cluster e continue, nomeamos como “tecmint ”. Existem 2 tipos de cluster que você pode definir. Estamos prosseguindo com o Cluster Regular.
- Cluster regular: consistirá em nós de armazenamento, nós de computação e outros serviços necessários.
- Cluster de computação: consistirá apenas em nós de computação. O armazenamento externo pode ser usado para armazenar dados.
15. Já instalamos Cloudera Manager Agents em todos os servidores. Você pode encontrar esses servidores em “Hosts gerenciados atualmente”. Para instalação automática, é necessário inserir o FQDN ou IP dos servidores na opção “Novos Hosts” e pesquisar. O Cloudera Manager detectará automaticamente os hosts nos quais precisamos instalar o CDH.
Aqui, clique em “Hosts gerenciados atualmente”, selecione todos os hosts selecionando ‘Nome do host’ e continue.
16. Selecione Repositório – usar Parcel é a forma recomendada. Clique em ‘Mais opções’ para configurar o repositório.
17. Insira a URL do repositório local conforme mencionado abaixo. Remova todos os repositórios públicos restantes que apontam para a Web (Repositórios Cloudera).
Esta é a URL do repositório local CDH que temos em master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Uma vez inserida a URL do repositório, esta página mostrará apenas os pacotes disponíveis. Continue esta etapa.
19. Agora os pacotes estão sendo baixados, distribuídos, descompactados e ativados em todos os servidores disponíveis.
20. Assim que os Pacotes CDH forem ativados, inspecione o Cluster. Esta etapa fará uma verificação de integridade do cluster. Aqui estamos pulando e continuando.
Etapa 5: configuração do cluster
21. Aqui precisamos selecionar os Serviços a serem instalados no Cluster. Algumas combinações compactadas estarão disponíveis por padrão, vamos com Serviços Personalizados.
22. Em Serviços Personalizados, estamos instalando apenas Componentes Principais (HDFS e YARN >) para este propósito de demonstração.
23. Atribua as funções ao servidor. Podemos personalizar de acordo com nossas necessidades. Encontre o gráfico abaixo que descreve a distribuição de funções recomendada para um pequeno cluster básico com 5 a 20 nós com alta disponibilidade.
24. Selecione o tipo de banco de dados, nome do host, nome do banco de dados, nome de usuário e senha. Como estamos usando o Embedded PostgreSQL, ele estará selecionado por padrão. Teste a conexão, ela deve dar certo.
25. Esta página mostrará os parâmetros de configuração padrão de HDFS e Yarn, incluindo diretórios de dados. Revise todos os detalhes de configuração e você poderá fazer alterações, se necessário. Então continue com isso.
26. Esta página mostrará os detalhes do comando ‘Primeira execução’. Você pode expandi-lo para ver os detalhes da execução de comandos. Se houver algum problema de rede ou permissão no cluster, esta etapa falhará. Normalmente, esta etapa decide a instalação tranquila do Cluster Building.
27. Assim que a etapa acima for concluída, clique em ‘Concluir’ para concluir a instalação. Este é o Dashboard do Cloudera Manager após a instalação do CDH.
http://104.211.95.96:7180/cmf/home
Conclusão
Concluímos a instalação do Cloudera Manager e do CDH com sucesso. No Painel do Cloudera Manager, você pode encontrar um conjunto predefinido de gráficos onde você pode monitorar CPU do cluster, E/S de disco, etc. Podemos gerenciar todo o cluster usando este Cloudera Manager >. Veremos todas as operações administrativas nos próximos artigos.