Novas características implementadas no Hadoop 2.6.0

Com a chegada do Hadoop 2.6.0, agora é possível através do Hadoop File System (HDFS), implementar heterogêneas formas de armazenamento através da utilização de SSD e camadas de memória. Também a partir desta versão, é possível fazer atualizações de aplicações sem a necessidade da interrupção dos servidores ou o cancelamento de trabalhos sendo executados. Essas e diversas outras melhorias já estão disponíveis com esta nova versão do Hadoop.

A comunidade responsável pelo desenvolvimento do Hadoop, conseguiu resolver aproximadamente 900 tickets Jira envolvendo as seguintes áreas:

• Hadoop Common: 231 JIRAs resolvidos
• Hadoop HDFS: 305 JIRAs resolvidos
• Hadoop YARN: 290 JIRAs resolvidos
• Hadoop MapReduce: 70 JIRAs resolvidos

A relação completa de todas as novas funcionalidades e correção de erros podem ser encontrados na página do Hadoop contendo as notas de lançamento da nova versão 2.6.0.

Abaixo estão relacionadas as principais melhorias que foram implementadas:

• Camadas heterogêneas de armazenamento, permitindo assim o armazenamento dos dados em camadas de memória ou SSD.
• Provedor de credenciais e servidor de gerenciamento de chaves
• Operação segura de DataNodes sem a necessidade de acessos privilegiados de administrador
• Troca a quente de DataNodes sem a necessidade de reinicializações
• Suporte para execução nativa de aplicações em Docker
• Melhorias relacionadas com a autenticação através da utilização de servidores proxy para acesso via WebHDFS.
• Os usuários podem a partir de agora, submeter e cancelar aplicações através de solicitações Rest.

O Apache Hadoop 2.6.0 pode ser baixado através da página do Hadoop.