segunda-feira, 2 de fevereiro de 2015

MapR anuncia o Apache Drill para a nova geração de consultas ANSI SQL sobre o Hadoop

A MapR Technologies Inc., uma das principais distribuidoras de implementações Hadoop para o Big Data, anunciou recentemente a adição do Apache Drill 0.5 para a nova geração de consultas ANSI SQL, como parte de sua distribuição Hadoop.
Segundo Matt Aslett, diretor de pesquisas da 451 Research:
"As organizações querem fornecer acesso aos dados armazenados em bancos de dados Hadoop e NoSQL para um amplo conjunto de usuários com habilidades de análise SQL já existentes. O Apache Drill habilita e fornece o acesso aos dados do Hadoop sem a necessidade de esquemas centralizados e também de um conjuntos de dados NoSQL com uma complexa estrutura de dados, incluindo campos aninhados e repetidos, se diferenciando assim das abordagens tradicionais SQL sobre o Hadoop."
O Apache Drill permite a execução de consultas sobre arquivos auto-descritivos ou semi-estruturados com por exemplo arquivos no formato JSON, Parquet e HBase e suporta o padrão ANSI SQL. Essa compatibilidade é extremamente benéfica a todos os desenvolvedores que já possuem conhecimentos de SQL diminuindo assim drasticamente a sua curva de aprendizado.

Os benefícios para as organizações com o uso do Apache Drill, são listados a seguir:
  • Alto desempenho na análise de arquivos com formatos nativos incluindo arquivos com dados auto-descritivos como Parquet, arquivos JSON e tabelas Hbase.
  • Consulta direta de dados em tabelas do HBase sem a definição e manutenção de um esquema paralelo / sobreposto na metastore do Hive.
  • Consultas SQL intuitivas com extensões para trabalhos em arquivos semi-estruturados e dados aninhados como, por exemplo: dados utilizados em NoSQL ou online por APIs REST.
  • Consultas simultâneas combinando diferentes fontes de dados Hadoop como arquivos, tabelas HBase e tabelas Hive.
  • Para os desenvolvedores, analistas de negócios ede inteligência de negócios (BI), os benefícios são os seguintes:
  • A utilização de instruções no padrão ANSI SQL, permitem a imediata adoção da tecnologia sem uma grande e custosa curva de aprendizado.
  • Permite a utilização de ferramentas já existentes e conhecidas de análise de inteligência de negócio e a utilização de drivers padrões para conexão com fontes de dados como por exemplo ODBC/JDBC.
  • Habilita consultas ad-hoc e de baixa latência em tabelas já existentes Hive, a reutilização dos meta dados, a utilização de centenas de formatos de arquivos e de funções definidas pelos usuários (UDFs) que não fazem parte das implementações padrões.
Para experimentar e testar o Apache Drill 0.5 Beta faça o download que encontra-se disponível no site da MapR, assim como também encontra-se disponível o download do MapR SandBox com o Apache Drill.

MapR certifica o conector MongoDB para Hadoop

A MapR anunciou a certificação do conector do MongoDB para Hadoop em suas distribuições de soluções para o Big Data. O conector fornece acesso bidirecional entre o MongoDB e ambientes Hadoop.
Agora é possível através do MongoDB suportar tarefas MapReduce, executar operações relacionadas com dados utilizando Pig e Hive e operações de I/O para cópias MongoDB no formado (BSON).
Segundo Vijay Vijayasankar, vice-presidente de canais globais e desenvolvimento de negócios da MongoDB, o conector vai habilitar a movimentação de dados críticos entre o MongoDB e as distribuições do MapR.
Informações sobre as características, compatibilidades e a documentação do conector, podem ser feitas através da página da MapR relacionada com o conector MongoDB.

Apache Storm agora integrado ao Hadoop File System, HBase e Kafka

Recentemente foi anunciada a nova versão do Apache Storm (0.9.3) que a partir de agora se integra com o Hadoop File System (HDFS), HBase e o Apache Kafka. A comunidade responsável pela evolução do Apache Storm conseguiu nesta nova versão fechar o total de  100 solicitações abertas, desenvolvendo assim novos recursos e diversas correções.
Além das integrações já citadas, também foram acrescentadas nesta nova versão as seguintes novas funcionalidades:
A comunidade está trabalhando para nas próximas versões adicionar mais recursos relacionados à segurança, disponibilidade de utilização e uma profunda integração com o YARN.
A relação completa das melhorias que foram implementadas podem ser visualizadas na página do projeto.

Apache Hive: otimização com base em custo e transações ACID

O Apache Hive, software direcionado para data warehouses que permite a consulta e o gerenciamento de gigantescos conjuntos de dados, implementou na última versão (0.14.0) melhorias como a otimização de consultas baseadas em custo.
Com o crescimento exponencial de informações geradas a cada minuto, as ferramentas pertencentes ao ecossistema Hadoop necessitam a cada versão, implementar melhorias que sejam capaz de em tempo hábil processar este gigantesco volume de dados.
Na nova versão do Apache Hive (0.14.0) a comunidade responsável pelo desenvolvimento implementou correções e novas funcionalidades, conseguindo fechar um total de 1.015 solicitações de melhorias e correções.
Dentre as principais melhorias que foram implementadas nesta nova versão, destacam-se:
  • Transações ACID (HIVE-5317);
  • Consultas com base em otimização por custo (HIVE-5775);
  • Uso de tabelas temporárias (HIVE-7090);
  • Suporte aos filtros HBase (HIVE-6132);
  • Possibilidade da utilização de múltiplas sessões concorrentes no Apache Tez (HIVE-6325);
  • Suporte para a replicação de tabelas através de instâncias HCatalog (HIVE-7341).
  • Habilidade da leitura de scripts de qualquer sistema de arquivo pertencente ao ecossistema Hadoop (HIVE-7136);
  • Execução síncrona/assíncrona através de clientes JDBC (HIVE-6899).
A comunidade está trabalhando para que na próxima versão do Apache Hive sejam incluídas as funcionalidades de sub-queries, análise SQL:2011 e a integração entre o Hive e o Spark para operações envolvendo aprendizado de máquina.
A nova versão e informações sobre as melhorias podem ser encontradas na página do projeto.

Hortonworks obtém certificação no Microsoft Azure

Recentemente a Horthonworks anunciou que sua solução para Big Data o Hortonworks Data Platform (HDP) está certificado no Microsoft Azure sendo a primeira plataforma Hadoop certificada para executar tarefas em uma infraestrutura como serviço (IaaS).
Segundo Mitch Ferguson, vice-presidente de desenvolvimento de negócios da Hortonworks,
"Temos o prazer de ver o Hortonworks Data Platform alcançar a certificação para o Microsoft Azure sendo a primeira distribuição do Apache Hadoop na nuvem da Microsoft. Isso fornece aos usuários opções de implantação de poderosos processos sobre nossa infraestrutura Azure como uma oferta de serviço."
Para Scott Guthrie, vice presidente executivo da Microsoft,
<blockquote>
A Microsoft está focada em oferecer as organizações a melhor plataforma para a nuvem, sendo a Hortonworks um parceiro-chave. Com a disponibilização do HDP no Azure, os clientes poderão utilizar máquinas virtuais para executar grandes cargas de trabalho.
</blockquote>
Mais informações sobre a certificação podem ser obtidas na página da Hortonworks.

Apache Slider agora se integra ao Hadoop Yarn e Ambari

O Apache Slider está com uma nova versão (0.60.0) contendo diversas melhorias e correções de bugs. Entre as principais melhorias com relação a versão anterior destaca-se a integração do Apache Slider com o serviço de registros do Apache Hadoop Yarn, possibilitando assim pesquisas dinâmicas de URLs e configurações, agregação de logs, integração com o Apache Ambari, entre outras.
O Apache Slider permite através do Hadoop Yarn que sejam criados sob demanda diversas aplicações permitindo também a configuração de instâncias distintas, paralização, inicialização e o resumo de instâncias conforme a necessidade. A nova versão do Apache Slider, foi desenvolvida tendo como base o Apache Hadoop 2.6 e seu funcionamento está atrelado ao uso do Hadoop File Sytem (HDFS), Yarn, Zookeeper, Oracle JDK 1.6 (64-bit), Phython 2.6 e o Openssl.
Nesta nova versão, as seguintes melhorias foram adicionadas:
- Integração entre aplicações, sem a necessidade de alterações de códigos;
- Escala dinâmica das aplicações;
- Registro de aplicações para localização dinâmicas - Integração com o Apache Ambari;
- Gestão de componentes e recipientes de falhas;
- Alocação dinâmica de portas - Integração transparente com Kerberos;
- Agregação de arquivos de logs.
A equipe responsável pelas melhorias do Apache Slider está trabalhando para que a próxima versão contenha as seguintes melhorias:
- Ferramentas adicionais para os desenvolvedores;
- Suporte a utilização do Docker;
- Integração com o Apache Solr e Apache Kafka através do Yarn.
Mais informações sobre as novidades desta nova versão, podem ser encontradas na página oficial do Apache Slider.

domingo, 1 de fevereiro de 2015

Treinamento Free Big Data - MapR Academy

A MapR uma das principais implementadoras Hadoop está oferecendo gratuitamente treinamentos Big Data envolvendo Hadoop e Hbase.

Os treinamentos estão divididos em três áreas:
  • Desenvolvedores
  • Analistas
  • Cientistas de Dados
Os seguintes treinamentos estão disponíveis:

  • Hadoop Essentials - Neste treinamento introdutório serão explorados os conceitos do Hadoop e seu ecossistema e soluções e casos de uso.
  • Developing Hadoop Applications -  Este treinamento tem como foco o desenho e o desenvolvimento de aplicações Hadoop utilizando MapRedure e Yarn.
  • HBase Schema Design and Modeling - Este treinamento tem como foco a arquitetura e a modelagem de dados sobre o HBase.
  • Developing HBase Applications - Este treinamento tem como foco o desenho e a modelagem de aplicações reais utilizando o HBase.
  • Hadoop Data Analysis - Drill - Este treinamento estará disponível em março e tem como foco a utilização do SQL para consulta de dados semi-estruturado e estruturados.
 O que você está esperando, faça sua inscrição já!

https://www.mapr.com/services/mapr-academy/big-data-hadoop-online-training


Vagas - Desenvolvedores e Arquitetos

Sensedia

VAGAS – Desenvolvedores e Arquitetos

Interessados enviem e-mail para jrpequeno@hotmail.com .

Referência em arquitetura de TI aplicando conceitos e fornecendo tecnologia em APIs, SOA, Governança e Enterprise Architecture. Empresas como Bradesco Seguros, Catho, Cielo, Grupo Ultra, Nova Pontocom e Sem Parar vêm tomando melhores decisões arquiteturais, criando, expondo e gerenciando APIs e Web Services apoiados na tecnologia e expertise da Sensedia.
A Sensedia é composta por um time com mais de 40 ninjas-jedi, tem sede em Campinas (Pólis – antigo cpqd) e escritórios em São Paulo, Rio de Janeiro e Philadelphia (EUA).

Arquiteto de Solução

Local São Paulo

Experiencias necessárias:
- Arquitetura Orientada a Serviços (SOA);
- WebServices (XML, WSDL, XML Schemas e SOAP);
- RESTfull (REST + JSON);
- Definição e utilização de melhores práticas, como design patterns, testes unitários e padrões de integração;
- High-fives extraordinários após implementações que derem certo (tipo esse);
- Modelagem UML;
- Metodologias de Desenvolvimento de Software.
Diferenciais:
– Segurança da Informação;
– Business Process Management (BPM);
– Business Intelligence (BI);
– Deixar o Arquiteto de Matrix no chinelo;
– Arquitetura Corporativa (EA);
– Cloud Computing;
– ITIL.

Arquiteto de software

Local Campinas
Requisitos necessários:
  • Java: jdk7, Tomcat, Spring, Maven, JPA
  • Javascript: AngularJS, Single-Page Applications
  • HTML5, CSS3, Twitter Bootstrap
  • RESTful APIs, OAuth 2.0
  • Ser mega fã e ávido por novas tecnologias!
  • Arquitetura Web (conhecimento do protocolo HTTP)
  • Arquitetura de software e sistemas (noções de componentização, modularização, deployment, clusters, load-balancing, queues/messaging, etc)
  • Git
Diferenciais:
  • Java: outros servidores e ferramentas (weblogic, OSB, coherence, projetos open-source da Apache Software Foundation, Dropwizard, etc)
  • Caches e bancos NoSQL (EHCache, Redis, MongoDB, etc)
  • Middleware de mensageria (ActiveMQ, RabbitMQ, Amazon SQS, etc)
  • Saber o que é um capacitor de fluxo (veja a bio de Dr. Brown)
  • Javascript: Node.js, Promises
  • Ferramentas modernas de desenvolvimento (incluindo build tools, integração contínua, testes contínuos, Vagrant, etc)
  • Cloud providers (Amazon Web Services, Google Compute Engine, etc)
  • Ser tão arquiteto quanto o Arquiteto da Matrix =D

Arquiteto Corporativo 

Local Rio de Janeiro

Requisitos essenciais:
  • Experiência de mais 5 anos na área de TI como arquiteto de solução ou gestão.
  • Experiência no uso de melhores práticas em modelagem em projetos, como design patterns e padrões de integração.
  • Afinidade com conceitos de governança SOA e arquitetura orientada a Serviço.
  • Conhecimento de frameworks de governança de TI e práticas de gestão.
Diferenciais desejados:
  • Conhecimento de EA frameworks (ex TOGAF e PaeF) e boas práticas de Arquitetura Corporativa.
  • Experiência em projetos de transformação em empresas de grade porte.
  • Inglês Avançado.
  • Habilidade para falar em público.


Desenvolvedor Oracle SOA

Local Campinas

Requisitos necessários:
– Arquitetura Orientada a Serviços (SOA);
– Oracle Service Bus (OSB);
– BPEL;
– Sangue nos olhos em excesso – não literalmente, por favor Description: )
– WebServices (XML, SOAP, WSDL, XML Schemas e XQuery);
– RESTful (REST + JSON);
– Definição e utilização de melhores práticas, como design patterns, testes unitários e padrões de integração;
– Saber pelo menos 4 features do R2D2;
– Design de interfaces de integrações;
– Modelagem UML;
– Empolgado com novos desafios e boa comunicação.

Conhecimentos desejáveis (diferenciais) em:
– Técnicas de Gestão de Projetos Ágeis;
– BPM;
– Arremesso de estrelas-ninja;
– Metodologia e governança de Serviços/APIs;
– DevOps.


Desenvolvedor Oracle SOA

Local São Paulo

Requisitos necessários:
– Arquitetura Orientada a Serviços (SOA);
– Oracle Service Bus (OSB);
– BPEL;
– Sangue nos olhos em excesso – não literalmente, por favor Description: )
– WebServices (XML, SOAP, WSDL, XML Schemas e XQuery);
– RESTful (REST + JSON);
– Definição e utilização de melhores práticas, como design patterns, testes unitários e padrões de integração;
– Saber pelo menos 4 features do R2D2;
– Design de interfaces de integrações;
– Modelagem UML;
– Empolgado com novos desafios e boa comunicação.

Conhecimentos desejáveis (diferenciais) em:
– Técnicas de Gestão de Projetos Ágeis;
– BPM;
– Arremesso de estrelas-ninja;
– Metodologia e governança de Serviços/APIs;
– DevOps.


Desenvolvedor/Programador Java

Conhecimento Desejável
  • Java/JEE (1.6)
  • JPA (EclipseLink)
  • APIs REST
  • Webservices
  • Spring (core, mvc e security)
  • Javascript/Framework AngularJS
  • Drupal
  • TDD
  • Banco de Dados (Oracle e SqlServer)
Atividades
Desenvolvimento de sistemas com o uso da tecnologia JAVA nas diversas arquiteturas e frameworks de desenvolvimento de mercado.
Utilizar boas práticas de desenvolvimento, Design Patterns e documentação de código.
Diferenciais
  • Conhecimento em linguagens de scriptings: Shell e Perl
  • Experiência em desenvolvimento com Datapower
  • Certificação DataPower
  • Governança SOA
  • Experiência com open APIs

Desenvolvedor

Local Campinas

A Sensedia está procurando novos ninjas plenos pra integrar seu time de desenvolvimento que gostem e mandem bem em:
  • Java/JEE (1.7)
  • Spring (core, mvc e security)
  • Banco de Dados (MySQL, Oracle)
  • Javascript / AngularJS
  • Bootstrap
  • Drupal
  • APIs REST
Não sabe alguma dessa lista, mas tem a maior vontade de aprender? Nos procure mesmo assim! Além do conhecimento técnico, valorizamos MUITO algumas características pessoais como:
  • Ser fã de tecnologia
  • Querer mexer com as principais novidades do mercado
  • Conseguir usar estrelas-ninja
  • Gostar de aprender (e ensinar)
  • Alto sivirômetro
  • Ter tanta pró-atividade que dê pra ver o “sangue nos olhos” \o/
  • Recitar quotes de Star Wars com pouquíssimo esforço

Desenvolvimento e Sucesso de Clientes

Local Campinas
Estamos procurando pessoas que tenham:
  • Interesse genuíno em ajudar clientes altamente técnicos (nosso cliente não é o usuário comum);
  • Capacidade de entender e análisar problemas;
  • Jeito para implantar e administrar bancos de dados SqlServer e Oracle;
  • Habilidade para contar 1 Mississipi, 2 Mississipi, 3… para sempre manter a calma;
  • Jeito para implantar e administrar servidores de aplicação Tomcat, Websphere e Weblogic em cluster;
  • Experiência em funções de análise/desenvolvimento JEE;
  • Manejo de uma das seguintes modalidades no futebol: ao vivo, PES ou Fifa;
  • Experiência em projetos JSF, Richfaces, Javascript e JQuery;
  • Algum cheiro de PL/SQL
  • Experiência com Maven / Nexus
  • Vontade de aprender sobre APIs REST e WebServices


Arquiteto: projetos de transformação arquitetural
Local Rio de Janeiro
Perfil técnico
– Arquiteto Pleno ou Sênior;
– Experiência no uso de melhores práticas em modelagem em projetos, como design patterns e padrões de integração;
– Experiência em desenho de integrações de sistemas;
– Experiência em desenho de serviços SOA;
– Habilidade para lidar com uma Katana (como a Michonne) é opcional;
– Experiência em levantamentos de requisitos.

Requisitos desejados
– Conhecimento em ferramentas da IBM (modelagem, SOA e integração);
– Conhecimento de frameworks de governança de TI e práticas de gestão;
– Inglês Avançado;
– Conhecimento para dar uma surra no Arquiteto da Matrix.



Assistente comercial

Local Campinas
Essa posição tem como requisitos:
  • Boa comunicação oral e escrita;
  • Trabalho em equipe parecido com o dream team de 1992;
  • Ensino Superior completo ou cursando;
  • Noções de negociação;
  • Altíssimo sivirômetro;
  • Pacote office intermediário (excel avançado);
  • Criação de relatórios e planilhas funcionais e bonitaças;
  • Disponibilidade para viagens de curta duração.
Alguns dos diferenciais que valorizamos para esse cargo:
  • Organização e cumprimento de prazos 110%;
  • Experiência em se relacionar com área técnica e níveis gerenciais e executivos;
  • Facilidade em lidar com contratos;
  • Cara-de-pau + simpatia genuína para cobrar prazos;
  • Experiência em pesquisa e análise de mercados;
  • Poder de análise financeira.