Os desafios para adotar o Big Data

Atualmente tenho ouvido falar muito no termo Big Data e vejo que cada vez mais o assunto aparece com naturalidade nas conversas dos gestores de TI, analistas de banco de dados,consultores e demais profissionais de TI.

Neste post, vou resumir o conceito de BigData e seus desafios de adoção. O Big Data é considerado um novo tipo de SOA (Service Oriented Architecture) e o seu nome foi criado para traduzir o crescimento constante dos dados que as organizações tem de tratar, principalmente quanto falamos dos chamados dados não estruturados, como por exemplo, os que são captados e geridos pelas redes sociais e não estão sob o domínio da TI da organização. Esses dados não estruturados estão em sua grande maioria em nuvens públicas e híbridas.

O Big Data é sem dúvida um grande desafio a ser enfrentado pois requer um foco em infraestrutura e análise de dados. A nuvem facilita o processamento de grandes volumes de dados , mas seu transporte contínuo na nuvem é custoso.

Quando falamos na tecnologia de armazenamento para Big Data, a principal ferramenta são os bancos de dados NoSQL, acrônimo de ”not only SQL” ou “não somente SQL”. Nesse modelo, são utilizadas bases de dados SQL e não SQL, porém o Big Data não se resume tão somente ao NoSQL.

A tendência é que os bancos NoSQL terão de conviver muito bem com os bancos de dados relacionais do modelo tradicional (relational database management system ou RDBMS). Há operações que ainda são mais indicadas para bancos SQL. Por exemplo, as transações de comércio eletrônico nas quais é processado um pagamento e ocorre a baixa de um item no estoque, dentre outras.

O NoSQL é muito indicado para leitura de um grande volume de dados, mas outras funções são melhor endereçadas pelos bancos RDMBS.

Desafios à parte, o Big Data é uma realidade que começa a aparecer cada vez mais no dia-a-dia das organizações e como toda adoção de nova tecnologia requer experimentação, prova de conceitos, revisões de processos e segurança. Mas isso é tema para um outro post.