Big Data

SUMÁRIO

1        INTRODUÇÃO        

2        BIG DATA        

2.1        VOLUME        

2.2        VARIEDADE        

2.3        VELOCIDADE        

3        DESAFIOS        

4        ÉTICA E BIG DATA        

5        APLICAÇÕES PRATICAS NO USO DO BIG DATA        

6        Conclusão        

1. INTRODUÇÃO

1. BIG DATA

        Segundo projeção da IBM em 2013, todos os dias cerca de 15 petabytes de dados estruturados e não estruturados são gerados. Essa enorme quantidade de informações é proveniente de mensagens trocadas a partir de dispositivos móveis, e-mails, vídeos, textos, planilhas, compras pela web e outros. Essa enxurrada de informações e uma grande oportunidade para as empresas do mundo corporativo, e ao mesmo tento um desafio sem precedentes para a indústria da Tecnologia da Informação (TI), que investem bilhões de dólares em ferramentas que ajudam as empresas a filtrar e modelar informações úteis para os negócios. IBM, Teradata, Oracle e Microsoft são alguns exemplos de empresas que investem pesado no desenvolvimento de ferramentas para big data.

        A popularização da internet é um dos motivos para esse aumento tão acentuado no volume de dados gerados, bem como a criação das redes sociais, somente no Facebook, maior rede social do mundo, são compartilhados bilhões de conteúdos diariamente entre seus usuários, somado a isso, em apenas um minuto são realizadas aproximadamente 700.000 buscas no Google e 600 vídeos são upados para o Youtube. Além de toda essa informação gerada por usuários, maquinas também estão acumulando uma enorme quantidade de dados através de sensores espalhados nos mais diversos tipos de equipamentos. Aviões, por exemplo, geram aproximadamente 2,5 bilhões de terabytes de dados anualmente por seus sensores.

        Volume é um dos pilares principais do big data, mas não é o único, na verdade os elementos que compõem o big data são: Volume, variedade e velocidade.

1. VOLUME

        Muitos fatores contribuíram para o aumento do volume de dados, como já foi dito, a internet e as redes sociais são as principais. Há também as transações de dados armazenados ao longo dos anos, dados de texto em streaming, o aumento da quantidade de sensores e etc. No passado isso era um grande problema pois para armazenar toda esse informação era caro, mas com os atuais custos de armazenamento decrescentes, outras questões surgem, incluindo, como tratar esses dados e como determinar sua relevância.

1. VARIEDADE

        Os dados hoje vem de lugares antes não imagináveis e de todos os tipos de formatos, sejam áudio, texto, vídeo, e-mail, medidores e sensores, isso é um grande desafio para as empresas acostumadas e tratar somente de números e letras, e agora esses dados também precisam ser inclusos nas análises para tomadas de decisões das empresas.

1. VELOCIDADE

De acordo com o Gartner, velocidade significa tanto o quão rápido os dados estão sendo produzidos quanto o quão rápido os dados devem ser tratados para atender a demanda. Lidar com essa enorme quantidade de dados já e por si só um desafio sem precedentes para o setor da Tecnologia da Informação, mas não basta lidar com esses dados, esse processo tem de ser rápido, quase que em tempo real, pois se o tempo de resposta for longo, a análise desses dados poderá não atender as expectativas. Os dados podem “vencer” e deixar de ser útil.

O grande proposito do big data não e acumular o máximo de dados possíveis, mais sim, o que fazer com os dados coletados. As organizações terão de ser capazes de fazer proveito dos dados relevantes e usa-los para tomar as melhores decisões possíveis.

1. DESAFIOS

        A maioria das inovações encontram dificuldades no começo e não e diferente com o big data, a começar pelo fato de ainda não termos tecnologia de hardware e software no nível em que precisamos para tratar essa enorme quantidade de dados com rapidez, uma questão critica por exemplo, como armazenar uma grande quantidade de dados de forma que possam ser encontrados e manipulados com rapidez ? O sistema de gerenciamento de banco de dados (SGBD) faz exatamente isso, porém só e útil na manipulação de tabelas, como no big data tratamos dos mais diversos tipos e formatos de arquivos, os SGBDs não seriam eficientes.

        Outro caminho seria o investimento em Hardwares cada vez mais potentes como a paralelização de processamento, que se dá em muitos níveis, como um computador com vários processadores, em processadores com vários núcleos ou pela união de computadores pela rede somando assim seu poder de processamento.

        Há ainda a opção de processamento em nuvem. Propostas como o programa livre Hadoop, um dos mecanismos que fazem o Google funcionar permite que um problema seja dividido em várias maquinas e, depois, tenha seu resultado agregado em uma máquina central.

        E os desafios não param por ai, um desafio importante é entender como esses dados evoluem. Essa tarefa criará, em 2015, segundo a grande empresa norte­americana de consultoria Gartner Group, cerca de 4,4 milhões de empregos muitos deles para profissionais capacitados a analisar esses dados, em um mercado mundial avaliado, já para este ano, em US$ 34 bilhões (cerca de R$ 70 bilhões).

1. ÉTICA E BIG DATA

        Não podemos deixar de lembrar que big data traz à tona novos problemas éticos, como o grande escândalo da NSA, agencia de inteligência americana que sondava dados de praticamente todo o mundo sobre o pretexto de identificar possíveis terroristas.