Ferramentas ETL

PROCESSO ETL

David Faustino da Silva - [e-mail]

Centro Universitário Fundação Santo André/FAENG –CUFSA

Avenida Príncipe de Gales, 821 – Vila Príncipe de Gales, Santo André - SP

Iniciação à Pesquisa de Engenharia da Computação – Willian Moreti

Resumo

ETL em inglês Extract, Transform Load (Extração, Transformação de Carga), são ferramentas desenvolvidas em software, para extrair os dados de uma origem transportando-os e/ou transformando-os com finalidade de efetuar uma carga em um respectivo destino. É uma forma segura e concisa de ler os dados da origem, aplicando regras de negócios ou somente usando a formatação padrão, como as que são utilizadas nos bancos de dados relacionais ou flat files através do SQL - Structured Query Language (Linguagem de Consulta Estruturada) - para alimentar estes dados a um destino.

Palavras-chave: Ferramenta ETL, Administração de Dados e Análise de Dados.

1. Introdução

A Tecnologia da Informação, mais conhecida como o setor de TI dentro das pequenas e grandes corporações, cada vez mais se torna o principal fator de evolução na gestão empresarial com solução para diversas situações onde o fator humano em sua capacidade física, não consegue executar os mesmos processos de forma tão rápida e eficaz.

Cada vez mais as informações estão se tornando complexas, e as empresas tem dificuldades em manipular estas informações, como por exemplo empresas que mudam de sistema ERPs do inglês Enterprise Resource Planning (Planejamento de Recursos Empresariais), tem que extrair os dados respeitando as regras de negócios da empresa para colocar de forma útil em seu novo sistema ERPs. Isto se torna um trabalho muito braçal, minucioso e delicado. O tempo para a conversão e migração desses dados custam tempo e muito dinheiro tanto para a empresa, quanto para o fornecedor do sistema ERPs [1].

Tem-se então o problema de mapear os sistemas conforme regras de negócio e através deste princípio criar processos de migração movendo grandes volumes de dados de uma origem para um destino.

Para solucionar este problema, desenvolveu ferramentas chamadas de ETL do inglês Extract, Transform Load (Extração, Transformação de Carga) cuja a função é executar esses processos de extração de uma fonte de dados, aplicar as regras de negócios se necessárias, regra de transformações de dados e ao fim aplicar a carga em um DW do inglês Data Wharehouse (Armazém de Dados), como um exemplo dos bancos de dados [2] [figura 1].

[pic 1]

Figura 1 - Processo ETL

1. História do ETL

No final do século XIX para o início do século XX, Charlie Coolidge e Arthur C. Nielsen que eram pesquisadores analíticos do mercado financeiro, perceberam que a análise de dados poderia ser utilizada de uma forma para ajudar as empresas a terem previsões de diversos comportamentos sobre seus negócios [3] [4].

Nos anos de 1970, era impossível fazer o cruzamento das informações que haviam nos gigantescos computadores da época, e ao final dos anos 70, exatamente em 1979 surgiu a grande empresa Teradata, que veio com a missão de resolver este tipo de problema com o uso de processamento paralelo com múltiplos processadores [5].

Os anos foram passando e o uso dos computadores dentro das empresas foram aumentando devido a facilidade e o conforto que trouxe na época para diversas para seu uso em diversas operações, e o crescimento dos dados também aumentaram na mesma velocidade.

Em 1980 um grupo de visionários empreendedores enxergaram uma forma de solucionar o problema de cruzamento de dados, e, desenvolveram um software chamado Distributed Database Management System (Sistema Gerenciador de Base de Dados Distribuídos) os famosos SGBDs nos tempos de hoje, porém havia problemas com ilhas de dados, onde a empresa Teradata começou a soluciona-los. Em 1984 foi lançado o primeiro sistema chamado Fargo Bank que começou a fazer o relacionamento paralelo desses dados.

Daí por diante várias empresas começaram a criar suas próprias versões do sistema. Hoje podemos contar com diversos de sistemas que trabalham com integração de dados, e entre eles, a aqueles que se destacam no mercado por ter um foco em determinada regra de negócio ou usabilidade, conforme analisado pela empresa Informática, que é uma das empresas que desenvolve tal ferramenta, nos mostra em uma análise anual as ferramentas ETL que estão no auge do mercado [figura 2].

[pic 2]

Figura 2 - Integração de Dados (Data Integration Magic Quadrant) [6].

1. Conceito ETL

ETL (Extract, Transform Load - Extração, Transformação de Carga) é a extração de uma fonte de dados no qual durante este processo podemos manipula-los conforme regras de negócios implementadas no processo de migração e também na transformação desses dados para ser efetuado uma carga em vários repositórios, tais como DW (Data Wharehouse - Armazém de Dados), DB (Data Base – Bando de dados) ou ficheiros de arquivos [7].

1. Fases

• Extração

Extração de dados de uma base origem para que possa ser feito a construção do DW. Nesta etapa tem que ter conhecimento da base de dados fonte, a forma como é organizado os dados para que o mapeamento para ser efetuado a extração seja eficaz. Existe destro desta etapa duas formas de capturar os dados, de forma estática e a forma incremental.