top of page
Engenharia de Dados
Extração
Configuramos a extração de dados de diferentes fontes de maneira automatizada utilizando diversas tecnologias. Esse amplo know-how em tecnologias de extração de dados nos permite extrair dados de praticamente qualquer sistema. Além disso, fornecemos suporte na implantação de hardware, sistemas e formulários para coleta de dados estratégicos na operação, após identificação dos processos chave da sua organização. As principais tecnologias que utilizamos são:
API (Application Programming Interface): conjunto de protocolos e padrões desenvolvidos para permitir o acesso facilitado a um software. Permitem que desenvolvedores criem programas que podem se comunicar com outros aplicativos e configurar uma extração automatizada de dados utilizando diferentes linguagens de programação.
Replicação de Bases de Dados: em casos onde o sistema não conta com uma API, replicamos bases de dados de sistemas operacionais utilizados pela sua organização para consultar dados sem impactar no funcionamento dos mesmos.
RPA (Robotic Process Automation): criamos robôs que acessam sites e sistemas internos e extraem dados automaticamente, eliminando tarefas repetitivas, muitas vezes feitas manualmente por pessoas.
Formulários e Landing Pages: inserimos formulários em pontos chaves nos diferentes processos da sua organização para coleta de dados que irão dar forma a indicadores estratégicos não contemplados pelos dados extraídos dos demais sistemas.
DATA CLEANING
Após a extração dos dados de diferentes fontes, programamos uma série de transformações que organizam, padronizam, normalizam, categorizam, removem duplicações e verificam a qualidade dos dados. Nessa etapa, é determinado o grau de granularidade dos dados e sua classificação entre fatos e dimensões. Uma vez criadas, automatizamos as transformações em rotinas periódicas em um servidor.
DATA WAREHOUSE
Com as transformações definidas, carregamos e integramos todos os seus dados em um Armazém de Dados centralizado, regidos por uma governança de dados e seguindo os 6 princípios de Kimpball & Ross [2002]:
-
Acessibildade.
-
Credibilidade.
-
Resiliência à mudanças.
-
Segurança.
-
Suporte à tomada de decisão.
-
Abraçado pela comunidade do negócio.
[Kimball, Ralph, and Margy Ross. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling. New York: Wiley, 2002.]
INFRAESTRUTURA
Extrações, transformações e bases de dados requerem processamento computacional e um lugar onde acontecer. Assessoramos empresas e organizações no dimensionamento de infraestrutura, sejam servidores hospedados em soluções cloud (Amazon AWS, Google Cloud e Microsoft Azure) e soluções on premise (servidores locais).
bottom of page