top of page
equial.png
equial.png

ENGENHARIA DE DADOS

EXTRAÇÃO

Configuramos a extração de dados de diferentes fontes de maneira automatizada utilizando diversas tecnologias. Esse amplo know-how em tecnologias de extração de dados nos permite extrair dados de praticamente qualquer sistema. Além disso, fornecemos suporte na implantação de hardware, sistemas e formulários para coleta de dados estratégicos na operação, após identificação dos processos chave da sua organização. As principais tecnologias que utilizamos são:

3316691.png

API (Application Programming Interface): conjunto de protocolos e padrões desenvolvidos para permitir o acesso facilitado  a um software. Permitem que desenvolvedores criem programas que podem se comunicar com outros aplicativos e configurar uma extração automatizada de dados utilizando diferentes linguagens de programação. 

2232196.png

Replicação de Bases de Dados: em casos onde o sistema não conta com uma API, replicamos bases de dados de sistemas operacionais utilizados pela sua organização para consultar dados sem impactar no funcionamento dos mesmos. 

2779045.png

RPA (Robotic Process Automation): criamos robôs que acessam sites e sistemas internos e extraem dados automaticamente, eliminando tarefas repetitivas, muitas vezes feitas manualmente por pessoas. 

2043064.png

Formulários e Landing Pages: inserimos formulários em pontos chaves nos diferentes processos da sua organização para coleta de dados que irão dar forma a indicadores estratégicos não contemplados pelos dados extraídos dos demais sistemas.

DATA CLEANING

3946931.png

Após a extração dos dados de diferentes fontes, programamos uma série de transformações que organizam, padronizam, normalizam, categorizam, removem duplicações e verificam a qualidade dos dados. Nessa etapa, é determinado o grau de granularidade dos dados e sua classificação entre fatos e dimensões. Uma vez criadas, automatizamos as transformações em rotinas periódicas em um servidor.

DATA WAREHOUSE

3018634.png

Com as transformações definidas, carregamosintegramos todos os seus dados em um Armazém de Dados centralizado, regidos por uma governança de dados e seguindo os 6 princípios de Kimpball & Ross [2002]

  • Acessibildade.

  • Credibilidade.

  • Resiliência à mudanças.

  • Segurança.

  • Suporte à tomada de decisão.

  • Abraçado pela comunidade do negócio.

[Kimball, Ralph, and Margy Ross. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling. New York: Wiley, 2002.]

INFRAESTRUTURA

622397.png

Extrações, transformações e bases de dados requerem processamento computacional e um lugar onde acontecer. Assessoramos empresas e organizações no dimensionamento de infraestrutura, sejam servidores hospedados em soluções cloud (Amazon AWS, Google Cloud e Microsoft Azure) e soluções on premise (servidores locais).

bottom of page