Durante a última década, muito temos ouvido falar sobre Big Data e como o avanço tecnológico vem impulsionando a geração de dados ano após ano. Lembro-me de um estudo da IBM, divulgado em 2013, que trouxe a curiosa constatação de que 90% dos dados de toda a história da humanidade foram gerados nos 2 anos anteriores à publicação da mesma.
O termo Big Data, trazido inicialmente pelo então analista da Gartner, Doug Laney, no começo dos anos 2000, faz referência a um grande conjunto de dados que não é passível de ser analisado pelas tradicionais ferramentas de Business Intelligence e caracterizado por "3 V's":
Volume: diz respeito à grande quantidade de dados gerados e armazenados, podendo ultrapassar a casa dos exabytes (1 bi de gigabytes) de dados .
Velocidade: refere-se à grande velocidade com que dados são gerados através de diferentes fontes, que podem incluir sensores, celulares, streaming, redes sociais, IoT, hardwares, entre outros.
Variedade: dados podem vir em diferentes formatos, estruturados como as tradicionais base de dados tabulares mas também de maneira não estruturada como em imagens, áudios, vídeos, textos, etc.
Com a difusão do tema e enriquecimento das discussões, outras palavras foram sendo incorporadas ao time dos "3 V's", como Veracidade, Variabilidade, Visualização e Valor. Além disso, o surgimento da computação distribuída e de tecnologias como o Hadoop permitiram avanços significativos nas análises desses grandes volumes de dados.
No entanto, pouca são as organizações que conseguem estruturar-se e realmente aproveitar os benefícios dessa prática. Altos investimentos para obtenção de bases de dados caras e que muitas vezes não agregam valor às análises, elevado número de horas de pessoas extremamente qualificadas em tarefas repetitivas de padronização e limpeza para conceber modelos que não geram resultado prático foram alguns dos fatores que deram sinais de alerta para as organizações repensarem suas estratégias relacionadas a dados. Uma pesquisa da Gartner de 2021 indicou que 70% das organizações irão redirecionar seu foco de Big Data para Small and Wide Data até 2025.
Podemos definir Small Data como dados dispostos em formato e volume propícios para a compreensão humana, sem precisar de complexidade para análise e que podem ser alocados em um servidor ou computador comum. O foco neste caso está na qualidade dos dados coletados, e não no volume. Isso não significa que essa estratégia não possa contribuir para que as organizações tenham uma visão ampla sobre todos os aspectos do seu negócio. Planejando a coleta de informações chaves de cada área da organização de maneira sistemática, automatizada e organizada, conseguimos coletar dados de praticamente qualquer área da empresa.
Apesar de não demandar conhecimentos avançados em ferramentas cloud, computação distribuída e machine learning, é necessária uma certa especialização para saber lidar com Small Data. Uma prática comum que observamos em distintas organizações é a de gestores e analistas fazendo download de inúmeras planilhas e csv's de diferentes sistemas e integrando tudo em um processo árduo, manual e repetitivo através de planilhas, o que por sua vez, sujeita o acontecimento de uma série de erros, comprometendo a confiabilidade dos indicadores finais. A identificação de fontes de dados e automação da extração, limpeza, integração e atualização desses dados podem ser considerados os alicerces que irão suportar toda a estrutura de Business Intelligence de uma organização, processos que fazem parte da engenharia de dados.
Uma vez que essa base está consolidada, é hora de pensar a melhor estratégia para aproveitar ao máximo desse tesouro até então encoberto. Entender bem o contexto do negócio e as atividades de cada área, compreender o perfil do usuário final da solução e colocar em prática conhecimento em linguagens de programação voltadas para análise de dados entram em jogo para poder criar soluções de Business Intelligence sob medida como dashboards, notificações push e relatórios. Soluções que por sua vez, precisam ser adotadas e impulsionadas pelas pessoas da organização para assim poder dar confiança para a comunidade do negócio. Alguns usos dessas informações estão relacionadas a:
Apoiar uma gestão Data Driven: podendo contar com dados confiáveis, seguros e de fácil acesso, tomadas de decisão baseadas em suposições saem de cena e entram aquelas pautadas em fatos e evidências concretas. Esse tipo de gestão possibilita botar em prática a envolvente dinâmica de elaborar planos de ações e acompanhar o resultado dos mesmos através de indicadores pensados minuciosamente para cada situação e ir aprendendo com a identificação de iniciativas que mais geraram resultado.
Definir e acompanhar indicadores chaves: desde dashboards estratégicos para a alta gestão que englobam macro indicadores de todas as áreas até modelos mais simples de apoio à operação.
Visão 360º do negócio: integrando dados dos diferentes sistemas de uma organização e de suas áreas (Comercial, Marketing, Logística, Operação, Financeiro, Recursos Humanos, Compras, S&Op, etc).
Analisar e melhorar processos: identificar oportunidades de melhorias de processos, medir e monitorar a sua eficiência, automatizá-los e estabelecer novas práticas de gestão.
Segundo relatórios de empresas como McKinsey & Company e Forbes, estamos nos aproximando de uma nova era focada em dados já verificados, bem definidos, que sejam relevantes pra o negócio e que estejam prontos para serem analisados e inseridos em modelos preditivos: a era da Smart Data. Aqui o foco está voltado em otimizar a geração de insights e informação para obtenção de resultados de negócio, seja utilizando Small Data de maneira eficiente ou refinando Big Data para extrair aquilo que realmente agrega valor.
Observa-se um redirecionamento de uma estratégia que tenta abraçar um mundo de dados a sua volta sem objetivos claros (no estilo "boiling the ocean" ) para outra que busca gerar bons resultados o que já está disponível. A expressão "arrumar a casa antes de mudar o mundo" também pode ser aplicada ao contexto empresarial. Começando por um levantamento dos principais sistemas e fontes de dados digitais que ela possui, observando como esses dados estão estruturados e como eles se apresentam, seja exportando para Excel ou acessando uma base de ados (conhecimento básico em SQL já possibilita isso). Após essa avaliação inicial, entra o desafio de automatizar o processo de extração, transformação e carregamento desses dados e integrar todos eles de forma muito organizada, segura e prática. Uma vez que essa estrutura de apoio está estabelecida, é hora de começar a pensar na estratégia de uso desse valioso recurso.
A partir daqui, podem ser criadas as mais diversas e singulares soluções. Influenciadas pelas diferentes visões desejadas, necessidades, pessoas, modelos de gestão, cultura, e demais características únicas de cada organização. Certas empresas talvez iniciem com uma estratégia "Small & Wide" para ter uma visão 360º com os principais indicadores da sua organização. Outras, podem preferir acompanhar e melhorar processos de determinada área e eliminar onerosos retrabalhos relacionados a relatórios inconsistentes e compilação de informação. Em alguns casos, podem ate mesmo ir atrás de grandes volumes de dados para aplicar um modelo preditivo e tentar resolver um problema bem definido.
Dúvidas sobre como iniciar essa jornada? Conte com a equal | BI & Data Engineering para apoiar a sua organização nessa transformação.