Trabalhar com um grande volume de dados é sempre um desafio. Quando eles envolvem as mais de 60 milhões de pessoas inscritas no programa de Auxílio Emergencial do Governo Federal, pode ser até difícil saber até por onde começar. Neste workshop, a desenvolvedora back-end Juliany Raiol, encara essa missão utilizando o Elasticsearch, uma solução de código aberto (open source) de busca, análise e armazenamento de dados estruturados e não estruturados. A partir das informações coletadas no Portal da Transparência, você aprenderá a fazer buscas e operações básicas nessa plataforma multifuncional.
A partir de um panorama sobre as potencialidades da ferramenta, você conhecerá desde o ecossistema básico de trabalho com dados até a forma como grandes empresas, como a Uber, usam do Elasticsearch nos seus processos. Juliany comenta os principais pontos a serem avaliados na hora de decidir a implementação do programa em um projeto.
Juliany Raiol mostra o passo a passo do processo enquanto ensina as funcionalidades do Elasticsearch. Partindo da extração dos dados no site do governo em formato CSV, você acompanhará o caminho para a construção de um índex em JSON na plataforma até a aplicação de operações de busca simples e combinadas no banco de dados.
Aqui também será possível aprender a fazer análises no Elasticsearch utilizando tanto a biblioteca do Python quanto o Kibana – uma ferramenta diversa que permite a visualização de códigos e a criação de dashboards, canvas, logs e muitas outras coisas.
