Querido Diário: hoje eu tornei um Diário Oficial acessível

Imagina conseguir navegar de forma fácil pela principal fonte de informações de interesse público das cidades, dos estados e da União? Quem já precisou encarar um Diário Oficial sabe que essa não é uma tarefa simples. Sem um padrão definido, cada lugar tem liberdade para decidir qual formato e estrutura usará – e na maioria das vezes não usam um formato aberto.

Foi pensando em mudar isso que nasceu o Querido Diário, um projeto de código aberto (open source) da Open Knowledge Brasil que tem como objetivo tornar os Diários Oficiais do país mais acessíveis e democráticos. Neste workshop, você vai aprender a raspar os dados publicados nos diários com a Ana Paula Gomes, engenheira de software, mestra em Ciências de Dados e fundadora do projeto Dados Abertos de Feira.

Ana Paula ensinará o passo a passo para contribuir com o projeto Querido Diário, traçando um panorama que inclui a escolha do diário a ser analisado até a raspagem de dados com spiders – programa de coleta que transforma dados não estruturados em formatos acessíveis. Com conhecimentos básicos em HTML e Python, você conseguirá extrair boas pautas através das informações publicadas nos diários.

Neste workshop, com enfoque na parte prática, você descobrirá como configurar o seu repositório a partir do Querido Diário, entendendo a estrutura da página em que irá trabalhar. A partir disso, a engenheira instruirá na criação do seu próprio spider, destacando os atributos obrigatórios e os métodos e classes importantes para o processo. Ao final desses passos, você aprenderá a abrir um Pull Request, onde mais pessoas poderão se beneficiar desses dados.

Ana Paula também vai dar dicas que facilitarão a sua vida na hora de escolher por qual cidade começar e como usar as ferramentas para desenvolvedores ao seu favor. Além disso, você aprenderá o que é o Scrapy e como ele pode ajudar na criação de spiders. Ao final do workshop, você estará pronto para aplicar o que aprendeu e contribuir com esse projeto essencial para a transparência do país.

Intermediário

1:30h

Instalação Python acima da versão 3.6

Instalação Git

Tutotiral sobre o Querido Diário

Spiders do Querido Diário

Pulls do Querido Diário

Criação de issues no projeto

Documentação do Scrapy

Tutorial Scrapy

Configuração do repositório

Site Imprensa Oficial

Exemplo: Município de Amélia Rodrigues (BA)

Censo: Mapeamento dos Diários Oficiais municipais do Brasil

Catarse do projeto