5 e 6/11 – ESPM SÃO PAULO
Acessando os dados da cidade maravilhosa com BIGQUERY E SQL
Neste workshop, a jornalista de dados Judite Cypreste e a desenvolvedora Patrícia Catandi apresentaram o inovador trabalho feito pelo Escritório de Dados, da Prefeitura do Rio de Janeiro. Com a missão de criar e comunicar políticas públicas a partir de dados e evidências, o Escritório trata os dados do município e os disponibiliza em um datalake.
O datalake ou repositório de dados pode ser entendido como um agrupamento de conjuntos de dados para facilitar a utilização e cruzamento do conteúdo armazenado, potencializando seu uso para além de somente publicizá-los, como fazem os portais da transparência ou de dados abertos na administração pública.
Ao longo da atividade, Judite e Patrícia compartilharam os bastidores do tratamento feito antes da disponibilização dos dados, a rotina de atualização, as dificuldades enfrentadas e como têm buscado fomentar a cultura de dados dentro da Prefeitura do Rio.
Um dos principais objetivos do Escritório é a valorização dos dados da cidade junto aos servidores públicos. Este grupo não só é essencial para a produção, armazenamento e disponibilização dos dados para a sociedade, como também usuário dessas bases de dados, que constituem fontes fundamentais para o acompanhamento e formulação de políticas públicas.
Mobilidade urbana, meteorologia, reclamações cidadãs, ocorrências e metas da cidade são exemplos de temas com dados disponibilizados pelo datalake da prefeitura. Durante a parte prática da oficina, Patrícia instruiu como acessar o serviço BigQuery, onde o banco de dados fica armazenado na nuvem da Google. Para isso, é necessário estar logado em uma conta de e-mail Gmail e navegar no console da ferramenta a partir da opção “Executar uma consulta no BigQuery”. No espaço, um novo projeto deve ser criado e, em “Espaço de trabalho SQL”, basta adicionar os dados do Escritório buscando por datario.
Utilizando o conjunto de dados sobre ocorrências para introduzir a estrutura e operações básicas de SQL, Patrícia mostrou como praticar as primeiras consultas, filtros e agrupamentos nos dados. Além desta ferramenta, o data lake também pode ser acessado a partir de Python, R, Stata e Power BI.
PATRÍCIA CATANDI
Formada em Física pela USP e com mestrado na mesma área, iniciou sua carreira em dados na 99, passando por grandes empresas do cenário nacional como Itaú e Raízen. Atualmente trabalha como Cientista/Engenheira de Dados no Escritório de Dados da Prefeitura do Rio de Janeiro e como professora de Machine Learning e Redes Neurais na Ada.
JUDITE CYPRESTE
Jornalista de dados no Escritório de Dados da Prefeitura do Rio de Janeiro.
REALIZAÇÃO
DESENVOLVIDO COM
APOIO
Nosso conteúdo está disponível sob a licença Creative Commons Atribuição 4.0 Internacional, e pode ser compartilhado e reutilizado para trabalhos derivados, desde que citada a fonte.