Dando sequência ao nosso post anterior com 75 dicas para o trabalho com dados, vamos agora para mais uma rodada de dicas de ferramentas e técnicas.
Visualização de dados
- Ferramenta do Financial Times;
- Produção rápida de infográficos direto do navegador;
- Resultados podem ser exportados em PNG ou SVG;
- Já pensou em escutar o seu dataset?
- Esta ferramenta transforma seus dados em sons
- Ferramenta do Medium;
- Serve para visualizar rapidamente conjuntos de dados online: basta dar um CTRL+V no link.
- Bom para séries numéricas e temporais.
- “The most hipster plots on the web”
- Ferramenta online feita para facilitar a criação de gráficos de dispersão
- Resultados exportáveis em PNG e SVG
- Importa redes em formato Gefx;
- Permite montar slides que naveguem pela rede para contar uma história;
- Ferramenta da Google News Initiative;
- Criar infográficos comparativos em formato GIF;
- Ferramenta de código-aberto;
- Transforma dados em animações ou visualizações interativas;
- Projeto que apoia um ecossistema de ferramentas de visualização de dados interoperáveis;
- Utiliza formato JSON para salvar informações relativas aos gráficos;
- Permite criar gráficos usando a sintaxe de Markdown;
- Catálogo de ferramentas para visualização de dados;
- Permite a criação de timelines interativas em diversos formatos;
- Ferramenta de código-aberto da Microsoft;
Obtendo dados e informação
- O osint.link é um catálogo de ferramentas e plataformas que te ajudam a obter a informação que precisa.
- Você vai encontrar desde pesquisa por metadados a buscas em redes sociais, passando por registros de voos e acompanhamento de endereços IP
- Buscas avançadas no Facebook;
- Permite buscar relações entre pessoas, entre outras funcionalidades;
- Precisando fazer buscas no Twitter? Confira aqui esta lista de macetes:
- Alguns comandos estão desatualizados;
- Caixa de ferramenta para investigação com fontes abertas;
- Documento colaborativo;
- Tenta “advinhar” a data de criação de uma página na Internet;
- Faz consultas em fontes diversas para tal;
92. Fiquem Sabendo
- Agência especializada em Lei de Acesso à Informação;
- Dá dicas e orientações sobre o tema;
- Super lista com diversas APIs sobre os mais diversos temas;
- Organizada por assuntos;
- Plataforma que facilita a realização de buscas avançadas no Facebook;
- Permite a busca por palavras-chaves no Facebook, filtrando por datas;
- Ótima ferramenta para investigação;
- Permite vasculhar e interconectar facilmente dados sobre servidores e outras informações online;
- Projeto lançado recentemente pelo Google;
- Permite busca em conjuntos de dados
- Ferramenta para compartilhar dados tabulares
- Catálogo global de bases de dados
- 33 fontes registradas no Brasil (em abril/2019)
- Foco no jornalismo investigativo
- Excelente catálogo de ferramentas de ‘open source intelligence’;
- Ideal para investigações com fontes abertas.
- Referências classificadas tematicamente;
- Permite organizar informações e dados usando planilhas “turbinadas”;
- Conta com funcionalidades extras, tais como visualização em formato de galeria, customização dos campos, entre outras;
- Funciona no navegador (online);
- Gigantesco acervo com cópias da web;
- Ótimo para encontrar informações que foram apagadas ou atualizadas no site original, por exemplo.
- Projeto da @abraji que agrega informações sobre ações judiciais que buscam remover conteúdos da Internet;
- Antes de fazer um novo pedido via Lei de Acesso a Informação, convém verificar se a resposta já não foi dada antes;
- No nível federal, você pode fazer buscas em pedidos prévios por órgão ou palavra-chave
- Buscando dados sobre pesquisas eleitorais? O @poder360 reuniu várias;
- Acervo desde 2002 a 2018;
- A plataforma permite o compartilhamento de datasets;
- Reúne hoje mais de 900 conjuntos de dados, especialmente sobre temas globais
- Se você busca por dados e documentos da Lava Jato, então o Lava Jota é o lugar para conferir
- Para buscar informações judiciais sobre políticos, a dica é o Publique-se, ferramenta da @abraji
Programação e análise de textos
- Plataforma para criar ‘notebooks’ de R online
- Pacote R;
- Facilita a atualização de valores por índices de inflação;
- Site que permite colar blocos de textos e te dá informações sobre frequência de palavras;
- Útil se você quer saber as categorias mais frequentes em uma lista de itens, por exemplo;
- Materiais didáticos sobre análise de textos utilizando dados;
- Gratuito e de código-aberto, funciona online;
- Produz dashboards automatizados;
- Ótima ferramenta/plataforma para análise de textos;
- A partir de qualquer texto ou link, gera uma linha do tempo com as referências de datas encontradas;
- Funciona no navegador e exporta direto para o TimelineJS
Dados geográficos
- Caixa de ferramentas online para trabalhar com arquivos geográficos;
- Permite realizar conversões, edição e mescla de dados
- Voltado para a produção de vídeos 3d;
- Usa imagens do Google Earth;
- Funciona no browser e exige aprovação de cadastro;
- Inspirado no Instagram, esta ferramenta é também uma rede social.
- O SnapPlanet permite criar e compartilhar facilmente timelapses com imagens de satélites
- Também facilita a utilização de filtros diversos.
- Plataforma do governo norte-americano;
- Permite visualizar diferentes catálogos de imagens obtidas via satélites;
- Ferramenta interessante para pesquisar imagens de satélites;
- Permite fazer comparações do tipo antes/depois;
- Permite criar mapas mundiais ou nacionais customizados rapidamente online;
- Exporta o resultado como imagem, SVG e HTML.
- Facilita a conversão de campos com geolocalização a partir de informações em texto;
- Ferramenta online;
- Faz mesclas simples de dados geográficos;
- Permite a criação de mapas proporcionais a um determinado dataset;
- Tem o template dos estados brasileiros!;
- Editor de arquivos geográficos multifuncional;
- Código-aberto
- Plugin para o QGIS que permite criar facilmente mapas 3d navegáveis
- Você pode usar arquivos de Digital Elevation Model (DEM) – como estes do IBGE – para mapas 3d no Brasil
Limpeza e análise
- Ferramenta online interativa para limpeza de dados;
- Criado pelo Standford Visualization Group;
- Abby FineReader
- Se você precisa libertar dados em PDF e precisa lidar apenas com poucas páginas, uma boa solução gratuita é o serviço de OCR do Abby Reader Online;
- Converte diretamente para formato de planilha;
- Ferramenta online em código-aberto desenvolvida pela Open Knowledge;
- Fornece uma API para validar dados tabulares;
- Recebe uma lista e tira os itens duplicados;
- Funciona online;
- Permite visualizar o conteúdos e tipos de dados de arquivos de CSV rapidamente;
- Funciona online no navegador
- Compara dois ou mais arquivos de textos;
- Informa o quanto similares ou diferentes eles são;
- Funciona online, no navegador;
- Ferramenta online e de código-aberto;
- Transforma dados em Excel em HTML, JSON e XML;
- Produzido pela Escola de Dados
- Introdução a expressão regular
- Se você precisar mesclar vários arquivos CSVs online, este site é uma opção;
- Junta múltiplos arquivos na ordem que você preferir
- Permite também configurações para ajustar o cabeçalho da tabela
- Com o CSV Fingerprint você consegue gerar rapidamente uma “impressão digital” do arquivo
- Para visualizar os tipos da coluna (string, vazia, número inteiro, decimais) em cores diferentes.
- Útil para ter um panorama ou comparar rapidamente tabelas grandes
Guias, conteúdos e plataformas
- Um guia rápido para achar ferramentas de análise e visualização para seus dados;
- Catálogo online;
- Permite explorar grandes bancos de dados de forma gráfica e intuitiva;
- Plataforma de código-aberto;
- Se você busca matéria que trabalhem com dados, então, vale conferir a curadoria colaborativa
- Organizada pelo Volt Datalab
- Plataforma que te permite fazer pedidos de Lei de Acesso à Informação de maneira anônima;
- Criada pela Open Knowledge Brasil;
- Sabia que a gente tem um fórum para conectar pessoas interessadas no trabalho com dados no Brasil?
- Lista de email aberta ao público;
- Coletânea internacional de materiais sobre jornalismo de dados;
- Segunda edição do manual de jornalismo de dados
- Já possui alguns textos publicados, mas não todos (em abril de 2019);
- Material introdutório sobre dados abertos;
- Produzido pelo NIC.Br;
- Primeiro podcast sobre Ciência de Dados do Brasil;
- Base de dados de iniciativas e recursos de jornalismo colaborativo mundo afora
- NICAR é um evento anual sobre jornalismo de dados, que ocorre nos Estados Unidos;
- Nesta lista, você encontrar apresentações e tutoriais de 2018;
- Base colaborativa com repositórios de dados;
- Também produzem um podcast, que abordou a Escola de Dados no segundo episódio 😀
- Segurança digital é assunto incontornável hoje em dia e a ABRAJI separou 4 dicas sobre o assunto;
- Ferramenta de conhecimento computacional;
- Responde perguntas feitas pelos usuários através de consultas automatizadas em base de dados;
Extra!
Tem mais, segue aqui cinco dicas extras que preparamos para você:
- Visualização de dados;
- Plugin do QGIS
- A maior base de dados sobre empresas do mundo;
- Catálogo de ferramentas de métodos digitais;
- Wiki com softwares para análise de mídia, tratamento de dados e outros
- Ferramenta de código-aberto desenvolvida pela Open Knowledge;
- Principal referência em software livre para repositórios de dados online;
- Data Physicalization (Wiki)
- Dados além da tela: repositório de referências sobre “data physicalization”
- “Data Phyisicalization” é a representação física e material de dados, buscando auxiliar pessoas a explorar, entender e comunicar os dados para além das visualizações.
Autoria
Adriano Belisario
