Vocês pediram, nós atendemos. Na última semana, publicamos uma imagem nas nossas redes sociais falando que cada curtida equivaleria a uma dica para o trabalho com dados no próximo post do nosso blog.
Abaixo, segue a nossa primeira leva de dicas. Como as respostas foram um pouquinho mais entusiasmadas do que o que esperávamos, vamos separar as dicas em 2 partes para vocês poderem aproveitar melhor o conteúdo que organizamos.
As primeiras dicas a seguir foram retiradas principalmente do workshop “70 ferramentas em 90 minutos”, apresentada por Natália Mazotte, da Escola de Dados, no CODA de 2017.
- Webscraper
- Extensão do chrome
- Funciona dentro do webinspector
- Raspa dados sem necessidade de programação
- #raspagem #semprogramação
- OpenRefine
- Open Source
- Vigilância sanitária dos dados
- Diferencial: cluster and edit
- #limpeza #semprogramação
- Convextra
- Plugin para o browser
- Data mining sem código
- #raspagem #semprogramação
- IFTTT
- Serviço web
- Conecta outros serviços, aplicativos e aparelhos
- Pode servir para coletar dados sobre um tema em redes sociais #coleta
- #semprogramação
- Achados e pedidos
- Plataforma que reúne milhares de pedidos de acesso à informação de cidadãos
- Traz as respostas da administração pública feitas via Lei de Acesso à Informação (LAI)
- Antes de pedir pela LAI, veja se a resposta já está disponível (e poupe 20 dias)
- #coleta #semprogramação
- Tabula
- Open Source
- Liberta tabelas de PDFs
- Interface amigável
- Sem OCR!!!
- #conversão #semprogramação
- Google Sheets
- O Excel do Google
- Serviço web
- Documentos compartilháveis
- Edição colaborativa
- #análise #semprogramação
- Pandas
- Biblioteca de Python
- Excelente toolkit para análise de dados
- Facilita operações para manipulação de tabelas numéricas e séries temporais
- #análise #programação
- NLTK
- Natural Language Toolkit
- PLN: Automatizar a compreensão das línguas humanas
- Biblioteca em Python para processamento de linguagem natural
- Permite processamento em português
- #análise #programação
- RStudio
- Programa open source que traz uma interface gráfica mais amigável para utilizar o R
- R = linguagem de programação para gráficos e cálculos estatísticos
- #análise #programação
- DB Browser
- Programa que permite visualizar, editar e executar scripts SQL
- Permite navegar ou alterar dados, executar scripts, exportar e imprimir dados
- #análise #programação
- Jupyter
- Aplicativo que produz documentos com códigos de programação (por exemplo, em Python) e elementos de
- texto (parágrafo, equações, figuras, links, etc)
- São documentos legíveis por humanos e executáveis por computador (para realizar a análise de dados, por exemplo)
- #programação
- TensorFlow
- Biblioteca open source para aprendizado de máquina
- Lançada pelo Google
- Permite treinamento de redes neurais para detectar e decifrar padrões e correlações
- #machinelearning #programação
- Numpy
- Pacote para a linguagem Python
- Para trabalhar com computação científica
- Possui uma larga coleção de funções matemáticas
- #análise #programação
- Storymap
- Possibilita plotar narrativas em mapas
- Linka com fotos e vídeos
- #visualização #semprogramação
- Carto
- Ferramenta de visualização de dados em mapas
- Transforma automaticamente dados não geolocalizados
- #visualização #semprogramação
- Timeline Knightlab
- Ferramenta web que possibilita a criação de cronologias
- Interface de edição no Google Sheets
- #visualização #semprogramação
- Ushahidi
- Ferramenta open-source para a coleta de informações, visualização e mapeamento interativo
- Coleta crowdsourcing de dados: do twitter, de celulares, etc
- #coleta #semprogramação
- Import.io
- Ferramenta que permite realizar raspagem de dados sem programação
- Interface amigável
- Ferramenta paga
- #raspagem #semprogramação
- Cometdots
- Serviço de conversão de arquivos PDF em diferentes formatos
- Possui uma API para conversão automática de vários arquivos PDF para outros formatos
- #conversão #semprogramação
- ArborJS
- Biblioteca JavaScript para visualização de grafos
- #visualização #programação
- Gephi
- Ferramenta open source para visualização de grafos
- Permite análise e visualização de redes
- #visualização #semprogramação
- BeautifulSoup
- Biblioteca em Python para raspagem de dados
- #raspagem #programação
- Google Fusion Tables
- Ferramenta web criada pelo google para análise e visualização de dados
- Capacidade de trabalhar com datasets mais robustos
- #analise #visualização #semprogramação
- Tesseract
- Software de reconhecimento ótico de caracteres de código aberto
- Para os F&*#$ PDFs que são imagem!
- #raspagem #conversão #semprogramação
- Workbench
- Combina raspagem, análise e visualização de forma simples
- Funciona a partir de módulos que podem ser facilmente montados em um “fluxo de trabalho”
- Compartilhável e produz gráficos publicáveis ou uma live API
- #semprogramação
- Tableau Public
- Como andar de bicicleta: aprender pode ser um pouco doloroso, mas depois fica mole-mole e é só alegria
- Poderosa para análise e visualização
- Versão gratuita atende muito bem ao jornalismo
- Conferências inteiras são realizadas em torno dela
- #visualização #semprogramação
- TreeMap
- Ferramenta paga para criação de tree maps
- #visualização #semprogramação
- Datawrapper
- Cria gráficos e mapas
- Gratuita até 10.000 views
- Vejam também: river.datawrapper.de (playground pra trocar gráficos)
- #visualização #semprogramação
- Plotly
- Biblioteca open-source JavaScript, R e Python para visualização de gráficos
- #visualização #semprogramação
- Hadoop
- Software de código aberto para processar grandes bases de dados
- #análise #semprogramação
- Neo4J
- Plataforma para criação e manipulação de grafos
- Utilizado para os Panama Papers e Paradise Papers
- #visualização #semprogramação
- D3js
- Biblioteca javascript que permite manipular dados e gerar gráficos usando HTML, SVG e CSS
- #visualização #programação
- Google Earth
- Programa que apresenta modelos tridimensionais do globo
- Permite explorar espaços do globo e marcar trajetórias
- #visualização #semprogramação
- Infogram
- Ferramenta de visualização de dados
- Diferentes tipos de gráfico
- Interface de edição amigável
- #visualização #semprogramação
- Document Cloud
- Catálogo online de documentos para jornalistas
- Facilita a compreensão dos documentos classificando entidades (datas, pessoas, etc)
- #armazenamento #análise #semprogramação
- TexTexture
- Visualiza textos como redes
- Resumo visual rápido do texto
- #análise #semprogramação
- Ai2HTML
- Ferramenta open-source para converter documentos feitos no Adobe Illustrator em html e css.
- Vantagem: podemos “escalar” o gráfico (maior ou menor), mas manter o texto legível com o mesmo tamanho
- da fonte e altura da linha.
- #conversão #semprogramação
- Timeline Storyteller
- Ferramenta para criar linhas do tempo e séries temporais em diferentes tipos de representação
- #visualização #semprogramação
- RawGraphs
- Ferramenta de visualização Open Source
- Diferentes tipos de gráficos e layouts
- Modelo “drag and drop”
- #visualização #semprogramação
- ColorBrewer
- Ferramenta sugere paleta de cores para utilização em mapas
- #visualização #semprogramação
- E2D3
- Excel to D3
- Permite criar gráficos dinâmicos e interativos no Excel sem programação
- Faz a ponte entre uma ferramenta de análise estatística (Excel) e uma ferramenta gráfica (D3.js)
- #conversão #semprogramação
- Piktochart
- Ferramenta para a construção de infográficos
- Interface amigável, parte de templates básicos formatáveis
- #visualização #semprogramação
- BitBucket
- Sistema de controle de versão distribuída
- Semelhante ao GitHub, mas é pago
- #programação
- Tulip
- Ferramenta útil para estilizar mapas coropléticos
- Parte de arquivos GeoJSON (formato para dados geográficos baseado em JSON)
- #visualização #programação
- Typing.io
- Serviço web para treinar escrita de código
- Serve para diferentes linguagens ( JavaScript, Ruby, C, C ++, Java, PHP, Perl, Haskell, Scala e outras)
- #programação
- Parserator
- Analisa e divide textos não estruturados e transforma em dados estruturados
- Funciona para endereços e nomes
- #análise #semprogramação
- DataStudio
- O “Tableau” do Google!
- Vantagem: possibilidade de edição compartilhada
- Gera dashboards e relatórios sem complicação
- #visualização #semprogramação
- Linkurious
- Ferramenta web para construção de grafos
- Permite integração com datasets de bilhões de linhas
- Possibilita análise de bases orientadas a grafos
- #visualização #semprogramação
- Visualize Free
- Ferramenta para criar dashboards interativos
- Semelhante ao Tableau
- Conecta com diferentes tipos de dados
- Bom para gerar relatórios
- #visualização #semprogramação
- ElasticSearch
- Servidor de buscas baseado em um software em Java especializado em indexação e buscas ultra rápidas
- Motor de pesquisa textual altamente escalável
- Permite armazenar e analisar grandes volumes de informações praticamente em tempo real
- #armazenamento #análise #semprogramação
- Google Dataprep
- Ferramenta Google para data wrangling
- Interface amigável
- Possibilidade de edição compartilhada
- #limpeza #semprogramação
- VozData
- Plataforma de colaboração aberta criada para transformar documentos públicos em informação útil
- Deu origem a diversas reportagens guiadas por dados do La Nación Argentina
- #coleta #semprogramação
- TimeMapper
- Cria cronologias em cima de mapas
- Permite navegar sobre imagens
- #visualização #semprogramação
- PDFPlumber
- Biblioteca Python para libertar tabelas de PDFs
- #conversão #programação
- PDF Tables
- Conversor de tabelas de PDFs para formatos abertos (CSV, por exemplo)
- #conversão #semprogramação
- HTMLWidgets
- Permite “converter” visualizações feitas a partir de bibliotecas JavaScript (como D3) em visualizações para R
- Permite criar dashboards
- #visualização #programação
- QGis
- Programa open source para criação e manipulação de mapas
- #visualização #semprogramação
- Polymaps
- Biblioteca JavaScript para gerar mapas utilizando arquivos SVG
- #visualização #programação
- Netlytic
- Ferramenta de monitoramento de mídias sociais
- Paga, mas planos mais baratos que os apps comerciais
- Interface com Twitter, Facebook, YouTube, Instagram, Feeds e Google Drive.
- #redessociais #semprogramação
- Flourish
- Ferramenta de visualização de interface amigável
- Diferentes tipos de gráficos e layouts
- Permite criar animações com gráficos
- #visualização #semprogramação
- DataGifMaker
- Gifs para comparar termos de busca no Google
- Interface de edição simples
- Apenas 4 cores, quase nenhuma possibilidade de customização
- #visualização #semprogramação
- TAGS
- Twitter Archiving Google Sheets
- Template do sheets que coleta tweets a partir de resultados de uma busca
- Facilmente configurável
- #redessociais #coleta #semprogramação
- Netvizz
- Aplicativo do Facebook que captura e planifica dados de posts, usuários e interações em páginas ou grupos
- Funciona apenas com páginas e grupos abertos
- Anonimiza os usuários
- #redessociais #coleta #semprogramação
- Flocker
- Aplicativo que estrutura redes de retweets e menções em tempo real
- Permite exportar em Gexf, SGV e PNG
- #redessociais #coleta #semprogramação
- NodeXL
- Extensão do Microsoft Excel
- Permite a análise de redes e tem a opção de captura de dados do Twitter e do Facebook (+ Youtube e Flickr)
- #redessociais #análise #coleta #semprogramação
- Public Data Explorer
- Facilita a exploração e visualização de grandes conjuntos de dados públicos relevantes
- Funciona melhor em ENG
- Permite o upload e compartilhamento de bases próprias
- #coleta #análise #visualização #semprogramação
- Crowdtangle
- Ferramenta para rastrear a difusão de conteúdo em redes sociais
- Identifica influenciadores
- Não é gratuita (mas dá para conseguir acesso como jornalista)
- #redessociais #análise #semprogramação
- Googleform
- Ferramenta do G Suite para produzir questionários online
- Permite personalizar os formulários e incluir imagens (ex: logo)
- Possui diversos tipos de perguntas: múltipla escolha, caixas de checagem (em que mais de uma resposta pode ser escolhida), escalas, listas suspensas e mais
- #coleta #semprogramação
- QuickCode
- Ferramenta que permite programar em R e Python sem precisar instalar programas
- Suporte de uma comunidade de desenvolvedores
- Biblioteca de códigos bem indexada
- #raspagem #limpeza #análise #programação
- HighCharts
- Biblioteca de códigos em JavaScript
- Interativa, multiplataforma e responsiva
- Gratuita para uso não comercial
- #visualização #programação
- LeafLet
- Biblioteca interativa de mapas em JavaScript, com base nos dados do OpenStreetMaps
- Open source e responsiva
- #visualização #mapas #html #css
- VIS: Visual Investigative Scenarios
- Ferramenta para visualização de redes relacionais
- Não requer programação
- Pode ser incorporada no código do seu site
- #visualização #redes #semprogramação
- Brasil.IO
- Repositório de dados públicos disponibilizados em formato acessível
- É possível sugerir ou encomendar a libertação de novos datasets
- #dadosabertos #dadosacessíveis
- Graph Commons
- Ferramenta que permite visualização de redes
- Gratuito para projetos com dados públicos e abertos
- Pode ser incorporada via html
- #visualização #redes #semprogramação
Autoria
Escola de Dados
