Checagem de imagens: cronolocalização de fotos

Este tutorial foi escrito em maio de 2022 por Adriano Belisario, com contribuições de Thulio Pompeu

Neste tutorial, baseado em um desafio do curso ‘Investigações digitais – OSINT para jornalistas e ativistas’, veremos como trabalhar com técnicas de inteligência com fontes abertas (OSINT) que permitem checar a localização, data e hora onde uma certa imagem foi capturada. A geolocalização (“de onde é essa imagem?”) e a cronolocalização (“de quando é essa imagem?”) são habilidades fundamentais da área conhecida como ‘investigações visuais’, que utilizam consultas a bases de dados e tecnologias de visão computacional para analisar fotos ou vídeos.

A partir da documentação das abordagens para solucionar os desafios, este texto compartilha dicas e recursos úteis para jornalistas, checadores de fatos, investigadores e pesquisadores em geral. No final do texto, há uma lista de outras referências relacionadas ao tema.

O tutorial está dividido em duas partes. Na primeira, iremos responder a pergunta “Onde?”, abordando os seguintes tópicos:

Preparando a imagem;
Busca reversa de imagens;
Geolocalizando fotos com o Google Earth;

Em seguida, iremos responder o “Quando?” e, para isso, abordaremos:

Pesquisa em imagens de satélites;
Análise de sombras no Sun Calc;

Longe de esgotar o assunto ou apresentar todas as abordagens possíveis, o objetivo é apresentar sugestões pontuais para iniciantes na área. Por isso, não serão abordadas aqui técnicas correlatas para esta mesma finalidade, como por exemplo análise de metadados de arquivos, modelagens 3d ou busca avançada na web.

Escolhi uma foto aleatória de um perfil público no Instagram para servir como base para o desafio. A pessoa foi apagada da foto para proteção de sua identidade. Iremos partir do pressuposto que a foto foi tirada no dia 20 de agosto. Nosso objetivo é descobrir onde ela foi registrada e quando (ano e horário aproximado).

Preparando a imagem

Em alguns casos, pode ser interessante preparar a imagem antes de começar a investigação. Por exemplo, se você tem um vídeo, pode capturar quadros (frames) específicos, de diferentes ângulos, para montar um panorama. Já para imagens estáticas, é possível aplicar uma ou mais das seguintes abordagens, entre outras:

Ampliar (dar zoom) em determinados elementos;
Recortar elementos específicos da foto;
Remover elementos específicos da foto;
Aumentar o contraste ou fazer ajustes de cores para identificar melhor sombras;

As duas primeiras são úteis para ter melhores resultados na busca reversa. É possível ampliar, mudar o contraste ou cortar elementos específicos de uma foto para transformá-los em uma imagem separada usando qualquer editor de imagem (o GIMP é uma boa alternativa gratuita e de código aberto).

Para remover elementos de uma imagem, o site é cleanup.pictures é uma excelente opção, bastante intuitiva mesmo para pessoas completamente leigas em edição de imagens. Rapidamente e de forma rudimentar, usamos essa ferramenta com a imagem anterior. O resultado você confere abaixo.

Busca reversa de imagens

Para usar a busca reversa de imagens para fins de geolocalização, o primeiro passo é destacar um ou mais elementos da imagem que possam ajudar a identificar um determinado local. No exemplo anterior, vamos tomar como base o prédio que aparece ao fundo da imagem e traz um padrão visual característico (veja abaixo).

Atualmente, as plataformas de busca reversa mais famosas já possuem mecanismos nativos para cortar a imagem, de modo que você pode fazer o upload da foto inteira e fazer “buscas visuais” por áreas específicas, selecionando partes da imagem no próprio navegador.

O próximo passo envolve usar uma ou mais plataformas que permitam de fato fazer a busca reversa de imagem. Ou seja, nosso “termo” de busca será uma imagem e queremos que o buscador nos retorne links relacionados, outras ocorrências da mesma imagem ou outras imagens semelhantes. Os resultados podem variar drasticamente, de acordo com a imagem utilizada na busca e o mecanismo escolhido.

Veja na tabela abaixo um breve comparativo da performance do Google Lens, Google Image, Yandex e Bing para a imagem acima. As informações foram consultadas no dia 17 de maio de 2022.

	Google Lens	Google Image	Yandex	Bing
Resultados de links	Relevantes	Nada relevante	Nada relevante	Não há
Permite selecionar trechos da foto e fazer a busca?	Sim	Não	Sim	Sim
Resultado das primeiras imagens semelhantes	Relevantes, a depender do recorte escolhido para a imagem	Nada relevante	Nada relevante	Nada relevante

O Google Lens teve, de longe, a melhor performance. A depender do recorte na imagem feito, ele trouxe diferentes resultados, mas um deles correspondia exatamente com o prédio em questão. Por isso, é importante sempre tentar recortes diferentes para a mesma imagem, ao realizar uma busca reversa. Além disso, os principais links relacionados já levavam a páginas que tratavam exatamente do prédio que aparece na foto.

Na esquerda, o Google Lens destaca uma localização errada. Na direita, o Google Lens destaca a localização correta, após a busca ser realizada com um recorte ligeiramente diferente. Na parte superior de ambas, é possível ver o recorte utilizado para cada busca.

Independente do recorte, em ambas as situações, repare que os links relacionados abaixo são todos relacionados ao prédio do Pólo Universitário da Ajuda, em Lisboa.

Buscando pelo local na Internet é possível encontrar outras evidências visuais que indicam ser este o prédio que aparece na foto em questão. O primeiro resultado é sobre a inauguração da ‘Residência Universitária do Campus da Ajuda’, em 2019. Repare nos padrões semelhantes entre o prédio que buscamos e a imagem abaixo.

Fonte da imagem: Universidade de Lisboa

Você também deve usar outros recursos pra ajudar a checar se a localização está correta. Neste caso, há inclusive uma página na Wikipedia sobre este espaço. Navegar pelo Google Maps/Google Street View, é bastante útil. Confira no Street View como aparece o prédio em questão nestes sites.

Pesquisando por “Pólo Universitário da Ajuda” no Google Maps, também é possível encontrar referência à “Residência Universitária do Pólo da Ajuda” e imagens do prédio em questão. Clique na opção “Camadas” para alternar para a visão de imagem de satélite e dê um zoom para identificar o prédio.

Feito isso, clique do lado direito e clique na numeração correspondente à latitude e longitude daquela posição. Neste exemplo, deve ser algo próximo às seguintes coordenadas: 38.71164, -9.19522.

Geolocalizando fotos com o Google Earth

Depois de identificar e checar um ponto de referência, é razoavelmente simples identificar a posição exata – ou, pelo menos, aproximada – onde a foto foi capturada. Para isso, basta usar os recursos de navegação em três dimensões do Google Earth – ou mesmo o Google Street View.

Recomendamos o uso do Google Earth Pro, mas também é possível conseguir bons resultados utilizando a versão web, que funciona direto do navegador. Vamos utilizar a latitude e longitude obtidas na etapa anterior para fazer a busca aqui.

Agora, o objetivo é tentar reproduzir a posição e ângulo da câmera, em relação a nossa imagem. O segredo é explorar a região e usar o mouse e o teclado para ajustar o posicionamento da câmera. Arrastando o mapa com o mouse e segurando as teclas Control, Shift e Alt, você irá obter diferentes resultados. Veja a documentação oficial do Google Earth (‘Utilize atalhos de teclado para navegar no Google Earth’) para mais informações.

Clique aqui para acessar o Pólo Universitário da Ajuda, visualizado no Google Earth na web. No Google Earth Pro, é possível ter mais flexibilidade de configurar a posição da câmera, acessar recursos do Street View e também inserir a foto original como uma camada sobrepondo o espaço, para fins de verificação. Repare que, analisando as imagens com a ferramenta, é possível identificar até mesmo um poste, que corresponde ao objeto que tem a sombra projetada no caminho que aparece atrás da pessoa. Este é um detalhe que será importante para nossa etapa de cronolocalização, no final do tutorial.

Outra metodologia comum é colocar a imagem obtida pelo Google Earth e a foto lado a lado, destacando pontos de semelhança com retângulos de cores específicas.

Depois de explorar a região, encontramos as seguintes coordenadas, que indicam o local aproximado onde a foto foi tirada: 38.7117,-9.1967.

Pesquisa em imagens de satélites

Agora, já sabemos exatamente onde a foto foi capturada. Mas quando? Temos uma indicação de dia, mas qual foi o ano? E o horário aproximado?

Neste momento, é útil tentar organizar uma linha do tempo, com imagens de satélites, registros do Street View, fotos de terceiro, notícias e qualquer outro recurso que ajude a localizar no tempo os elementos que aparecem na imagem. No caso da foto acima, repare que há algo que aparenta ser um andaime de construção e 2 guindastes na foto, que estão destacados abaixo. Se conseguirmos localizar outras imagens datadas onde tais elementos estejam aparentes, podemos encontrar indícios que nos ajudem a cronolocalizar a foto.

Explorando a função de imagens históricas do Google Earth, podemos consultar registros feitos por satélites dessa área. Confira abaixo as transformações no local entre 2016 e 2021.

Em junho de 2016, o terreno aparece completamente vazio.

Em junho de 2018, já é possível ver o trecho da esquerda do prédio, que foi usado para fazer a busca reversa de imagem (destacado abaixo com um retângulo amarelo). Porém, a área à esquerda dele, sinalizado com o número 1, onde na foto vemos o guindaste e algum tipo de construção vertical, está completamente vazia.

Em agosto de 2018, vemos um guindaste, porém a região 1 ainda está sem nenhum sinal de construção vertical. Além disso, é possível observar algo que parece como obras na região destacada abaixo (região 2).

Acompanhando a sequência no Google Earth, em maio e julho de 2019, as imagens mostram, respectivamente, transformações na região 2, que parecem mostrar o avanço das obras, e uma ausência de sinais de construção civil em um segundo momento. Isso vai ao encontro da notícia de julho de 2019, que encontramos na busca reversa e trata da inauguração da ‘Residência Universitária do Campus da Ajuda’. O Google Street View oferece uma visão do local em setembro de 2019.

De 2019 a 2020, a região 1 segue completamente vazia. Já em julho de 2020, o Google Earth mostra obras neste local. É possível ver um guindaste, mas ainda não há sinais de construções verticais na região.

A imagem de satélite seguinte é de janeiro de 2021, onde já é possível ver sinais de construção vertical na região 1. O mesmo acontece para as datas posteriores. Então, como podemos saber se a foto tirada em 2020 ou 2021? Há uma outra “assinatura visual” na imagem que pode nos ajudar aqui.

Após explorar a região, é possível encontrar uma terceira área (região 3, destacada na imagem abaixo), que coincide com a direção do guindaste em segundo plano. Até janeiro de 2021, é possível ver que há apenas um gramado ali, porém, a partir da imagem de junho de 2021, vemos sinais de construção civil no local e um guindaste, que aparenta coincidir com a posição e ângulo daquele observado na foto.

Diante das informações levantadas aqui, seria viável supor que a imagem foi tirada no dia 20 de agosto de 2021. Podemos usar outras fontes abertas de informação para encontrar indícios que confirmem (ou contradigam) esta hipótese. Por exemplo, podemos consultar como estava o tempo e as condições climáticas na cidade.

Neste caso, checamos esta informação usando o buscador Wolfram Alpha e o site Time and Date, mas existem vários outros recursos disponíveis. Veja nas imagens abaixo que, de acordo com o site, em 20 de agosto de 2020 Lisboa teve um tempo chuvoso, enquanto que no ano seguinte houve sol e apenas nuvens passageiras.

Agora, já temos uma indicação do dia e local exato da foto. Com estes dados, podemos analisar as sombras da imagem para estimar um horário.

Análise de sombras no Sun Calc

Antes de botar a mão na massa, vamos refrescar algumas noções importantes para a cronolocalização e checagem do horário de imagens. Não se trata de nenhuma ideia inovadora. Pelo contrário, o princípio básico aqui é bem conhecido há séculos: a sombra projetada por um dado objeto muda conforme o passar do dia e o movimento do sol no céu. Com a cronolocalização, objetos, pessoas e suas respectivas sombras funcionam como uma espécie de relógio de sol, que nos permite estimar o horário ou mesmo o dia de determinado evento.

Ou seja, a proporção entre o tamanho de um objeto e o tamanho da sua sombra (ou melhor, o ângulo entre estas medidas) está relacionada à altura ou altitude do sol. Quando o sol nasce ou se põe no horizonte, por exemplo, dizemos que sua altitude é de 0 graus. A cada minuto, esta altitude varia, sempre saindo e voltando à marca de 0 graus, de modo que sempre haverá dois horários com o mesmo valor de altitude do sol em uma certa data: uma antes e outra depois do meio-dia solar.

Enquanto a altitude do sol se repete duas vezes no dia e está relacionada ao tamanho das sombras que são projetadas, a direção para a qual estas sombras são projetadas (em relação ao norte) é única durante todo dia. Esta variável também é medida em graus e atende pelo nome de azimute.

Abaixo, há tutoriais e referências para cronolocalizar fotos a partir da análise de sombras, que exploram estes conceitos em mais profundidade. Existem diversas abordagens possíveis, que dependem de cada imagem. Neste caso, como nosso objetivo é primariamente pedagógico, iremos fazer apenas uma estimativa genérica, baseada na posição da sombra que observamos na imagem, com a finalidade de mostrar como o site Sun Calc funciona.

Depois de abrir a plataforma, faça uma busca pelas coordenadas de latitude e longitude do local onde a foto foi tirada (não são as coordenadas do prédio que usamos como ponto de referência) e insira a data de 20 de agosto de 2021 e dê um zoom na localização desejada. Outra opção é acessar este link direto para carregar o site já com estas informações inseridas: https://www.suncalc.org/#/38.7117,-9.1967,19/2021.08.20/12:27/3/1

Repare que na URL os valores destacados em laranja correspondem às seguintes variáveis, respectivamente:

Latitude
Longitude
Zoom do mapa
Data (no formato YYYY.MM.DD)
Horário
Tamanho do objeto em metros

Você pode alterar estes valores diretamente na URL, se quiser testar o Sun Calc em outros contextos.

No painel do lado esquerdo, na seção “Solar data for the selected location”, as informações que mais nos interessam estão na parte de baixo. Vejamos quais são, de cima para baixo:

“At an object level (m)”: aqui definimos o tamanho de um objeto que servirá como referência para o Sun Calc mostrar a sombra projetada em dado horário;
“Shadow length (m)”: mostra o tamanho da sombra do objeto anterior em dado horário;
Azimute: direção do sol em relação ao norte, em graus;
Altitude: altitude do sol, em graus.

Quanto aos dois primeiros itens, vale lembrar que o que importa é a proporção entre o tamanho do objeto e sua sombra. Ou seja, não estamos interessados em medir o tamanho real do objeto e sua sombra. Se a foto mostra um objeto e sua sombra, formando mais ou menos um ângulo de 90 graus entre eles, você pode medir estas duas dimensões na imagem,usando qualquer unidade de medida (cm, pixels, etc) para calcular o grau com uma calculadora trigonométrica formado por estes vetores e chegar à altitude do sol naquele dia. Basta aplicar a função arcotangente para descobrir o ângulo.

α = arctan(tamanho do objeto / tamanho da sombra)

Para ver esta metodologia no prática, confira as referências abaixo. Os primeiros tutoriais listados descrevem este processo em mais detalhes.

Na foto deste tutorial, não é possível ver o poste que projeta a sombra atrás da pessoa. Utilizando outras abordagens e buscando outras imagens de referência da área, seria possível fazer uma estimativa mais precisa. Porém, aqui iremos formular um palpite com um intervalo de horário possível, baseado apenas na posição da sombra.

Arrastando a linha do tempo com os horários do dia no Suncalc e observando o movimento do sol (representado por uma bola laranja) e da sombra de nosso objeto (representado por um traço preto, que será maior ou menor a depender do tamanho do objeto configurado e da altitude do sol), podemos concluir que a sombra da nossa foto não parece estar alinhada totalmente ao norte. Na foto, ela aparenta estar levemente inclinada para o leste, em direção ao prédio do alojamento estudantil.

No SunCalc, vemos que o momento em que a sombra esteve alinhada ao norte foi por volta de 13h30. Cerca de 14 horas já é possível observar um desvio para o leste similar ao que buscamos e aproximadamente após 16 horas a direção da sombra no SunCalc já aparenta apontar mais ao leste do que em nossa foto. Então, poderíamos formular um palpite de que o registro ocorreu entre 14 e 16 horas.

Novamente: seria possível analisar outras referências da imagem e realizar uma análise mais aprofundada para chegar a uma estimativa mais precisa, se necessário. Mais do que descobrir exatamente o horário em questão, nosso objetivo aqui é praticar o Sun Calc dar um panorama prático de técnicas de cronolocalização.

Conclusão e checagem dos resultados (contém spoilers)

Agora que chegamos ao final do processo, podemos revelar as informações do post original para checar se nossos palpites foram adequados.

Confira abaixo uma captura de tela que indica o dia de postagem da foto no Instagram.

Analisando o código-fonte de uma postagem do Instagram, é possível encontrar o horário exato de postagem da foto, procurando pela palavra “timestamp”. No caso, encontramos o seguinte valor: 2021-08-20T14:36:02.000Z.

Mas é preciso atenção aqui: o “timestamp” das fotos no Instagram aparecem no fuso horário UTC, enquanto que o Sun Calc mostra o fuso horário da localidade selecionada, UTC+1. Ou seja, a postagem da foto foi às 15h36 no horário de Lisboa.

Porém, é preciso ressaltar que este é o horário da postagem na rede social. Isso não quer dizer que a foto tenha sido feita neste horário. Necessariamente, o registro ocorreu um pouco (ou muito) antes.

Referências e tutoriais

No Boletim de Dados, nossa newsletter exclusiva para participantes do programa de membresia da Escola de Dados, trazemos diversas novidades e atualizações sobre OSINT todo mês. Caso queira se manter atualizado nesta área, recomendamos que se inscreva ou acompanhe em nosso site as edições de acesso aberto.

Para saber mais sobre cronolocalização, confira os seguintes tutoriais:

Os recursos a seguir também podem ser úteis: