18 e 19/11 – ESPM SÃO PAULO (CAMPUS ÁLVARO ALVIM)
R. DR. ÁLVARO ALVIM, 123 – VILA MARIANA
ENTENDENDO E USANDO TRANSFORMERS, A TECNOLOGIA POR TRÁS DO CHATGPT
Texto por Ingrid Fernandes
Qual o poder e as limitações dos modelos Transformers, que estão remodelando a tecnologia de linguagem? Neste workshop, conduzido por Adriano Belisário, os participantes exploraram o que esses modelos de linguagem realmente significam, suas capacidades surpreendentes e onde ainda tropeçam.
Adriano começou apresentando seu trabalho com tecnologia e dados, incluindo a pesquisa que realizou sobre Transformers no Instituto de Internet de Oxford. Ele citou uma aplicação prática do modelo para a criação do projeto Fogo Cruzado, uma ferramenta que monitora a violência armada no Brasil. O modelo Transformer ajuda a filtrar e identificar relatos de violência armada no Twitter, provando sua eficácia na separação e classificação de tuítes marcados pelo uso de gírias e vocabulários regionais.
Sobre o funcionamento técnico dos Transformers, o palestrante introduziu o conceito de word embeddings, que corresponde à transformação de palavras em vetores ou representações numéricas. Levando em consideração a ordem das palavras e o contexto, esses modelos diferem dos métodos tradicionais de processamento de linguagem natural, permitindo uma compreensão mais rica e matizada do texto.
Adriano destacou a capacidade dos Transformers de processar textos de maneira paralela, em vez de sequencial, o que representa um grande salto computacional. O modelo calcula a relevância de cada palavra em um texto em relação às outras, alcançando uma melhor representação do contexto.
As diferentes famílias de modelos Transformers, como BERT e GPT, e suas aplicações específicas também foram discutidas. Adriano salientou a importância de escolher o modelo certo para a tarefa proposta e destacou que, embora os modelos maiores e mais abrangentes sejam atraentes, às vezes, modelos menores e mais específicos podem ser mais eficazes, e sugeriu diferentes ferramentas (disponíveis na apresentação do workshop).
Desafios de uso dos modelos também foram abordados, incluindo sua sensibilidade à forma como os dados são apresentados e sua tendência a replicar padrões existentes, reforçando vieses. Belisario encerrou enfatizando a necessidade de usar essas ferramentas de maneira crítica e informada, levando em consideração suas capacidades e limitações.
Referências
Desejável ter noções básicas de Python.
ADRIANO BELISÁRIO
É jornalista e, há mais de 10 anos, usa dados e tecnologias abertas em investigações jornalísticas. Em 2022, desenvolveu uma pesquisa no Oxford Internet Institute onde implementou um modelo de linguagem para detecção de relatos de violência armada. Anteriormente, foi coordenador da Escola de Dados e lecionou jornalismo de dados em universidades. Trabalhou como jornalista de dados na Agência Pública e liderou a análise de dados de investigações da plataforma Documental.xyz.
Nosso conteúdo está disponível sob a licença Creative Commons Atribuição 4.0 Internacional, e pode ser compartilhado e reutilizado para trabalhos derivados, desde que citada a fonte.