IA É ESTATÍSTICA, MAS NINGUÉM TE CONTOU ISSO

Texto por Renan Cavalcante

 

Desde o lançamento do ChatGPT, em novembro de 2022, a discussão sobre Inteligência Artificial (IA) estourou a bolha de profissionais e pesquisadores da área. Mas, entre tantas análises e opiniões, algo pouco lembrado é a centralidade da estatística para o funcionamento de ferramentas de IA.

Para a instrutora Júlia Tessler, se inteligência artificial é estatística, o primeiro passo é entender que a IA utiliza conceitos básicos deste campo da matemática. Recursos como média, mediana, quartis e percentis se unem à probabilidade para formar algoritmos que fazem o processamento de linguagem natural (NLP, na sigla em inglês) para fabricar textos em tempo real.

O processamento de linguagem natural nas inteligências artificiais é feito por meio de deep learning com base em vetores. Por isso, é possível dizer que as IAs são uma manipulação da álgebra linear. 

Os corpus de textos, ou bases, são treinados para agrupar palavras parecidas e fazer correlações, positivas e negativas, que resultam em vetores de comprimentos diferentes. E, assim como na probabilidade, quanto maior a amostra menor a chance de erro. Então, quanto mais texto, mais vetores são gerados e mais precisas são as relações criadas entre as palavras.

Para demonstrar o funcionamento dos vetores, a palestrante utilizou a palavra Japão como exemplo. Ao rodar uma base com muitas palavras, em algum momento acontecerá a correlação com a palavra japonês. A partir dessa relação, a IA consegue relacionar outras palavras que surjam no mesmo contexto, como França e francês. Dessa forma, as relações podem extrapolar para analogias e vínculos semânticos.

Por fim, Júlia concluiu indicando um curso sobre NLP com Deep Learning que utiliza o algoritmo GloVe para a vetorização de palavras, a partir de trabalho com aprendizado não-supervisionado. A formação é oferecida pela Universidade de Stanford e é ministrada por Christopher Manning, professor de Machine Learning, Linguística e Ciências da Computação em Stanford e criador do GloVe.

 

Referências

Notebook da atividade

Curso de Processamento de Linguagem Natural de Stanford

GloVe

Sem pré-requisitos.