Texto por Anicely Santos
Revisado pela Escola de Dados

 

Nesta oficina, Fernanda Rodrigues, mestre e doutoranda em Direito, explicou como construir propostas de enfrentamento à discriminação algorítmica baseadas em dados para regulação de políticas públicas sobre Inteligência Artificial (IA). A oficina tratou de maneiras de criar estratégias sobre como utilizar essas informações para mobilizar pautas contra essa forma de discriminação.

Para iniciar, Fernanda explicou o que vem a ser IA. A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) define Inteligência Artificial como: 

“um sistema baseado em máquina que, para um determinado conjunto de objetivos explícitos ou implícitos, infere, a partir das informações que recebe, como gerar resultados, como previsões, conteúdo, recomendações ou decisões que podem influenciar ambientes físicos ou virtuais. Diferentes sistemas de IA variam nos seus níveis de autonomia e adaptabilidade após a implantação”.

Em outras palavras, é como se fosse um robô que conseguisse prever o que vai acontecer, criar histórias, sugerir coisas ou tomar decisões baseado nas informações que recebeu. Alguns deles são mais espertos e conseguem aprender e se adaptar sozinhos depois de começarem a trabalhar.

 

Debate sobre IA no Brasil

A palestrante apresentou então como tem sido este debate a nível nacional, uma vez que o país ainda não tem uma regulamentação estabelecida para utilização desta tecnologia. 

Neste sentido, o cenário que temos coloca em oposição questões como:

• Disputa narrativa em torno dos possíveis danos x possíveis benefícios da tecnologia: há um debate sobre os lados bons e ruins da tecnologia de IA. Algumas pessoas acham que ela pode trazer problemas, enquanto outras acham que pode trazer benefícios. Esse debate é importante porque ajuda a decidir como as leis e regras devem ser feitas para usar a IA de maneira segura e benéfica. A regulamentação tenta encontrar um equilíbrio entre esses pontos de vista para proteger as pessoas e, ao mesmo tempo, aproveitar as vantagens da tecnologia.
• Regulação x inovação: regras muito rígidas podem limitar a inovação e o progresso, enquanto pouca regulação pode levar a abusos e problemas.
• Regulação principiológica x regulação baseada em direitos e riscos: enquanto a primeira pode ser usada para fornecer diretrizes gerais que incentivam o desenvolvimento ético e responsável da IA, sem ser excessivamente prescritiva, a segunda tenta garantir que a IA respeite direitos específicos e que os riscos sejam cuidadosamente avaliados e mitigados.

Diferentes riscos

As IAs podem ser classificadas por meio de uma gradação de riscos: excessivo, alto, moderado e baixo. Para ser entendida como uma IA de alto risco, são levadas em consideração a probabilidade e a gravidade de seus impactos adversos sobre pessoa ou grupos afetados, contendo pelo menos um critério específico, dentre os quais se destacam:

        – a produção ilícita e/ou abusiva de efeitos jurídicos relevantes e o impacto negativo sobre acesso a serviços públicos ou essenciais;

        – o alto potencial danoso de ordem material ou moral e o viés discriminatório ilegal ou abusivo;

        – afetar negativamente pessoas de grupo vulnerável;

        – histórico danoso, de ordem material ou moral;

        – o alto potencial danoso sistêmico, como contra a segurança cibernética, a rigidez do processo eleitoral e a violência contra grupos vulneráveis.

No que diz respeito à regulação no Brasil, Fernanda apontou quais soluções tecnológicas utilizando IA estão enquadradas em risco excessivo e alto.

• Risco excessivo: considerado inaceitável ou intolerável devido ao seu potencial de causar danos graves. Alguns exemplos do que, até o momento desta atividade, está classificado como tal na proposta de regulação para IA no Brasil:
  • sistemas capazes de explorar vulnerabilidades para induzir comportamentos que podem causar danos à saúde e a outros direitos;
  • sistemas de escore de crédito social;
  • sistemas que permitem produção, disseminação ou facilitação de criação de material de abuso ou exploração sexual de crianças e  adolescentes;
  • armas autônomas – que podem identificar, selecionar e atacar alvos sem a necessidade de intervenção humana direta após serem ativadas;
  • sistemas de reconhecimento facial, salvo uma série de exceções.

• Risco alto: um nível de risco que é significativo, mas não necessariamente inaceitável. Esse risco deve ser cuidadosamente gerenciado e mitigado para evitar ou minimizar impactos negativos. Na proposta de regulação para IA no Brasil, alguns exemplos dessa categoria são:
  • recrutamento e avaliação de candidatos e candidatas em processos seletivos de emprego;
  • veículos autônomos em espaços públicos, quando o uso puder gerar risco relevante à integridade física de pessoas;
  • sistemas que podem auxiliar diagnósticos e procedimentos médicos, havendo risco relevante à integridade física e mental;
  • identificação biométrica para reconhecimento de emoções;
  • estudo de crimes para identificar padrões e perfis comportamentais.

 

E por que é importante olhar para os casos de discriminação algorítmica?

As principais razões estão relacionadas à justiça, equidade e impacto social. A discriminação algorítmica pode levar à violação de direitos fundamentais (como igualdade) e ao acesso desigual a oportunidades de emprego, crédito, serviços entre outros.

Um passo importante é mapear as tecnologias de IA de alto risco. Daí a importância dos bancos de casos de discriminação algorítmica. Eles são importantes para demonstrar um ou mais critérios de atualização. Além disso, eles contribuem para traçar estratégias de mitigação adequadas, conseguem auxiliar na compreensão de quais as comunidades mais impactadas por determinada tecnologia, e podem indicar quais tecnologias são inadequadas para um contexto em específico, entre outros casos.

Fernanda indicou alguns bancos existentes:

          – Mapeamento de danos algorítmicos: No site Desvelar, idealizado pelo pesquisador Tarcízio Silva, o projeto Danos e Discriminação Algorítmica – mapeamento se propõe a mapear em ordem cronológica casos envolvendo discriminação de IA na sociedade;

          – Bases de dados de interseções sobre IA: o projeto AI Intersection Database é organizado pela Fundação Mozilla, que inclui atores e casos cruzados com áreas de (in)justiça, impacto, país, região e ano.

          – Base de dados de incidentes de IA: o projeto AI Incident Database é desenvolvido por um coletivo de pessoas pesquisadoras e desenvolvedoras, reunindo centenas de casos em torno de categorias como raça, sexualidade, religião, migração e mais.

          – Monitor de incidentes de IA: O AI Incidents Monitor desenvolvido pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) reúne milhares de registros.

Para finalizar, a palestrante apresentou outras formas de analisar os dados relacionados da IA:

• Teoria fundamental dos dados (Grounded Theory):  pode ser aplicada para entender e interpretar os dados de maneira mais profunda e flexível, permitindo o desenvolvimento de modelos e explicações que são mais alinhadas à realidade observada;
• Análise de conteúdo: pode ser usada para extrair insights de dados qualitativos e fornecer uma compreensão mais profunda sobre como os sistemas de IA estão sendo usados e percebidos;
• Análise de discurso: pode ser usada para entender como a IA é representada e discutida em diferentes contextos, e como isso afeta a percepção pública, as políticas e as práticas.

Laboratório 104

Básico.

• Slide da atividade
• Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
• Danos e Discriminação Algorítimica – mapeamento
• AI Intersection Database
• AI Incident Database
• AI Incidents Monitor