Resumo: Tendo em vista a complexidade do ciclo de desenvolvimento dos projetos de inteligência artificial (IA) e as questões éticas envolvidas, nos questionamos sobre a necessidade de criação um ambiente multidisciplinar e que integre os diferentes stakeholders de uma organização. Este ambiente pode ser um Comitê de Ética em IA. Nesse contexto, quais preocupações preliminares devem ser levadas em consideração para criar esse comitê? O comitê deve ser composto por pessoas internas ou, também, por stakeholders externos? Essas foram algumas das preocupações trazidas na primeira reunião do grupo de estudos do projeto “Governança em Inteligência Artificial (IA): framework para a criação do Comitê de Ética para projetos de IA”, realizado pelo Centro de Ensino e Pesquisa em Inovação (CEPI) da FGV Direito SP. A partir da análise do texto “Building Data and AI Ethics Committees”, elaborado pela Northeastern University em parceria com a consultoria Accenture. Membros da academia e dos setores público e privado discutiram importantes pontos sobre a importância da criação de um ambiente adequado para essas discussões e os modelos para a estruturação desses comitês.

Pelo CEPI, participaram dessa primeira reunião os pesquisadores Marina Feferbaum, Alexandre Zavaglia, Guilherme Forma Klafke, Deíse Camargo Maito e Lucas Maldonado Diz Latini. Como pesquisadores convidados e parceiros, participaram das discussões desta reunião Caroline Rocabardo, Pedro Colombini, Walquiria Favero e demais especialistas, aos quais agradecemos a grande contribuição para essas discussões.

Os pontos indicados aqui refletem o que foi discutido na reunião e não traduzem, necessariamente, as opiniões da FGV, dos convidados ou das instituições nas quais trabalham.

Da necessidade da criação de um comitê de ética em IA

O texto “Building Data and AI Ethics Committees” traz reflexões sobre a necessidade da criação de um ambiente para as discussões estratégicas de todo o ciclo de desenvolvimento, implantação e monitoramento de projetos de IA que, a partir dessas bases, definiram como “Comitê de ética de IA”. O texto mostra os tipos de abordagem que podem ser utilizados e o porquê de se utilizar desse tipo de comitê.

Foi ponderado que não é a tecnologia em si que deve ser supervisionada, mas todo o sistema envolvido na operação, desde o propósito para sua criação e o tipo de problema a ser resolvido, como a importância de sua ligação não só com os princípios gerais sobre os aspectos éticos, como sua ligação com os princípios de cada organização. A esse respeito, também foi trazido à luz que é necessário ter clareza sobre os motivos instrumentais da IA na organização, para evitar resultados danosos a partir de vieses indesejados, seja por decisões erradas ou que, em alguma medida, possam acarretar discriminações sistemáticas. Foi mencionado também que o comitê de ética em IA pode ser decisivo quando há tentativa de ajustar os parâmetros para aquilo que seria “desejável” do ponto de vista social.

Pontos de atenção na criação dos comitês

Uma vez apresentado pela equipe do projeto e debatido por todos, os participantes passaram a trazer pontos de atenção que, em sua experiência, devem ser endereçados para a criação de comitês de ética de IA.

Custos operacionais
A primeira grande preocupação levantada diz respeito aos custos operacionais envolvidos na criação e manutenção dos comitês. Foi ponderado que estruturas dessa natureza funcionariam bem para grandes empresas, porém, seria necessário refletir sobre os ônus para empresas menores e, como possível solução, foi levantada a possibilidade de espécies de comitês setoriais.

Refletiu-se também sobre a necessidade de se criar estruturas adicionais ou se aquelas já existentes nas organizações poderiam ser aproveitadas.

Representatividade
Outro ponto de atenção trazido logo no início das discussões foi a necessidade de se ter um comitê suficientemente representativo, tanto no perfil profissional, como especialmente na diversidade de seus membros. Foi ponderado que essa prática pode ajudar a desmistificar alguns aspectos relacionados a vieses cognitivos e ideológicos.

Nesse mesmo sentido, chamou-se a atenção sobre o cuidado necessário para que a retirada de determinados vieses não implique na inserção de outros.

Em contraponto, também foi trazido à luz o argumento de que, apesar dessa importância, é preciso se atentar para que a atribuição do comitê de ética não se limite a essa função, mas tenha uma visão mais global sobre os sistemas desenvolvidos, a partir dessas diferentes visões e necessidades evidenciadas pelo grupo.

Stakeholdersexternos à organização
Uma das questões mais abordadas pelos participantes do grupo de estudos foi a eventual necessidade de se trazerstakeholdersexternos à organização para as discussões do comitê. Nesse ponto, compreendeu-se que o olhar externo é fundamental para o sucesso de um comitê dessa natureza, justamente para que se consiga ir além das visões e valores da própria organização.

Esse assunto gerou dúvidas interessantes, principalmente no que diz respeito à quantidade destakeholdersexternos que são necessários e se essa prática, de alguma forma, poderia deslegitimar o comitê.

Poderes e atribuições do comitê
Seguindo nas discussões, o grupo refletiu se o comitê deveria ter poder decisório ou se seria apenas um órgão de consulta dentro da organização, bem como se os assuntos deveriam chegar até o comitê ou se ele poderia avocar as demandas que entendesse necessárias.

Nessa hipótese, questionou-se se essas possíveis decisões poderiam ser, por exemplo, no sentido de vetar ou limitar uso de determinados sistemas de IA que possam gerar impactos negativos nas pessoas e também para a organização.

Proteção de dados
Como não poderia deixar de ser, as discussões também trataram da temática de proteção de dados. Nesse sentido, questões como segurança, qualidade, transparência e minimização de dados, bem como adequação de bases legais, se mostraram prioritárias desde o momento em que os sistemas de IA passam pela fase de treinamento e durante todo o ciclo de vida da tecnologia.

A esse respeito, foi realizada uma interessante reflexão sobre o fato de que sistemas de IA podem ultrapassar questões que dizem respeito a dados pessoais e, portanto, as questões éticas também devem ir além dessa temática. Em outro aspecto, também veio ao debate que muitos sistemas não usam dados pessoais para o seu desenvolvimento e operação e que, mesmo assim, podem ter reflexos indesejáveis.

Governança
Por fim, o grupo refletiu sobre uma importante questão trazida por um de seus participantes: o comitê não pode ser visto como um fim em si mesmo, sendo necessária toda uma estrutura de governança que contenha gestão de riscos e planos de ação para apoiar os pilares que serão fixados pelo comitê, visando o constante aprimoramento dos processos dentro da organização.

Conclusão

Diante de todas as discussões expostas acima, fica claro que diversos são os desafios ao tratar do tema e que, no momento, há mais perguntas a serem feitas do que respostas a serem fornecidas, especialmente nesse momento de início dos trabalhos. Nesse sentido o grupo de estudos é um importante elemento para compreensão e reflexão de todos os pontos que permeiam a pesquisa, notadamente diante da pluralidade de seus membros e que certamente seguirão auxiliando no desbravamento dessa temática.