O Instituto Nacional de Padrões e Tecnologia mede quantos fótons passam por uma galinha. Agora, ele quer quantificar a transparência em torno dos algoritmos.
Fonte: Wired
O cão robô da Boston Dynamics, com a coisa real. FOTOGRAFIA: MICHAEL REICHEL / PICTURE ALLIANCE / GETTY IMAGES
O INSTITUTO NACIONAL of Standards and Technology (NIST) é uma agência federal mais conhecida por medir coisas como o tempo ou o número de fótons que passam por uma galinha . Agora o NIST quer colocar um número na confiança de uma pessoa na inteligência artificial .
A confiança faz parte de como julgamos o potencial de perigo e é um fator importante na adoção da IA. À medida que a IA assume tarefas cada vez mais complicadas, dizem os funcionários do NIST, a confiança é uma parte essencial do relacionamento em evolução entre pessoas e máquinas.
Em um artigo de pesquisa , os criadores da tentativa de quantificar a confiança do usuário na IA dizem que querem ajudar as empresas e desenvolvedores que implantam sistemas de IA a tomar decisões informadas e identificar áreas onde as pessoas não confiam na IA. O NIST vê a iniciativa de IA como uma extensão de seu trabalho mais tradicional, estabelecendo confiança em sistemas de medição. Comentários públicos serão aceitos até 30 de julho.
Um sistema de IA usado por médicos para diagnosticar doenças deve ser mais preciso do que recomendar música.
O artigo do NIST diz que as expectativas em torno de um sistema de IA refletirão seu uso. Por exemplo, um sistema usado por médicos para diagnosticar doenças deve ser mais preciso do que um sistema de recomendação de música.
Masooda Bashir, professor da Escola de Ciências da Informação da Universidade de Illinois, estuda como as pessoas confiam ou desconfiam de veículos autônomos. Ela deseja que a medição da confiança do usuário evolua até o ponto em que você possa escolher suas configurações de confiança da mesma forma que as pessoas escolhem uma cor para um carro.
Bashir chamou a proposta do NIST de um desenvolvimento positivo, mas ela acha que a pontuação de confiança do usuário deve refletir mais fatores, incluindo o humor de uma pessoa e a mudança de atitude em relação à IA à medida que ela conhece o desempenho de um sistema. Em um estudo de 2016 , Bashir e co-autores descobriram que os níveis de estresse podem influenciar as atitudes das pessoas sobre a confiança na IA. Esses tipos de diferenças, disse ela, devem ajudar a determinar o peso dado aos fatores de confiança identificados pelo NIST.
O professor assistente da Universidade de Harvard, Himabindu Lakkaraju, estuda o papel que a confiança desempenha na tomada de decisão humana em ambientes profissionais. Ela está trabalhando com quase 200 médicos em hospitais em Massachusetts para entender como a confiança na IA pode mudar a forma como os médicos diagnosticam um paciente.
Para doenças comuns como a gripe, a IA não é muito útil, pois os profissionais humanos podem reconhecê-los com bastante facilidade. Mas Lakkaraju descobriu que a IA pode ajudar os médicos a diagnosticar doenças difíceis de identificar, como as doenças auto-imunes. Em seu trabalho mais recente, Lakkaraju e colegas deram aos médicos registros de cerca de 2.000 pacientes e previsões de um sistema de IA, e então pediram que eles previssem se o paciente teria um derrame em seis meses. Eles variaram as informações fornecidas sobre o sistema de IA, incluindo sua precisão, intervalo de confiança e uma explicação de como o sistema funciona. Eles descobriram que as previsões dos médicos eram mais precisas quando recebiam mais informações sobre o sistema de IA.
Lakkaraju diz que está feliz em ver que o NIST está tentando quantificar a confiança, mas ela diz que a agência deve considerar o papel que as explicações podem desempenhar na confiança humana nos sistemas de IA. No experimento, a precisão da previsão de derrames por médicos diminuiu quando os médicos receberam uma explicação sem dados para informar a decisão, o que implica que uma explicação por si só pode levar as pessoas a confiar demais na IA.
“As explicações podem gerar uma confiança excepcionalmente alta, mesmo quando não é garantida, o que é uma receita para problemas”, diz ela. “Mas, uma vez que você começa a colocar números sobre o quão boa é a explicação, então a confiança das pessoas se calibra lentamente.”
Outras nações também estão tentando enfrentar a questão da confiança na IA. Os EUA estão entre os 40 países que aderiram aos princípios de IA que enfatizam a confiabilidade. Um documento assinado por cerca de uma dúzia de países europeus afirma que confiabilidade e inovação andam de mãos dadas e podem ser consideradas “as duas faces da mesma moeda”.
O NIST e a OCDE, um grupo de 38 países com economias avançadas, estão trabalhando em ferramentas para designar os sistemas de IA como de alto ou baixo risco. O governo canadense criou um processo de avaliação de impacto de algoritmo em 2019 para empresas e agências governamentais. Lá, a IA se divide em quatro categorias - desde nenhum impacto na vida das pessoas ou nos direitos das comunidades até um risco muito alto e perpetuação de danos a indivíduos e comunidades. Avaliar um algoritmo leva cerca de 30 minutos. A abordagem canadense exige que os desenvolvedores notifiquem os usuários sobre todos os sistemas, exceto os de menor risco.
Brian Stanton é co-autor do artigo e psicólogo cognitivo do NIST que se concentra na confiabilidade do sistema de IA. Sem confiança, diz Stanton, a adoção de IA desacelerará ou parará. Ele diz que muitos fatores podem afetar a confiança de uma pessoa na IA, como sua exposição à ficção científica ou a presença de céticos da IA entre amigos e familiares.
O NIST é uma parte do Departamento de Comércio dos Estados Unidos que cresceu em proeminência na era da inteligência artificial. Sob uma ordem executiva do ex-presidente Trump, o NIST em 2019 lançou um plano para se envolver com a indústria privada para criar padrões para o uso de IA. Em janeiro, o Congresso instruiu o NIST a criar uma estrutura de IA confiável para orientar o uso da tecnologia. Uma área problemática: estudos realizados por acadêmicos e o próprio NIST descobriram que alguns sistemas de reconhecimento facial identificam incorretamente asiáticos e negros com 100 vezes mais freqüência do que brancos.
A iniciativa de confiança surge em meio a um maior escrutínio governamental da IA. O Escritório de Gestão e Orçamento disse que a aceitação e adoção da IA dependerá da confiança do público. As menções à IA no Congresso estão aumentando e casos históricos de antitruste continuam contra gigantes da tecnologia, incluindo Amazon, Facebook e Google. Em abril, a Federal Trade Commission disse às empresas para dizer a verdade sobre a IA que usam e não exagerar o que é possível. “Responsabilize-se - ou esteja pronto para que a FTC faça isso por você”, dizia o comunicado.
Legisladores da União Europeia estão considerando regulamentações de IA que podem ajudar a definir padrões globais para o tipo de IA considerado de baixo ou alto risco e como regular a tecnologia. Como a lei de privacidade GDPR da Europa , a estratégia de IA da UE pode levar as maiores empresas do mundo a implantar inteligência artificial para mudar suas práticas em todo o mundo.
O regulamento prevê a criação de um registo público das formas de IA de alto risco utilizadas numa base de dados gerida pela Comissão Europeia. Exemplos de IA considerada de alto risco incluídos no documento incluem IA usada para educação, emprego ou como componentes de segurança para serviços públicos como eletricidade, gás ou água. Esse relatório provavelmente será emendado antes da aprovação, mas o projeto pede a proibição da IA para pontuação social de cidadãos por governos e reconhecimento facial em tempo real.
O relatório da UE também encoraja empresas e pesquisadores a fazer experiências em áreas chamadas de “caixas de areia”, projetadas para garantir que a estrutura legal seja “favorável à inovação, preparada para o futuro e resiliente a interrupções”. No início deste mês, a administração Biden introduziu a Força-Tarefa de Recursos de Pesquisa de Inteligência Artificial Nacional destinada a compartilhar dados do governo para pesquisas sobre questões como saúde ou direção autônoma. Os planos definitivos exigiriam a aprovação do Congresso.
Por enquanto, a pontuação de confiança do usuário de IA está sendo desenvolvida para praticantes de IA. Com o tempo, porém, as pontuações podem capacitar os indivíduos a evitar IA não confiável e estimular o mercado a implantar sistemas confiáveis, testados e robustos. É claro que isso se eles souberem que a IA está sendo usada.
Comments