Fonte: Futurism
Sinal: Fonte
Tendência: Inteligência Artificial
A DeepMind, empresa de pesquisa de IA da Alphabet, lançou a próxima geração de seu modelo de linguagem e diz que tem quase a compreensão de leitura de um estudante do ensino médio - uma afirmação surpreendente.
Ele diz que o modelo de linguagem, chamado Gopher, foi capaz de melhorar significativamente sua compreensão de leitura ao ingerir enormes repositórios de textos online.
DeepMind se orgulha de que seu algoritmo, um “modelo de linguagem ultragrande”, tem 280 bilhões de parâmetros, que são uma medida de tamanho e complexidade. Isso significa que está em algum lugar entre o GPT-3 da OpenAI (175 bilhões de parâmetros) e o Megatron da Microsoft e NVIDIA, que possui 530 bilhões de parâmetros, aponta o The Verge .
Tal sistema poderia nos permitir “resumir informações com segurança e eficiência, fornecer conselhos de especialistas e seguir as instruções em linguagem natural”, de acordo com um comunicado .
Em um teste, o modelo foi capaz de obter pontuação alta o suficiente em um teste de compreensão de leitura do ensino médio para se aproximar do desempenho de nível humano, de acordo com o artigo da DeepMind. Suas habilidades matemáticas e de raciocínio, no entanto, deixaram a desejar, mostrando “menos melhorias
Quanto mais parâmetros, mais preciso, em geral. Mas há outros problemas, como a compreensão de leitura ou a perpetuação de estereótipos nocivos, que estão se mostrando mais difíceis de superar, apesar do tamanho dos modelos.
Algoritmos como o Gopher foram usados no passado para produtos comerciais como assistentes digitais e tradutores. Em um teste, Gopher foi capaz de ter um diálogo completo com um humano com um nível “surpreendente” de coerência, de acordo com DeepMind.
Mas DeepMind não quer comercializar seu algoritmo.
“Esse não é o foco agora”, disse Koray Kavukcuoglo, vice-presidente de pesquisa da DeepMind, à Fortune .
Em uma tentativa de se antecipar às críticas de que seu algoritmo regurgitava estereótipos étnicos ou de gênero - muitas vezes um produto dos textos com os quais esses algoritmos eram alimentados - a DeepMind publicou um artigo complementar sobre as etapas que os pesquisadores deram para manter a integridade ética.
Por exemplo, a equipe construiu uma ferramenta chamada Retrieval-Enhanced Transformer, um enorme banco de dados de dois trilhões de palavras para referência cruzada de suas fontes.
Mas, mesmo assim, a equipe da DeepMind admitiu que a pesquisa sobre como os modelos de linguagem perpetuam estereótipos prejudiciais "ainda está nos estágios iniciais".
À medida que as ferramentas de IA se tornam cada vez melhores na interpretação de textos, os pesquisadores estão cada vez mais se voltando para problemas mais complicados, como o potencial para espalhar desinformação ou propaganda.
Mesmo com todos os textos na internet, ajudar modelos de linguagem como Gopher a ler nas entrelinhas está se mostrando muito mais difícil do que muitos pesquisadores de IA gostam de admitir.
Comments