A MODERAÇÃO ALGORÍTMICA DO TIKTOK TEM UMA LONGA HISTÓRIA DE PREJUDICAR GRUPOS MARGINALIZADOS.
Fonte: MIT Technology Review
Ziggi Tyler faz parte do TikTok's Creator Marketplace, uma plataforma privada onde as marcas podem se conectar com os principais criadores do aplicativo. E na semana passada, ele percebeu algo muito perturbador sobre como a bios do criador estava sendo moderada automaticamente.
Quando ele tentou inserir certas frases em sua biografia, algumas delas - “A vida dos negros é importante”, “apoiando os negros”, “apoiando as vozes negras” e “apoiando o sucesso dos negros” - foram sinalizadas como conteúdo impróprio. Mas versões brancas das mesmas frases eram aceitáveis.
“Se eu entrar no Creator Marketplace e colocar 'suporte da supremacia branca' e clicar em aceitar, está tudo bem”, disse ele em um vídeo do TikTok , em frente ao que ele disse ser uma captura de vídeo dele fazendo exatamente isso em seu próprio telefone . Para ser listado no mercado, ele teve que deletar o que havia escrito.
Em um vídeo de acompanhamento , Tyler mostrou as frases “Eu sou um neo nazi” e “Eu sou um anti semético” sendo aceito, enquanto “Eu sou um homem negro” foi sinalizado. A história explodiu, impulsionada em parte por um público que já estava frustrado com a forma como os criadores negros são tratados no TikTok. Em um comentário para o Insider , um porta-voz da empresa se desculpou pelo erro "significativo" e disse que o que Tyler estava vendo era o resultado de um filtro automático definido para bloquear palavras associadas a incitação ao ódio. O sistema, disse, foi "configurado erroneamente para sinalizar frases sem respeitar a ordem das palavras". A empresa disse à recode que esse erro específico veio da inclusão das palavras "Negro" e "público", porque sua detecção de discurso de ódio detectou o "dado" em "público" e sinalizou o par como impróprio.
Tornando-se público, viralizando
Está longe de ser o único incidente desse tipo a ocorrer na plataforma. Algumas semanas atrás, a TikTok aplicou erroneamente o que parecia ser um filtro de beleza obrigatório que criou um queixo mais fino para alguns usuários do Android.
Enquanto isso, em abril, um criador do TikTok percebeu que o novo recurso de legendagem automática da plataforma estava bloqueando a frase "mulheres asiáticas". E no início de 2021, criadores de intersexo descobriram que a hashtag #intersex não era mais detectável no aplicativo.
Todos esses são exemplos de um padrão que se repete no TikTok: primeiro, um criador percebe um problema bizarro e potencialmente prejudicial com a moderação ou algoritmo da plataforma, que muitas vezes afeta desproporcionalmente grupos marginalizados. Em seguida, eles fazem um vídeo sobre o que está acontecendo, e esse vídeo obtém muitas visualizações. Eventualmente, talvez, um jornalista se interesse pelo que está acontecendo, peça à empresa uma explicação e o problema seja resolvido. A TikTok então divulga um comunicado dizendo que o problema foi resultado de um erro e enfatiza o trabalho que eles fazem para apoiar os criadores e as causas afetadas.
Não é necessariamente uma surpresa que esses vídeos sejam notícia. As pessoas fazem seus vídeos porque trabalham. Obter visualizações tem sido uma das estratégias mais eficazes para empurrar uma grande plataforma para consertar algo por anos. Tiktok, Twitter e Facebook tornaram mais fácil para os usuários denunciar abusos e violações de regras por outros usuários. Mas quando essas empresas parecem estar violando suas próprias políticas, as pessoas geralmente descobrem que o melhor caminho a seguir é simplesmente tentar postar sobre isso na própria plataforma, na esperança de se tornar viral e obter atenção que leve a algum tipo de solução. Os dois vídeos de Tyler na biografia do Marketplace, por exemplo, cada um tem mais de 1 milhão de visualizações.
“Provavelmente sou marcado em algo cerca de uma vez por semana”, diz Casey Fiesler, professor assistente da Universidade do Colorado, em Boulder, que estuda ética da tecnologia e comunidades online. Ela é ativa no TikTok, com mais de 50.000 seguidores, mas embora nem tudo o que ela vê pareça uma preocupação legítima, ela diz que o desfile regular de problemas do aplicativo é real. TikTok teve vários desses erros nos últimos meses, todos os quais impactaram desproporcionalmente grupos marginalizados na plataforma.
"O conteúdo está sendo sinalizado porque é alguém de um grupo marginalizado que está falando sobre suas experiências com o racismo. Discurso de ódio e falar sobre discurso de ódio podem ser muito semelhantes a um algoritmo.”
A MIT Technology Review perguntou à TikTok sobre cada um desses exemplos recentes e as respostas são semelhantes: depois de investigar, a TikTok descobre que o problema foi criado por engano, enfatiza que o conteúdo bloqueado em questão não viola suas políticas e vincula a apoio que a empresa dá a tais grupos. A questão é se esse ciclo - algum erro técnico ou de política, uma resposta viral e um pedido de desculpas - pode ser alterado.
Resolvendo problemas antes que eles surjam
“Existem dois tipos de danos nessa moderação de conteúdo provavelmente algorítmica que as pessoas estão observando”, diz Fiesler. “Um são os falsos negativos. As pessoas ficam tipo, 'por que há tanto discurso de ódio nesta plataforma e por que ela não está sendo retirada?' ” O outro é um falso positivo. “O conteúdo deles está sendo sinalizado porque eles são alguém de um grupo marginalizado que está falando sobre suas experiências com o racismo”, diz ela. “Discurso de ódio e falar sobre discurso de ódio podem ser muito semelhantes a um algoritmo.” Ambas as categorias, observou ela, prejudicam as mesmas pessoas: aqueles que são desproporcionalmente alvos de abuso acabam sendo censurados por algoritmos por falar sobre isso. Os misteriosos algoritmos de recomendação do TikTok são parte de seu sucesso - mas seus limites pouco claros e em constante mudança já estão causando um efeito assustador em alguns usuários. Fiesler observa que muitos criadores de TikTok autocensuram palavras na plataforma para evitar o acionamento de uma revisão. E embora ela não tenha certeza de quanto essa tática está realizando, Fielser também começou a fazer isso, por precaução. Banimentos de contas, mistérios algorítmicos e decisões de moderação bizarras são uma parte constante da conversa no aplicativo.
História Relacionada
Como o Facebook se viciou em espalhar desinformaçãoOs algoritmos de IA da empresa deram a ela um hábito insaciável de mentiras e discursos de ódio. Agora, o homem que os construiu não pode resolver o problema.
Pior ainda, muitos desses erros, argumentou Fiesler, seriam fáceis de prever se as empresas simplesmente pensassem mais sobre como os diferentes usuários realmente interagiriam com seu aplicativo. O bug de discurso de ódio encontrado por Tyler seria difícil de ignorar se a empresa o testasse na linguagem que os criadores negros realmente usam para se descreverem, por exemplo.
Acertar com a moderação é complexo, diz Feisler, mas isso não desculpa essa repetição constante.
“Freqüentemente, simpatizo mais com os desafios dessas coisas do que a maioria das pessoas”, diz ela. “Mas mesmo eu tipo, 'sério?' Em algum momento, há padrões e você deve saber o que procurar. ”
Perguntei a Fiesler se algo poderia desacelerar esse ciclo, mesmo que seja impossível resolver imediatamente neste ponto. Parte da resposta é uma das histórias mais antigas da tecnologia: contratar e ouvir pessoas de diversas origens .
Mas, diz ela, uma maior transparência também deve fazer parte da solução. Fiesler não pode dizer exatamente por que o detector de discurso de ódio do TikTok deu tão errado na semana passada porque o aplicativo não divulgou muitas informações sobre como funciona - nem para pesquisadores como ela, nem para os usuários cujo conteúdo é removido ou suprimido por sistemas automatizados processos que, a história demonstra, podem facilmente dar errado. Como jornalista, quando pedi ao TikTok (e, em outras ocasiões, a outras plataformas) explicações mais detalhadas sobre por que algo que eles chamam de bug aconteceu e o que estão fazendo para evitar que ele se repita no futuro, o A resposta é breve, insatisfatória ou a empresa se recusa a comentar sobre o registro.
“Se os criadores estão constantemente recebendo coisas sinalizadas de forma inadequada, então é necessário que haja processos de apelação realmente fáceis”, diz ela.
Commentaires