IA é capaz de produzir relatórios falsos de noticias falsas

Publicado por: Redação
07/06/2021 11:08:58
Exibições: 154

Não é preciso ter uma mente humana para produzir desinformação convincente o suficiente para enganar especialistas em áreas críticas como a segurança cibernética

 

Aprendizado

· AIs podem gerar relatórios falsos que são convincentes o suficiente para enganar os especialistas em segurança cibernética.

· Se amplamente utilizadas, essas IAs podem prejudicar os esforços de defesa contra ataques cibernéticos.

· Esses sistemas podem desencadear uma corrida armamentista de IA entre geradores e detectores de desinformação.

 

Se você usa sites de mídia social como Facebook e Twitter, pode ter encontrado postagens sinalizadas com avisos sobre informações incorretas. Até agora, a maior parte da desinformação - sinalizada e não sinalizada - tem sido direcionada ao público em geral . Imagine a possibilidade de desinformação - informação falsa ou enganosa - em campos científicos e técnicos como segurança cibernética, segurança pública e medicina.

 

Há uma preocupação crescente com a disseminação de desinformação nesses campos críticos como resultado de preconceitos e práticas comuns na publicação de literatura científica, mesmo em artigos de pesquisa revisados ​​por pares. Como um estudante de pós-graduação e como corpo docente  membros faz a pesquisa em cibersegurança, estudamos uma nova avenida de desinformação na comunidade científica. Descobrimos que é possível para os sistemas de inteligência artificial gerar informações falsas em campos críticos como medicina e defesa que sejam convincentes o suficiente para enganar os especialistas.

 

A desinformação geral muitas vezes visa manchar a reputação de empresas ou figuras públicas. A desinformação dentro das comunidades de especialização tem potencial para resultados assustadores, como fornecer conselhos médicos incorretos a médicos e pacientes. Isso pode colocar vidas em risco.

 

Para testar essa ameaça, estudamos os impactos da disseminação de informações incorretas nas comunidades de segurança cibernética e médicas. Usamos modelos de inteligência artificial chamados de transformadores para gerar notícias falsas sobre segurança cibernética e estudos médicos COVID-19 e apresentamos a desinformação de segurança cibernética a especialistas em segurança cibernética para teste. Descobrimos que a desinformação gerada pelo transformador era capaz de enganar os especialistas em segurança cibernética.

 

Transformadores

Grande parte da tecnologia usada para identificar e gerenciar informações incorretas é alimentada por inteligência artificial. A IA permite que os cientistas da computação verifiquem rapidamente grandes quantidades de informações incorretas, visto que há muito que as pessoas podem detectar sem a ajuda da tecnologia. Embora a IA ajude as pessoas a detectar desinformação, ironicamente também tem sido usada para produzir desinformação nos últimos anos.

 

Um bloco de texto na tela de um smartphone
 
A IA pode ajudar a detectar desinformação como essas falsas alegações sobre COVID-19 na Índia - mas o que acontece quando a IA é usada para gerar a desinformação? AP Photo / Ashwini Bhatia

 

Transformers, como o BERT do Google e o GPT do OpenAI, usam processamento de linguagem natural para entender o texto e produzir traduções, resumos e interpretações. Eles têm sido usados ​​em tarefas como contar histórias e responder a perguntas, ultrapassando os limites das máquinas que exibem capacidades humanas na geração de texto.

 

Os Transformers ajudaram o Google e outras empresas de tecnologia melhorando seus mecanismos de busca e ajudaram o público em geral a combater problemas comuns, como o bloqueio do escritor .

 

Os transformadores também podem ser usados ​​para fins malévolos. Redes sociais como Facebook e Twitter já enfrentaram os desafios das notícias falsas geradas por IA em todas as plataformas.

 

Desinformação crítica

Nossa pesquisa mostra que os transformadores também representam uma ameaça de desinformação em medicina e segurança cibernética. Para ilustrar a gravidade disso, ajustamos o modelo do transformador GPT-2 em fontes online abertas discutindo vulnerabilidades de segurança cibernética e informações de ataque. Uma vulnerabilidade de segurança cibernética é a fraqueza de um sistema de computador, e um ataque de segurança cibernética é um ato que explora uma vulnerabilidade. Por exemplo, se uma vulnerabilidade é uma senha fraca do Facebook, um ataque que a explora seria um hacker descobrindo sua senha e invadindo sua conta.

 

Em seguida, semeamos o modelo com a sentença ou frase de uma amostra real de inteligência de ameaças cibernéticas e geramos o restante da descrição da ameaça. Apresentamos essa descrição gerada aos caçadores de ameaças cibernéticas, que vasculham muitas informações sobre ameaças à segurança cibernética. Esses profissionais leem as descrições das ameaças para identificar ataques em potencial e ajustar as defesas de seus sistemas.

 

Ficamos surpresos com os resultados. Os exemplos de desinformação de segurança cibernética que geramos foram capazes de enganar os caçadores de ameaças cibernéticas, que têm conhecimento sobre todos os tipos de ataques e vulnerabilidades de segurança cibernética. Imagine este cenário com uma peça crucial de inteligência de ameaças cibernéticas que envolve o setor de aviação civil, que geramos em nosso estudo.

 

Um bloco de texto com informações falsas sobre um ataque de segurança cibernética a companhias aéreas
Um exemplo de desinformação de segurança cibernética gerada por IA. A conversa , CC BY-ND

Esta informação enganosa contém informações incorretas sobre ataques cibernéticos a companhias aéreas com dados confidenciais de voos em tempo real. Essas informações falsas podem impedir que os analistas cibernéticos abordem vulnerabilidades legítimas em seus sistemas, mudando sua atenção para bugs de software falsos. Se um analista cibernético agir com base nas informações falsas em um cenário do mundo real, a companhia aérea em questão pode ter enfrentado um ataque sério que explora uma vulnerabilidade real e não resolvida.

 

Um modelo semelhante baseado em transformador pode gerar informações no domínio médico e, potencialmente, enganar os especialistas médicos. Durante a pandemia COVID-19, pré-impressões de documentos de pesquisa que ainda não foram submetidos a uma revisão rigorosa são constantemente carregados em sites como o medrXiv . Eles não estão apenas sendo descritos na imprensa, mas estão sendo usados ​​para tomar decisões de saúde pública. Considere o seguinte, que não é real, mas gerado por nosso modelo após o ajuste fino mínimo do GPT-2 padrão em alguns documentos relacionados ao COVID-19.

Um bloco de texto mostrando desinformação sobre cuidados de saúde.
Um exemplo de desinformação sobre cuidados de saúde gerada por IA. A conversa , CC BY-ND

O modelo foi capaz de gerar sentenças completas e formar um resumo supostamente descrevendo os efeitos colaterais das vacinações COVID-19 e os experimentos que foram realizados. Isso é preocupante tanto para pesquisadores médicos, que consistentemente confiam em informações precisas para tomar decisões informadas, quanto para o público em geral, que muitas vezes confia em notícias públicas para aprender sobre informações críticas de saúde. Se aceito como preciso, esse tipo de desinformação pode colocar vidas em risco por desviar os esforços dos cientistas que conduzem pesquisas biomédicas.

Uma corrida armamentista de desinformação de IA?

Embora exemplos como esses de nosso estudo possam ser verificados, a desinformação gerada por transformadores impede setores como saúde e cibersegurança na adoção de IA para ajudar na sobrecarga de informações. Por exemplo, sistemas automatizados estão sendo desenvolvidos para extrair dados da inteligência de ameaças cibernéticas que são usados ​​para informar e treinar sistemas automatizados para reconhecer possíveis ataques. Se esses sistemas automatizados processarem esse texto falso de segurança cibernética, eles serão menos eficazes na detecção de ameaças verdadeiras.

 

Acreditamos que o resultado pode ser uma corrida armamentista, à medida que as pessoas que espalham informações incorretas desenvolvem melhores maneiras de criar informações falsas em resposta a maneiras eficazes de reconhecê-las.

 

Os pesquisadores de segurança cibernética estudam continuamente maneiras de detectar desinformação em diferentes domínios. Entender como gerar desinformação automaticamente ajuda a entender como reconhecê-la. Por exemplo, informações geradas automaticamente muitas vezes contêm erros gramaticais sutis que os sistemas podem ser treinados para detectar. Os sistemas também podem fazer a correlação cruzada de informações de várias fontes e identificar reclamações sem suporte substancial de outras fontes.

 

Em última análise, todos devem estar mais vigilantes sobre quais informações são confiáveis ​​e estar cientes de que os hackers exploram a credulidade das pessoas, especialmente se as informações não vierem de fontes de notícias confiáveis ​​ou de trabalhos científicos publicados.

 

Por 

  1. Estudante de PhD em Ciência da Computação e Engenharia Elétrica, Universidade de Maryland, Condado de Baltimore

  2. Professor de Ciência da Computação e Engenharia Elétrica, Universidade de Maryland, Condado de Baltimore

  3. Professor de Ciência da Computação e Engenharia Elétrica, Universidade de Maryland, Condado de Baltimore

Originalmente Publicado Por: The Conversation

Imagens de notícias

Tags:

Compartilhar

Vídeos relacionados

Comentários