Agência de cibersegurança do Reino Unido alerta sobre potencial falha na IA

O Centro Nacional de Cibersegurança da Grã-Bretanha (NCSC) chama a atenção para uma falha de segurança de carácter potencialmente fundamental, que tem impacto em grandes modelos de linguagem (LLMs), o tipo de Inteligência Artificial (IA) utilizado pelo ChatGPT para a criação de conversas semelhantes às humanas.

Desde novembro do ano passado, com o lançamento do ChatGPT, que têm sido levantadas questões de segurança com a produção automática de conversas aparentemente humanas pela tecnologia IA. Estas preocupações são agravadas com a utilização por parte de cibercriminosos do software LLM para fins maliciosos, nomeadamente para criar e-mails fraudulentos “notavelmente persuasivos”.

Para além disto, a integração da IA com outros sistemas, como bancos de dados ou outros componentes de um produto, pode levar a vulnerabilidades e tornar-se um problema fundamental, sendo conhecido como ataque de “injeção imediata”. “A investigação sugere que um LLM inerentemente não consegue distinguir entre uma instrução e os dados fornecidos para ajudar a completar a instrução”, afirma a NCSC.

A falha pode ser particularmente grave em aplicações comerciais que incluem LLMs. O NCSC explica: “Considere um banco que implementa um 'assistente LLM' para os clientes fazerem perguntas ou darem instruções sobre as suas finanças. Um atacante pode enviar-lhe uma solicitação de transação, com a referência da transação a ocultar um ataque de injeção imediata no LLM. Quando o LLM analisa as transações, o ataque pode reprogramá-lo para enviar o seu dinheiro para a conta do atacante. Os primeiros developers de produtos integrados ao LLM já observaram tentativas de ataques de injeção imediata”.

A Honeycomb, empresa de debugging de software, conta que, nas suas tentativas de proteção contra ataques de “injeção imediata”, optou por assegurar que os dados dos seus utilizadores e os serviços de back-end não entrassem em contacto com o LLM, devido ao quão fundamentais os problemas eram. “Preferimos não ter um sistema reprogramável pelo utilizador final que crie um agente nocivo em execução na nossa infraestrutura”, esclarece a empresa.

Também o envenenamento de dados, consistindo na corrupção dos dados em que os modelos assentam, também são igualmente perigosos, alerta o NCSC. Numa investigação recente realizada por especialistas do Google, ETH Zurich, Nvidia e Robust Intelligence, pode verificar-se que os ataques de envenenamento de dados são viáveis em “modelos extremamente grandes”, ainda que o cibercriminoso tenha um acesso limitado ao training data.

Ambos os ciberataques “podem ser extremamente difíceis de detetar e mitigar”, avisa a agência, ressaltando a importância da criação de um sistema ligado a uma componente de machine learning e com a segurança em mente. 

A NCSC refere que, apesar de compreender o entusiasmo das organizações em criar serviços que utilizam LLMs, estas “precisam de ter cuidado, da mesma forma que teriam se estivessem a utilizar um produto ou uma biblioteca de código que estivesse em versão beta. Eles podem não permitir que esse produto seja envolvido nas transações em nome do cliente e, esperançosamente, não confiariam totalmente nele. Cuidado semelhante deve ser aplicado aos LLMs”.