Balwurk: “É fundamental ter uma postura de testes continuados” (com vídeo)

João Teixeira, Cyber Security Architect da Balwurk, abordou os riscos dos modelos de linguagem (LLM) na 3ª edição da IT Security Conference e enfatizou a importância de uma estratégia proativa para mitigar vulnerabilidades. “A tecnologia baseada em inteligência artificial generativa entrou de rompante no nosso ciberespaço”, afirmou.

A popularidade de ferramentas como o ChatGPT aumentou os riscos devido à interação crescente de organizações e indivíduos. Embora os LLMs permitam interações intuitivas, essa capacidade traz desafios para as equipas de segurança, que devem contornar a limitação de que essas ferramentas não respondem a tudo, alertando que “os atacantes poderão explorar esta vulnerabilidade”.

Estratégias para segurança proativa

João Teixeira abordou a vulnerabilidade de “prompt injection”, onde agentes maliciosos manipulam a entrada fornecida ao LLM para induzi-lo a ações indesejadas, explicando que isso resulta numa “poluição do contexto” que pode levar a comandos não intencionais, comprometendo o sistema e prejudicando utilizadores, como a manipulação de um assistente virtual para desmarcar uma consulta médica sem autorização.

A vulnerabilidade na supply chain da Hugging Face, identificada pela Eden Layer, permitiu a infeção de mais de cem modelos de IA com código malicioso. Para resolver, a Hugging Face implementou o formato Safe Tensors para impedir a execução de código durante a serialização, mas essa implementação foi feita com “práticas de código inseguro”, permitindo que um atacante injetasse um modelo malicioso e executasse código durante a conversão, ganhando persistência num serviço com acesso a todos os modelos em repositório.

Para mitigar os riscos, João Teixeira propõe um conjunto de princípios fundamentais como modelação de ameaças robusta e integração de testes contínuos. “É fundamental ter uma postura de testes continuados em todas as fases de utilização”, destacou.