IA e o novo horizonte de ciberameaças

A IA é um elemento diferenciador para os agentes organizacionais, permitindo novas capacidades aplicacionais. Quer queiramos fazer parte, ou não, estamos perante uma nova revolução que forçará as organizações à adaptação e procura destas soluções claramente diferenciadoras na prossecução dos seus objetivos.

O aumento da oferta de GenAI no mercado e a sua rápida expansão e procura, faz emergir um novo horizonte de ameaças e riscos: o comprometimento de cadeias de fornecimento e dependências em software, aumento da vigilância digital e perda de privacidade, campanhas de desinformação e utilização abusiva da IA.

Ato Europeu da IA

A Europa tem vindo a desenvolver esforços com o objetivo de melhorar a segurança e a conformidade regulamentar na utilização e desenvolvimento da IA. O Ato Europeu da IA vem definir um conjunto de regras e obrigações para utilizadores, programadores e fornecedores de serviços e tecnologias baseadas em IA para o espaço europeu. Este define uma abordagem baseada no risco, em que as obrigações para um sistema de IA são proporcionais ao nível de risco que este representa, com base na sua conceção, arquitetura e utilização prevista.

Após publicação oficiosa, este regulamento será implementado ao longo de um período de 2 anos, com metas a 6, 12 e 36 meses das várias obrigações do regulamento, forçando presentemente as organizações a criar um plano sólido e adequado para esta implementação.

Riscos e ameaças

Devido à complexidade de desenvolvimento, treino, implementação e à longa cadeia de fornecimento, podemos claramente inferir que a GenAI será a tecnologia mais vulnerável à data a ser disponibilizada nos ambientes de produção.

A capacidade das empresas, organizações e clientes em desenvolver integralmente as suas próprias soluções de GenAI é incomportável. A cadeia de abastecimento para a geração e sustentação de um modelo baseado em IA é extenso e disperso, associada ao gap de know-how para a edificação da mesma, veremos uma tendência de utilizadores, clientes e distribuidores destas soluções dependerem “na confiança” para atestar a segurança aplicacional, potenciando a aceitação “cega” de novos cenários de risco e ameaça. O que é inaceitável.

De acordo com a nossa experiência já é observável o impacto destes fatores na segurança das aplicações que tentam implementar soluções de IA. No mais recente caso prático verificámos que o conjunto de cenários com o grau mais elevado de criticidade recaiam na integração de um LLM. Face ao novo horizonte de riscos associados à integração da IA as organizações necessitam de agir em concordância para se capacitar na sua correta deteção e mitigação.

Intelligent Application Security Testing (INTAST)

Perante este novo horizonte de ameaças, é fulcral uma adaptação dos testes de segurança e da modelação de ameaças, integrando-os num ambiente de gestão contínua e interligada, devidamente adaptados ao desenvolvimento, treino, implementação e conformidade de aplicações IA. Da nossa experiência recomendamos especial foco nos seguintes aspetos:

• Considerar numa nova perspetiva os limites de confiança entre sistemas
• Identificar todas as ações do sistema e como afetam a infraestrutura
• Identificar todas as dependências da IA e exigir transparência
• Considerar ameaças específicas da IA.

IntAST é um novo conceito criado pela Balwurk que visa adaptar as diversas metodologias utilizadas para a execução de exercícios de Modelação de Ameaças, Static Application Security Testing (SAST), Software Composition Analysis (SCA), Interactive Application Security Testing (IAST) e Dynamic Application Security Testing (DAST), orientadas para este novo horizonte de ameaças da IA.

Conteúdo co-produzido pela MediaNext e pela Balwurk