34% das organizações já estão a utilizar ou a implementar ferramentas de segurança de IA

De acordo com uma nova investigação da Gartner, 34% das organizações já se encontram a utilizar ou a implementar ferramentas de segurança de aplicações de Inteligência Artificial (IA), visando mitigar os riscos associados à IA Generativa (GenAI). Mais de metade (56%) dos inquiridos afirmam estar as explorar estas soluções.

A investigação Gartner Peer Community, realizada de 1 a 7 de abril, contou com o testemunho de 150 líderes de Tecnologias de Informação (TI) e segurança da informação em empresas que utilizam a GenAI ou modelos fundamentais, que planeiam utilizá-la ou que estão em explorar a sua implementação.

Em particular, os profissionais entrevistados estão atualmente a implementar ou a utilizar tecnologias de melhoria da privacidade (26%), ModelOps (25%) ou monitorização de modelos (24%).

“Os líderes de TI e segurança e gestão de riscos devem, além de implementar ferramentas de segurança, considerar apoiar uma estratégia empresarial para AI TRiSM (gestão de confiança, risco e segurança)”, afirma Avivah Litan, Distinguished VP Analyst da Gartner. “A AI TRiSM gere fluxos de dados e processos entre utilziadores e empresas que hospedam modelos generativos de base de IA e deve ser um esforço contínuo, não um exercício único para proteger continuamente uma organização”.

A investigação da Gartner revela ainda que, em última análise, as equipas de TI são responsáveis pela segurança da GenAI. 93% dos líderes de TI e segurança entrevistados afirmam estar minimamente envolvidos nos esforços de segurança e gestão de riscos da GenAi das suas empresas, enquanto apenas 24% dizem possuir esta responsabilidade.

Relativamente aos entrevistados que não são responsáveis pela segurança e/ou gestão de riscos da GenAI, 44% apontam que as equipas de TI têm a responsabilidade final pela segurança desta tecnologia e 20% afirmam que os responsáveis são os departamentos de governança, risco e conformidade das suas organizações.

A Gartner caracteriza os riscos associados à GenAI como significativos, contínuos e em constante evolução. Para os profissionais entrevistados, as principais preocupações são a divulgação de segredos em códigos gerados pela IA (57%) e os resultados incorretos ou tendenciosos ligados à GenAI (58%).

“As organizações que não gerem o risco de IA vão testemunhar que os seus modelos não funcionarão conforme o esperado e, na pior das hipóteses, poderão causar danos humanos ou materiais”, prevê Litan. “Isso resultará em falhas de segurança, perdas financeiras e de reputação e danos aos indivíduos decorrentes de resultados incorretos, manipulados, antiéticos ou tendenciosos. O mau desempenho da IA também pode fazer com que as organizações tomem decisões de negócios erradas”.