Microsoft lança ferramenta de red team para IA generativa

A Microsoft anunciou na última semana o lançamento do PyRIT, uma ferramenta de acesso aberto para red team desenhada para ajudar os profissionais de cibersegurança a identificar os riscos da IA generativa.

De acordo com a Microsoft, esta ferramenta aumenta a eficiência das auditorias através da automação de tarefas e alertando as áreas que precisam de uma investigação mais profunda, aumentando, essencialmente, as tarefas da red team.

Fazer ações de red team na IA generativa é, segundo a Microsoft, diferente de sistemas de IA clássicos ou sistemas tradicionais, uma vez que requer a identificação de riscos de segurança e riscos de IA responsável.

A IA generativa pode produzir conteúdo impreciso e os seus resultados podem influenciar até a mais pequena das variações e as ações da red team a estes sistemas devem considerar estes riscos.

A Microsoft explica que o PyRIT – que significa Python Risk Identification Toolkit – “não é um substituto do red team manual para sistemas de IA generativa. Em vez disso, aumenta o expertise do red team de IA nos domínios existentes e automatiza tarefas entediantes”.