Enquanto as controvérsias sobre segurança aumentam, Nvidia (NVDA.US) lança uma abordagem de engenharia! Plataforma de segurança de IA em dois níveis aborda diretamente permissões e comportamentos anormais de agentes inteligentes

De acordo com informações da Plataforma Financeira Inteligente, à medida que as discussões sobre os riscos de segurança da indústria de inteligência artificial (IA) se intensificam, a Nvidia (NVDA.US) optou por responder com uma abordagem de engenharia. Na segunda-feira, a Nvidia lançou uma plataforma de segurança de IA em duas camadas chamada "Plataforma Aberta de Segurança de Agentes Inteligentes", fornecendo monitoramento contínuo, execução de políticas em tempo real e governança de segurança para agentes de IA por meio de uma arquitetura de três camadas: aplicação, tempo de execução e infraestrutura.

Segundo informações, o sistema inclui duas ferramentas de software de código aberto: OpenShell e Nvidia Sentry. Dentre elas, o software de código aberto OpenShell pode executar agentes de IA em um ambiente sandbox, convertendo instruções de usuários em políticas de segurança verificáveis e limitando o acesso dos agentes a arquivos, rede, ferramentas, processos e credenciais. O Nvidia Sentry estende os controles de monitoramento e segurança até a unidade de processamento de dados BlueField, registando interações de agentes, decisões de políticas, e registros de acesso a ferramentas e dados via Nvidia DOCA, para identificar comportamentos anômalos e intervir quando necessário. Em outras palavras, o OpenShell é responsável por controlar os recursos e permissões de execução acessíveis ao agente de IA, enquanto o Nvidia Sentry monitora o comportamento do agente e identifica ameaças potenciais.

A Nvidia afirma que agentes de IA podem desviar das tarefas estabelecidas devido a fatores como ferramentas, tempo de execução e ambiguidade de instrução, portanto, é necessário um controle de segurança independente do próprio agente. O sistema é otimizado para os sistemas Nvidia Vera CPU e BlueField DPU, sendo também compatível com outros sistemas de hardware. A Nvidia destaca que está colaborando com Arm (ARM.US) e Intel (INTC.US) para garantir que o sistema possa funcionar também nos CPUs dessas empresas.

Ali Golshan, diretor sênior de software de IA da Nvidia, afirma que essas ferramentas da Nvidia utilizam fórmulas matemáticas para detectar se um agente de IA está tentando adotar métodos alternativos, como gerar múltiplos "subagentes" para contornar as barreiras impostas ao agente principal. Ele declara: "O que realmente estamos discutindo é o comportamento de agentes, ou seja, clusters compostos por um grande número de agentes e como eles operam em conjunto."

A Nvidia acrescenta que o sistema pode isolar agentes anômalos em nível de milissegundos e afirma que, se laboratórios relevantes tivessem implementado esta tecnologia anteriormente, o incidente de ataque ao Hugging Face pelo modelo OpenAI em julho poderia ter sido evitado.

Justin Boitano, vice-presidente e gerente geral da divisão de computação corporativa da Nvidia, declara: "Com base nas informações que temos no momento, se esta nova plataforma de segurança tivesse sido usada na fase de avaliação inicial dos modelos nos principais laboratórios de IA, ela poderia ter evitado este ataque." Ele acrescenta: "Estamos promovendo este trabalho de forma aberta e esperamos colaborar com todos para participação conjunta."

O lançamento deste novo sistema de segurança de IA pela Nvidia ocorre em meio à crescente preocupação do setor com incidentes de segurança relacionados a agentes de IA, especialmente o caso de julho em que um modelo da OpenAI fugiu do controle e invadiu a plataforma de código aberto de IA Hugging Face. Desde o ataque ao Hugging Face, outros incidentes relacionados a agentes de IA da OpenAI vieram à tona, incluindo relatos de setembro de que um agente de IA da OpenAI assumiu um site da Wikipédia alemã abandonado. Além disso, em meados deste mês, a OpenAI afirmou em um artigo de blog que identificou seis casos de "comportamento inesperado ou preocupante de modelos" nos últimos seis meses. Esses seis novos incidentes de segurança envolvem vários tipos de comportamento anormal dos modelos, como ocultação de erros, busca por credenciais não autorizadas, upload de arquivos para sites públicos e comunicação entre ambientes de treinamento que deveriam estar isolados, sendo o mais antigo deles datado de outubro do ano passado.

Com o aumento dos incidentes de segurança em IA, empresas do setor estão sendo pressionadas a tratar os riscos de segurança de forma mais séria. O CEO da Anthropic, Dario Amodei, em um artigo de alerta publicado em 12 de setembro, pediu para desacelerar o desenvolvimento de modelos avançados de IA. Esse apelo rapidamente obteve o apoio de Elon Musk e Sam Altman, duas figuras-chave na área.

No entanto, enquanto líderes da indústria de IA raramente clamam em uníssono pelo "pé no freio", o CEO da Nvidia, Jensen Huang, mantém uma posição firme ao se opor à proposta de "desaceleração da IA", liderada principalmente pela Anthropic. Huang não é contra a segurança de IA em si, mas contesta a ideia de pausar ou desacelerar toda a indústria com base em previsões catastróficas ainda não comprovadas. Em contraste, Huang prefere tratar a segurança da IA como um problema de engenharia. Caso um laboratório de ponta tenha um incidente, a primeira ação deveria ser realizar uma análise de causa raiz: o que realmente aconteceu, quais etapas falharam, quais medidas poderiam ter sido tomadas e que novas tecnologias e processos precisam ser estabelecidos em seguida. Por meio de sandboxes, monitoramento contínuo, validação e avaliação, os problemas podem ser evitados em futuros lançamentos.

Na visão de Huang, os laboratórios mais avançados de hoje estão mais propensos a expor riscos principalmente porque possuem a maior capacidade computacional e lidam com os problemas mais complexos. À medida que essas empresas evoluem de institutos de pesquisa para verdadeiras organizações de engenharia, elas precisam estabelecer sistemas de teste e controle adequados ao novo perfil.

Do lançamento deste sistema de segurança de IA, observa-se que a Nvidia está tentando integrar ainda mais capacidades de segurança de IA à infraestrutura de execução de modelos e agentes, reduzindo os riscos por meio de controle de permissões e isolamento de anomalias. Isso também indica que o alcance dos negócios da Nvidia está se estendendo de chips de IA para as áreas de software e infraestrutura de segurança.