Uma Nova Fronteira para a Segurança da IA: Testes Cruzados entre Laboratórios para Unir a Indústria
- Ilya Sutskever, da OpenAI, defende testes cruzados entre laboratórios para fortalecer a segurança da IA em meio aos avanços tecnológicos rápidos e aos riscos em toda a indústria. - O piloto do Claude, da Anthropic, baseado em navegador, destaca desafios de segurança como ataques de injeção de prompts, levando ao desenvolvimento de estratégias de mitigação aprimoradas. - Um estudo revela baixa conformidade com compromissos voluntários de segurança por grandes empresas de IA, incluindo a Apple, questionando a eficácia da autorregulação. - A AI Safety Initiative da Cloud Security Alliance oferece estruturas e o RiskRub.
Ilya Sutskever, cofundador e membro do conselho da OpenAI, pediu a implementação de testes cruzados entre laboratórios como uma medida crítica para garantir a segurança dos sistemas de inteligência artificial (IA). Sua declaração surge em meio a preocupações crescentes sobre os riscos associados aos avanços da IA, com líderes do setor enfatizando a necessidade de protocolos de segurança colaborativos e padronizados. O apelo de Sutskever por testes cruzados entre laboratórios está alinhado com esforços mais amplos para fortalecer a segurança da IA e mitigar possíveis danos à medida que a tecnologia continua a evoluir rapidamente [1].
A necessidade de abordagens colaborativas como essa é ressaltada pelos desenvolvimentos recentes na implantação e regulação da IA. Por exemplo, a Anthropic, um dos principais players do setor, lançou um programa piloto para seu assistente de IA, Claude, projetado para operar diretamente nos navegadores dos usuários. Essa iniciativa, que visa aumentar a utilidade da IA ao integrá-la aos fluxos de trabalho digitais centrais, também destacou os desafios significativos de segurança e proteção associados a agentes de IA baseados em navegador. Ataques de injeção de prompt—em que agentes maliciosos manipulam o comportamento da IA por meio da inserção de instruções ocultas—emergiram como um risco chave, levando a Anthropic a implementar estratégias robustas de mitigação, como permissões em nível de site, confirmações de ação e classificadores avançados para detectar padrões suspeitos [2].
Esses riscos não se limitam a empresas individuais. Um estudo recente de pesquisadores de Brown, Harvard e Stanford descobriu que muitas empresas de IA não cumpriram totalmente seus compromissos voluntários de segurança, especialmente após as promessas de segurança de IA do governo Biden em 2023. A Apple, por exemplo, teve um desempenho ruim na avaliação, com evidências de conformidade em apenas um de cada oito compromissos. O estudo destaca as limitações da autorregulação em um setor que evolui rapidamente e levanta questões sobre a eficácia de medidas voluntárias para garantir responsabilidade e segurança [5].
Em resposta a esses desafios, a Cloud Security Alliance (CSA) lançou sua AI Safety Initiative no final de 2023, reunindo líderes do setor, agências governamentais e instituições acadêmicas para desenvolver ferramentas práticas e estruturas para a gestão de riscos em IA. A iniciativa fornece às organizações listas de verificação de prontidão para IA, estruturas de governança e diretrizes de segurança, com o objetivo de alinhar o progresso tecnológico às expectativas regulatórias. Notavelmente, a CSA também introduziu o RiskRubric.ai, um sistema de pontuação que avalia a segurança, transparência e confiabilidade de grandes modelos de linguagem (LLMs), oferecendo às empresas uma abordagem orientada por dados para adoção de IA [4].
Esforços colaborativos para aprimorar a segurança da IA também estão sendo apoiados por um ecossistema crescente de financiadores e programas de subsídios. Organizações como Long-Term Future Fund, Survival and Flourishing Fund e AI Safety Fund estão fornecendo apoio financeiro a pesquisadores, empreendedores e instituições que trabalham na mitigação de riscos da IA. Essas iniciativas visam abordar riscos existenciais de longo prazo, ao mesmo tempo em que promovem a inovação responsável. Além disso, empresas de venture capital como Juniper Ventures e Mythos Ventures estão investindo em startups que desenvolvem ferramentas para melhorar a segurança, conformidade e governança da IA [6].
O apelo por testes cruzados entre laboratórios, defendido por Sutskever, representa um passo fundamental para enfrentar esses desafios sistêmicos. Ao possibilitar padrões compartilhados e avaliações transparentes entre laboratórios de desenvolvimento de IA, o setor pode promover maior confiança e responsabilidade. Essa abordagem é especialmente importante à medida que os sistemas de IA se tornam mais complexos e capazes, exigindo uma frente unificada para avaliar riscos potenciais antes da implantação. OpenAI, Anthropic e outros atores-chave têm a oportunidade—e a responsabilidade—de liderar essa transição, adotando protocolos colaborativos de segurança e estabelecendo um precedente para a inovação responsável em IA [1].
Aviso Legal: o conteúdo deste artigo reflete exclusivamente a opinião do autor e não representa a plataforma. Este artigo não deve servir como referência para a tomada de decisões de investimento.
Talvez também goste
Roteiro do final de 2018: Federal Reserve continua aumentando as taxas de juros, mercado de ações dos EUA despenca 20% desde o pico de setembro, forçando o Federal Reserve a "mudar de direção" em janeiro.
O diretor de operações da Goldman Sachs acredita que o atual mercado de ações dos EUA está reencenando o cenário de aperto monetário e pressão sobre o mercado de ações visto no final de 2018. O Índice de Condições Financeiras da Goldman Sachs se apertou cerca de 8 pontos em duas semanas, atingindo o maior nível em um ano, e a venda do mercado se espalhou dos títulos de tecnologia para os setores defensivos. Ouro e ações caíram simultaneamente, o que pode refletir investidores vendendo ativos para levantar dinheiro, tornando o ouro um indicador chave para observar pressões de liquidez.

Operadores do Goldman Sachs “revivem o roteiro de 2018”: ainda me lembro claramente “daquele 24 de dezembro, quando clientes perguntaram por que estava caindo tanto? Eu realmente não sabia”
Brian Garrett apontou que o ajuste atual das ações dos EUA é semelhante à queda acentuada do quarto trimestre de 2018: o S&P 500 já completou 42% da queda do mesmo período daquele ano e o VIX está próximo do pico antes do Natal. Se o ritmo histórico se repetir, o fundo desta rodada pode aparecer em janeiro do próximo ano, mas o mercado de crédito e a política do Federal Reserve ainda não emitiram sinais claros de estabilização do fundo.
Anthropic (ANT.US) quase "quebrou", mas Claude bate à porta do "maior desafio matemático"! 17 milhões de linhas de código Lean apresentaram uma possível prova para a Conjectura de Riemann
No horário do leste dos EUA, em 20 de novembro, Anthropic atingiu a mínima intradiária de US$ 83,05 no segundo dia após sua estreia, apenas 5 centavos acima do preço de emissão de US$ 83, fechando em US$ 88,91, uma queda de 8,50%. No mesmo dia, o matemático da empresa Levante Alperg anunciou em seu site pessoal que ele e Claude encontraram uma prova candidata para a hipótese de Riemann, que tem intrigado a comunidade matemática há 167 anos, e publicaram aproximadamente 17 milhões de linhas de código formalizado em Lean.

Durante a queda acentuada das ações americanas, a empresa-mãe de GTA 6 registrou alta! O faturamento recorde de 3,79 bilhões de dólares no primeiro dia volta o foco de Wall Street para a próxima geração do GTA Online.
Os dados da Rentrak mostram que a bilheteria global de "Grand Theft Auto VI" também superou a do filme de maior bilheteria de todos os tempos, "Vingadores: Ultimato", cuja arrecadação mundial foi de aproximadamente US$ 2,94 bilhões.
