Anthropic aciona alerta de segurança interna antes de IPO: avanços em IA excedem expectativas
Anthropic revelou em seu documento de IPO que o ritmo de desenvolvimento da IA já ativou mecanismos adicionais de segurança na empresa. A organização de avaliação METR constatou que o progresso tecnológico da Anthropic no último ano equivale ao dos dois anos anteriores, e que a IA envolvida no próprio desenvolvimento está acelerando esse processo. Os riscos de perda de controle devido à melhoria recursiva também despertam preocupações no campo da segurança em IA.
Quando a Anthropic está prestes a chegar a Wall Street, a empresa revelou em seus documentos de abertura de capital um alerta de segurança: o progresso no desenvolvimento de IA atingiu o limite de segurança estabelecido por ela mesma, tornando necessário ativar medidas adicionais de controle de segurança.
Em 19 de novembro, de acordo com o Financial Times britânico, a Anthropic reconheceu, em sua documentação atualizada para a IPO, que o ritmo de avanço tecnológico já acionou os mecanismos de segurança adicionais previstos em sua “Política de Expansão Responsável” (Responsible Scaling Policy), definida em 2023. Esta revelação ocorre justamente quando a empresa define o preço da IPO em US$ 83 por ação, acima da faixa previamente indicada, atingindo um valuation de cerca de US$ 1,5 trilhão.
O acionamento do mecanismo de segurança tem origem em um relatório publicado este mês pela instituição de avaliação de IA METR. Esta entidade, ao receber amplo acesso aos sistemas, equipe e modelos inéditos da Anthropic, concluiu que o progresso das capacidades de IA da empresa no último ano equivale ao avanço de aproximadamente dois anos na história anterior. Pesquisadores utilizando ferramentas de IA para acelerar sua própria pesquisa tornam-se um fator importante nesse ritmo acelerado.
O ritmo do avanço em IA dobrou, ativando mecanismos internos de segurança
A METR é uma organização de pesquisa dedicada a avaliar capacidades avançadas e riscos da IA. Seu relatório mais recente mostra que a Anthropic alcançou, nos últimos 12 meses, o equivalente a cerca de dois anos de progresso tecnológico, dobrando a velocidade em relação ao ano anterior.
Essa velocidade atingiu o limite de segurança estabelecido pela própria Anthropic. De acordo com a política definida pela empresa em 2023, quando o ritmo de desenvolvimento de IA for suficiente para comprimir dois anos de progresso tecnológico em apenas um ano, devem ser aplicadas medidas de supervisão de segurança mais rigorosas.
A Anthropic declarou que, a avaliação foi baseada em projeções sobre as capacidades dos modelos futuros e no ritmo geral do progresso, sem significar que os sistemas de IA já consomma capazes de autoaperfeiçoamento total. As novas medidas contemplam garantias de segurança, estrutura de governança e revisões internas durante o processo de desenvolvimento dos modelos.
Sam McCandlish, executivo da Anthropic, respondeu dizendo que muitas das conclusões do relatório METR concordam com sua avaliação. Ele reconheceu que a IA está acelerando o trabalho de pesquisa da empresa, embora esse impacto ainda seja difícil de quantificar com precisão.
IA participa do próprio desenvolvimento, elevando riscos de melhorias recursivas
Por trás do ritmo acelerado de progresso está o fato de que a IA está começando a participar cada vez mais do desenvolvimento da próxima geração de sistemas de IA. Esse processo é denominado “autoaperfeiçoamento recursivo” (RSI), isto é, sistemas de IA utilizam suas próprias capacidades para ajudar na criação de modelos ainda mais avançados.
No prospecto da IPO, a Anthropic classificou a capacidade de pesquisa em “ciclo fechado” — um modelo ajudando a construir o próximo — como uma vantagem importante em relação aos concorrentes, e afirmou que isso já aumentou significativamente a eficiência do uso de poder computacional.
No entanto, essa habilidade também traz novos riscos de segurança. Marius Hobbhahn, CEO da Apollo Research, afirmou que havia divergências significativas entre os pesquisadores sobre quando o autoaperfeiçoamento recursivo seria alcançado, mas essa janela de tempo está se encurtando rapidamente e o setor não está pronto em termos de segurança.
A organização de segurança em IA “Projeto Futuros da IA” (The AI Futures Project) considera surpreendente a tendência de aceleração revelada pelo relatório METR, prevendo que pesquisadores de IA super-humanos provavelmente surgirão em algum ponto até 2027. O grupo acredita que pausar ou retardar substancialmente o desenvolvimento de IA de ponta tornou-se uma necessidade urgente.
O CEO da Anthropic, Dario Amodei, também afirmou em setembro do ano passado que deveria ser definido algum tipo de “limite de velocidade” para o ritmo de autoaperfeiçoamento recursivo de IA, já que o progresso pode ser surpreendentemente rápido.
Posicionamento de segurança é questionado e críticas externas aumentam
Quando a Anthropic revelou o acionamento dos mecanismos de segurança, também cresceram as críticas externas sobre seu posicionamento em relação à segurança.
Na quarta-feira, liderada pela organização sem fins lucrativos “Centro de Segurança de IA” (Center for AI Safety), uma aliança de pesquisadores de IA e defensores da segurança, incluindo fundadores da Hugging Face e xAI, fez uma declaração pública acusando a Anthropic de usar sua marca de segurança para atrair investidores, funcionários e o público, afirmando abertamente que a empresa “não é uma companhia de IA segura”.
A declaração destacou em especial que, de um lado, a Anthropic alerta que o autoaperfeiçoamento recursivo pode levar à concentração de poder e perda de controle humano, e ao mesmo tempo está competindo para desenvolver essa tecnologia.
Preocupações semelhantes também foram levantadas dentro da própria indústria de IA. Paul Christiano, membro do conselho da OpenAI e pesquisador de segurança em IA, afirmou recentemente em um podcast que o grau de automação no desenvolvimento de IA está aumentando e pode, em um curto período, levar ao surgimento de sistemas extremamente poderosos. Caso ocorra uma explosão rápida de inteligência e se caminhe para uma superinteligência, a humanidade poderá, no final, perder o controle sobre os sistemas desenvolvidos.
Hobbhahn observa ainda que, mesmo que a IPO da Anthropic fracasse ou o mercado de financiamento para IA entre em declínio, não será necessariamente possível impedir que a tecnologia avance. Segundo ele, os laboratórios de IA existentes contam com recursos suficientes para viabilizar ao menos duas grandes rodadas de avanços tecnológicos — mesmo que a bolha do mercado estoure, ainda podem surgir modelos muito além da capacidade humana.
Aviso Legal: o conteúdo deste artigo reflete exclusivamente a opinião do autor e não representa a plataforma. Este artigo não deve servir como referência para a tomada de decisões de investimento.
Talvez também goste
Roteiro do final de 2018: Federal Reserve continua aumentando as taxas de juros, mercado de ações dos EUA despenca 20% desde o pico de setembro, forçando o Federal Reserve a "mudar de direção" em janeiro.
O diretor de operações da Goldman Sachs acredita que o atual mercado de ações dos EUA está reencenando o cenário de aperto monetário e pressão sobre o mercado de ações visto no final de 2018. O Índice de Condições Financeiras da Goldman Sachs se apertou cerca de 8 pontos em duas semanas, atingindo o maior nível em um ano, e a venda do mercado se espalhou dos títulos de tecnologia para os setores defensivos. Ouro e ações caíram simultaneamente, o que pode refletir investidores vendendo ativos para levantar dinheiro, tornando o ouro um indicador chave para observar pressões de liquidez.

Operadores do Goldman Sachs “revivem o roteiro de 2018”: ainda me lembro claramente “daquele 24 de dezembro, quando clientes perguntaram por que estava caindo tanto? Eu realmente não sabia”
Brian Garrett apontou que o ajuste atual das ações dos EUA é semelhante à queda acentuada do quarto trimestre de 2018: o S&P 500 já completou 42% da queda do mesmo período daquele ano e o VIX está próximo do pico antes do Natal. Se o ritmo histórico se repetir, o fundo desta rodada pode aparecer em janeiro do próximo ano, mas o mercado de crédito e a política do Federal Reserve ainda não emitiram sinais claros de estabilização do fundo.
Anthropic (ANT.US) quase "quebrou", mas Claude bate à porta do "maior desafio matemático"! 17 milhões de linhas de código Lean apresentaram uma possível prova para a Conjectura de Riemann
No horário do leste dos EUA, em 20 de novembro, Anthropic atingiu a mínima intradiária de US$ 83,05 no segundo dia após sua estreia, apenas 5 centavos acima do preço de emissão de US$ 83, fechando em US$ 88,91, uma queda de 8,50%. No mesmo dia, o matemático da empresa Levante Alperg anunciou em seu site pessoal que ele e Claude encontraram uma prova candidata para a hipótese de Riemann, que tem intrigado a comunidade matemática há 167 anos, e publicaram aproximadamente 17 milhões de linhas de código formalizado em Lean.

Durante a queda acentuada das ações americanas, a empresa-mãe de GTA 6 registrou alta! O faturamento recorde de 3,79 bilhões de dólares no primeiro dia volta o foco de Wall Street para a próxima geração do GTA Online.
Os dados da Rentrak mostram que a bilheteria global de "Grand Theft Auto VI" também superou a do filme de maior bilheteria de todos os tempos, "Vingadores: Ultimato", cuja arrecadação mundial foi de aproximadamente US$ 2,94 bilhões.

