Quando um laboratório de IA diz que seu modelo é seguro, quem verifica? Até agora a resposta oscilava entre duas opções ruins: a equipe interna, que tem acesso total e independência zero, ou um avaliador externo, que tem independência e enxerga apenas o modelo pronto, por API e em janela curta.
Em 18 de setembro, a Anthropic anunciou a primeira tentativa séria de criar uma terceira opção, o avaliador embarcado. A empresa fechou parceria com a Accenture para colocar avaliadores dentro de casa, com acesso comparável ao de um funcionário. Cada lado espera investir ao menos US$ 1 bilhão nos próximos cinco anos.
A escolha surpreendeu quem acompanha o assunto, e por um motivo específico: o nome esperado era de um instituto de pesquisa em segurança. Veio uma consultoria. Essa diferença carrega mais significado para o mercado de serviços do que parece à primeira vista.
O que é um avaliador embarcado
A definição está no comunicado oficial da Anthropic e é bastante literal. Diferente dos avaliadores externos de hoje, o avaliador embarcado trabalha dentro da empresa de IA, com acesso equiparável ao de um empregado. Isso permite acompanhar o modelo tomando forma durante o treino, seguir as decisões que governam como ele é construído e lançado, e falar diretamente com as equipes.
Desse ponto de observação, o avaliador consegue fazer três coisas que ninguém de fora faz: aferir como a empresa opera de verdade, verificar se ela está cumprindo os próprios compromissos de segurança e identificar pontos cegos. Pode também reportar incidentes e oferecer ao público um relato mais informado de benefícios e riscos.
O trabalho em si inclui avaliação e red teaming dos modelos, testes de alinhamento e verificação de salvaguardas, e será conduzido pela Faculty, a operação especializada em IA da Accenture.
De onde veio a ideia
A parceria é o primeiro passo concreto de um compromisso assumido no ensaio “We Must Pace the Frontier”, de Dario Amodei. Cobrimos a repercussão do texto quando Amodei pediu freio na IA e Altman concordou, e o desdobramento prático demorou menos de uma semana para aparecer.
Há também um antecedente que explica a urgência. Em julho, a própria Anthropic reportou que modelos obtiveram acesso não autorizado a sistemas reais durante avaliações. Quando a casa descobre sozinha três incidentes desse tipo, a pergunta sobre quem mais deveria estar olhando deixa de ser retórica.
Avaliadores embarcados independentes não reduzem a nossa responsabilidade, ajudam a torná-la verificável. A segurança dos nossos modelos continua sendo responsabilidade nossa.
Anthropic, no comunicado da parceria
A crítica óbvia, e a resposta dela
Se a empresa avaliada paga o avaliador, a independência é real? O TechCrunch levantou exatamente essa questão dois dias antes do anúncio, e o comunicado responde de forma mais honesta do que o habitual em comunicação corporativa: a Anthropic diz que, no longo prazo, o financiamento deveria vir de fundos coletivos ou governamentais, como a empresa já defendeu em seu Advanced AI Framework. Como nenhum dos dois existe hoje, ela vai pagar direto.
Em paralelo, a empresa afirma estar em diálogo com a METR e outras organizações sem fins lucrativos para pilotar elementos do modelo com financiamento próprio delas. A parceria com a Accenture é explicitamente não exclusiva, e mais avaliadores devem ser anunciados nas próximas semanas.
Não existe padrão sobre a que informação o avaliador embarcado deve ter acesso, nem sobre como deve reportar o que encontra. A própria Anthropic reconhece isso. É um arranjo sendo construído enquanto roda, o que é ao mesmo tempo o mérito e a fragilidade da iniciativa.
| Ponto em aberto | Como está hoje | O que observar |
|---|---|---|
| Quem paga | A Anthropic financia a Accenture diretamente | Se surge fundo coletivo ou público que quebre a relação comercial |
| Nível de acesso | Comparável ao de um funcionário, sem padrão definido | Publicação de critérios mínimos de acesso entre laboratórios |
| Forma de reportar | Sem sistema estabelecido | Se relatórios virão a público e com qual periodicidade |
| Perfil do avaliador | Consultoria, e não instituto de pesquisa | Se os próximos anúncios trazem organizações sem fins lucrativos |
Por que uma consultoria, e não um instituto
O argumento da Anthropic é de conhecimento aplicado: a Accenture implanta IA em empresas e governos de muitos setores, e essa vivência de como a tecnologia é usada na prática informa a abordagem de segurança. Faz sentido. Um instituto de pesquisa enxerga o comportamento do modelo em laboratório; uma consultoria enxerga o que acontece quando ele encontra um processo real, com dado sujo e usuário apressado.
Mas a escolha também cria uma categoria de negócio que não existia. Auditoria de IA deixa de ser custo de compliance e passa a ser linha de receita, com um benchmark de mercado acabado de estabelecer. Para consultorias e agências brasileiras que já atendem clientes implantando agentes, isso é um sinal de demanda, não uma curiosidade do Vale do Silício.
Vale observar ainda que o movimento se encaixa numa tendência mais ampla de autorregulação negociada. Foi o caso do código de conduta que a Microsoft propôs aos modelos, e do próprio esforço da Anthropic de publicar métricas sobre o ritmo do desenvolvimento de IA. O padrão é claro: medir e publicar antes que alguém obrigue.
O que isso significa para quem opera IA no Brasil
Três leituras práticas. A primeira é de contrato: se o fornecedor do modelo está começando a aceitar auditoria com acesso interno, o seu contrato com clientes também pode exigir evidência, não promessa. Peça log de ação, escopo de credencial e política de incidente por escrito.
A segunda é de vocabulário. Avaliação embarcada, red teaming e teste de salvaguarda vão entrar no edital de compra corporativa mais rápido do que o mercado espera. Saber explicar a diferença entre os três é vantagem comercial imediata.
A terceira é de ceticismo calibrado. Nenhum arranjo de governança substitui evidência, e a lição de quando uma afirmação forte sobre IA foi contestada por falta de dado continua valendo. Um avaliador embarcado torna a responsabilidade verificável. Verificável não é o mesmo que verificada.
O que acompanhar daqui para frente
Dois marcadores dizem se isso é estrutura ou vitrine. O primeiro é a lista dos próximos avaliadores: se vierem organizações sem fins lucrativos com financiamento independente, o ecossistema começa a se formar de verdade. O segundo é o primeiro relatório público produzido por um avaliador embarcado. O conteúdo dele, e principalmente o que ele tiver permissão de dizer, vai revelar mais sobre o modelo do que qualquer comunicado.
Perguntas frequentes
O que diferencia um avaliador embarcado de um avaliador externo?
O nível de acesso. O avaliador externo costuma testar o modelo já pronto, normalmente por API e em janela limitada. O embarcado trabalha dentro da empresa, com acesso comparável ao de um funcionário, acompanhando o treino, as decisões de lançamento e conversando com as equipes.
Quanto vale a parceria entre Anthropic e Accenture?
As duas empresas esperam investir, cada uma, ao menos US$ 1 bilhão em cinco anos para construir capacidade na área. O trabalho será liderado pela Faculty, a operação especializada em IA da Accenture.
Se a Anthropic paga a Accenture, a avaliação é mesmo independente?
É a crítica central ao modelo. A Anthropic reconhece o problema e afirma que, no longo prazo, o financiamento deveria vir de fundos coletivos ou governamentais. Como esses fundos não existem hoje, ela financia a Accenture diretamente, enquanto negocia pilotos com a METR e outras organizações sem fins lucrativos usando recursos próprios delas.
A parceria é exclusiva?
Não. A Anthropic afirma que trabalhará com outros avaliadores, a serem anunciados nas próximas semanas, e que a Accenture atuará em capacidade semelhante junto a outros desenvolvedores de IA.
O que uma empresa que usa IA deveria tirar disso na prática?
Que evidência está virando requisito. Se o fornecedor do modelo aceita auditoria com acesso interno, o cliente corporativo pode e deve exigir o equivalente do seu próprio fornecedor de automação: log de ações, escopo de credencial documentado e política de incidente por escrito.
