Por anos, o acordo silencioso da web foi simples: os buscadores rastreavam o seu conteúdo e, em troca, mandavam visitantes de volta. A inteligência artificial quebrou esse equilíbrio, porque muitos crawlers de IA consomem o material para treinar modelos e responder perguntas sem devolver quase nenhum clique.
Em 23 de junho de 2026, a Cloudflare e a plataforma de newsletters beehiiv anunciaram uma resposta a esse desequilíbrio. Os publishers do beehiiv ganharam um painel, construído sobre as APIs da Cloudflare, para enxergar quais bots de IA batem à porta, liberar, bloquear ou até cobrar pelo acesso, tudo com poucos cliques.
A novidade coloca em pauta uma pergunta que vai além das newsletters: quem deve decidir como a IA usa o seu conteúdo, e em quais condições. Entenda o que muda e quais caminhos o produtor de conteúdo passa a ter.
O que a Cloudflare e a beehiiv anunciaram
A integração entrega aos publishers independentes um controle único sobre os crawlers de IA. O painel nomeia os bots que tentam acessar o conteúdo, mostra o que foi bloqueado e revela quanto de tráfego de referência esses crawlers devolvem, o ponto central da decisão de abrir ou fechar. Todos os usuários do beehiiv recebem acesso beta para visibilidade, e os clientes do plano Max podem efetivamente bloquear os bots.
Por que isso importa para quem produz conteúdo
A medida reduz a dependência de editar robots.txt, firewalls ou código, já que a Cloudflare atualiza a lista conforme novos crawlers aparecem. Para o criador, isso significa decisão informada em vez de luta manual e constante. O tema dialoga com o que já abordamos sobre como bloquear crawlers de IA no seu site e sobre os limites de soluções como o arquivo llms.txt no Google.
Permitir que a IA acesse o conteúdo, mas ser compensado por isso.
O terceiro caminho descrito pela Cloudflare
Permitir, bloquear ou cobrar: os três caminhos
A grande mudança é a abertura de uma terceira via. Antes, a escolha se resumia a liberar ou barrar. Agora entra o pay per crawl, em que o dono do conteúdo permite o acesso mediante pagamento. A Cloudflare conta que, após centenas de conversas com veículos e plataformas, ouviu um pedido recorrente: deixar a IA acessar o conteúdo, mas ser compensado por isso. Desde então esse caminho evoluiu, e a cobrança deixou de estar presa ao rastreamento, como explicamos na seção seguinte.
| Permitir | Bloquear | Cobrar (pay per crawl e pay per use) |
|---|---|---|
| O bot acessa o conteúdo livremente | O crawler é barrado | O acesso ou o uso do conteúdo é remunerado |
| Mantém o possível tráfego de referência | Protege o acervo do uso por IA | Monetiza o conteúdo usado pela IA |
| Indicado para ganhar alcance | Indicado para proteger conteúdo exclusivo | Indicado para quem quer compensação |
O que mudou desde o anúncio: três comportamentos e o pay per use
O controle ficou mais fino depois de junho de 2026. Em 1º de julho, a Cloudflare substituiu o botão único de bloqueio por três comportamentos que podem ser tratados de forma independente: Search, para crawlers que indexam o conteúdo e tendem a devolver visitas, Agent, para agentes que agem em tempo real em nome de uma pessoa, e Training, para quem coleta material para treinar modelos. Cada comportamento pode ser liberado, bloqueado em todo o site ou bloqueado apenas nas páginas que exibem anúncios, e o recurso vale para todos os planos, inclusive o gratuito, conforme o changelog da Cloudflare.
Em 15 de setembro de 2026 entraram novos padrões para os domínios que passam a usar a Cloudflare: bots classificados como Training ou Agent chegam bloqueados nas páginas com anúncios, enquanto Search segue liberado. Crawlers de múltipla finalidade, que combinam busca e treinamento, passaram a ser afetados pelo bloqueio de treinamento, e quem não quer os novos padrões pode optar por sair.
A mudança mais relevante para quem pensa em monetizar é de lógica. Em 30 de setembro de 2026, a Cloudflare colocou em beta o Pay Per Use, que troca a cobrança pelo rastreamento por um pagamento atrelado ao uso: a empresa de IA propõe um preço para um tipo específico de uso, o publisher aceita ou recusa, cada uso é reportado e a Cloudflare faz a cobrança e o repasse mensal. A diferença importa porque um único rastreamento pode alimentar centenas de respostas depois.
O dilema do tráfego de referência
Bloquear tudo parece tentador, mas pode custar caro. Alguns crawlers ainda enviam visitantes de volta, e cortar esse fluxo afeta o alcance. Por isso o painel exibe o retorno de cada bot, ajudando a separar quem agrega valor de quem apenas extrai. A decisão se conecta ao avanço do zero-click na busca, que já reduz cliques mesmo sem a camada de IA.
O que fazer agora
Mesmo quem não usa o beehiiv pode se preparar. Mapeie quais crawlers de IA acessam o seu site, avalie o tráfego que eles devolvem e defina uma política clara por comportamento: o que liberar para busca, o que bloquear em agentes e em treinamento e o que, eventualmente, monetizar. Acompanhe também o avanço regulatório, como as regras europeias para rotular conteúdo de IA, que tendem a influenciar o mercado global.
Riscos e pontos de atenção
O modelo é promissor, mas ainda jovem. Cobrar pode afastar crawlers que geram descoberta, e bloquear em excesso pode tornar a sua marca invisível nas respostas com IA, algo que só aparece quando existe uma rotina para medir a visibilidade da marca na busca com IA. O equilíbrio passa por testar, medir e revisar a política com frequência, sem decisões definitivas em um cenário que muda mês a mês.
Um novo contrato entre conteúdo e IA
No fundo, a discussão é sobre valor. Durante a era dos buscadores, o conteúdo era trocado por visibilidade e tráfego. Com a IA generativa, esse contrato implícito se rompeu, porque a resposta pronta muitas vezes dispensa o clique na fonte. Ferramentas como o pay per crawl tentam reescrever o acordo, atribuindo um preço ao acesso e devolvendo poder de negociação a quem produz.
Para o produtor de conteúdo brasileiro, o recado é se posicionar antes que o mercado se acomode. Documentar quais bots acessam o site, entender o valor do próprio acervo e acompanhar as iniciativas de licenciamento são passos que preparam a marca para um cenário em que o conteúdo original volta a ser um ativo escasso e disputado.
Perguntas frequentes
O que mudou com a parceria Cloudflare e beehiiv?
Os publishers do beehiiv passaram a ter um painel, construído sobre as APIs da Cloudflare, para ver, liberar ou bloquear crawlers de IA com um clique, sem mexer em robots.txt ou firewall.
O que é o pay per crawl?
É a opção de permitir o acesso de crawlers de IA mediante pagamento. Em setembro de 2026 a Cloudflare colocou em beta o Pay Per Use, que não cobra pelo rastreamento e sim paga quando o conteúdo é de fato usado em uma resposta.
Bloquear bots de IA prejudica o tráfego?
Pode haver troca. Alguns crawlers enviam tráfego de referência de volta, e o painel mostra esse retorno para que a decisão de abrir ou fechar seja informada.
Isso substitui o robots.txt?
O modelo reduz a dependência de editar robots.txt, firewalls ou código, já que a Cloudflare atualiza a lista conforme novos crawlers surgem.
O que são as categorias Search, Agent e Training?
São os três comportamentos que a Cloudflare passou a tratar de forma independente desde 1º de julho de 2026: Search indexa o conteúdo, Agent age em tempo real em nome de uma pessoa e Training coleta material para treinar modelos. Cada um pode ser liberado, bloqueado no site todo ou bloqueado apenas nas páginas com anúncios.
Quem deveria se preocupar com isso?
Veículos, criadores e e-commerces que produzem conteúdo original e querem decidir como a IA usa esse material, seja para proteger, seja para monetizar.
