Hoje, o CloudFlare revelou “Pay por Crawl”, uma maneira de os sites cobrarem os rastreadores da AI pelo acesso. Atualmente no beta privado, o programa fornece mais controle sobre os bots de IA e permite que cada site defina um preço. A empresa também anunciou que impedirá os rastreadores da AI de acessar as páginas da web por padrão.
“Se a Internet sobreviver à IA da IA, precisamos dar aos editores o controle que eles merecem e construir um novo modelo econômico que funcione para todos-criadores, consumidores, fundadores da IA de amanhã e o futuro da própria web”, disse Matthew Prince, co-fundador e CEO da Cloudflare, em um comunicado.
O pagamento por crawl integra -se à infraestrutura da Web existente, alavancando códigos de status HTTP e mecanismos de autenticação estabelecidos para criar uma estrutura para acesso ao conteúdo pago.
Cavar mais fundo: a fadiga da AI é real e está custando mais das marcas do que o engajamento
Cloudflare disse que é improvável que o esforço incipiente seja o único a resolver a questão da compensação.
“Esperamos que o pagamento por crawl evolua significativamente”, disse a empresa em uma postagem no blog. “Acreditamos que muitos tipos diferentes de interações e mercados podem e devem se desenvolver simultaneamente. Estamos empolgados em apoiar esses vários esforços e abertos padrões”.
Os criadores de conteúdo interessados em ingressar na versão beta podem se inscrever aqui.
Controle granular sobre os bots
A Cloudflare disse que está trabalhando com as empresas de IA para verificar a identidade e o objetivo dos rastreadores de IA, especificamente se os bots da IA estão rastejando para treinamento, geração de conteúdo ou pesquisa. Saber disso dará aos proprietários do site e aos criadores de conteúdo mais controle sobre quais bots eles desejam permitir e quais não.
Qualquer esquema de compensação depende da participação das empresas de IA. A decisão da Cloudflare de bloquear os bots da IA por padrão em novas contas os incentiva a fazê -lo. Estima -se que 16% do tráfego global da Internet passa diretamente através de seu serviço, de acordo com um relatório de 2023. Negar o acesso a uma fração disso pode ter implicações profundas para as empresas de IA já desesperadas por dados para treinar.
A aplicação de um modelo baseado em permissão para os rastreadores de IA “mudará fundamentalmente a maneira como as empresas de IA acessa o conteúdo da Web daqui para frente”, escreveu Cloudflare. “Essa mudança significativa significa que todo novo domínio começa com o padrão de controle e elimina a necessidade de os proprietários da página da web definirem manualmente suas configurações para optar por não participar”.
O CloudFlare trabalha para impedir que os bots da AI raspam sites há vários anos. Em 2023, a empresa deu aos proprietários de domínio uma maneira de bloquear os rastreadores da AI – mas apenas os que seguiram o arquivo robots.txt, que é mais uma solicitação do que uma regra. Mais tarde naquele ano, deixou os sites bloquearem todos Ai Bots. Em março, a empresa acrescentou uma nova reviravolta: qualquer bots que tenta se esgueirar é enviado para o que chama de “Ai Labyrinth” para desacelerar ou bloqueá -los completamente.
A Martech é de propriedade de Semrush. Continuamos comprometidos em fornecer cobertura de alta qualidade dos tópicos de marketing. Salvo indicação em contrário, o conteúdo desta página foi escrito por um funcionário ou por um empreiteiro pago da SEMRush Inc.
