Cloudflare draait vanaf 15 september de standaardinstellingen om voor AI-verkeer op zijn netwerk. Crawlers die content verzamelen voor AI-training worden dan standaard geblokkeerd op pagina’s die advertenties tonen. Zoekcrawlers blijven wel toegestaan.
Tegelijk bouwt het bedrijf zijn betaalmodel om zodat online uitgevers betaald krijgen naar de mate van gebruik van hun producties. Nu is dat nog de mate van crawlen. Echter, een item kan 1 keer gecrawled worden en duizend keer gebruikt. Dat gat wordt gedicht met de nieuwe regels.
De eindgebruiker gaat niets merken van deze veranderingen. Ze spelen zich allemaal af in het onzichtbare domein van de machine readable content. Cloudflare, dat naar...