AI కంపెనీలు పబ్లిషర్లకు చెల్లించేలా చేయడానికి Cloudflare గడువు విధించింది

సాంప్రదాయ సెర్చ్ క్రాలింగ్‌ను (search crawling), AI శిక్షణ మరియు ఏజెంటిక్ సర్వీసుల (agentic services) నుండి వేరు చేయడానికి Cloudflare ఒక చారిత్రాత్మక విధాన మార్పును ప్రకటించింది. కఠినమైన కొత్త డిఫాల్ట్ సెట్టింగ్‌లను అమలు చేయడం ద్వారా, ఈ ఎడ్జ్ కంప్యూటింగ్ దిగ్గజం మేధో సంపత్తిని (intellectual property) రక్షించాలని మరియు వెబ్ పబ్లిషర్ల కోసం ఒక స్థిరమైన ఆర్థిక వ్యవస్థను సృష్టించాలని లక్ష్యంగా పెట్టుకుంది.

"మిక్స్‌డ్-యూజ్" (Mixed-Use) క్రాలర్ల ముగింపు

ప్రస్తుత డేటా-స్క్రాపింగ్ (data-scraping) స్థితిగతులకు సవాలు విసురుతూ, "మిక్స్‌డ్-యూజ్" క్రాలర్ల పెరుగుదలను అరికట్టడానికి Cloudflare సెప్టెంబర్ 15, 2026 వరకు గడువు విధించింది. ఇవి సాంప్రదాయ సెర్చ్ ఇండెక్సింగ్‌ను, AI మోడల్ శిక్షణ మరియు ఏజెంటిక్ ఫంక్షన్‌లతో కలిపి చేసే బాట్‌లు. ఆ తేదీ నుండి, ప్రకటనలు (advertisements) ఉన్న ఏ పేజీలనైనా ఈ హైబ్రిడ్ క్రాలర్లు యాక్సెస్ చేయకుండా Cloudflare యొక్క డిఫాల్ట్ సెట్టింగ్‌లు ఆటోమేటిక్‌గా బ్లాక్ చేస్తాయి.

ఈ విధాన మార్పు కొత్త Cloudflare కస్టమర్‌లకు, ఇప్పటికే ఉన్న కస్టమర్‌లు సృష్టించిన కొత్త సైట్‌లకు మరియు ప్రస్తుత ఫ్రీ-టైర్ వినియోగదారులందరికీ వర్తిస్తుంది. AI కంపెనీలు తమ ఉద్దేశ్యాన్ని స్పష్టంగా తెలియజేసేలా చేయడం దీని లక్ష్యం: ఒక బాట్ సెర్చ్ కోసం సైట్‌ను ఇండెక్స్ చేయాలనుకుంటే, అది ఒక మార్గాన్ని అనుసరిస్తుంది; ఒకవేళ అది Large Language Model (LLM) శిక్షణ కోసం డేటాను సేకరించాలనుకుంటే, అది మరొక మార్గాన్ని అనుసరించాలి—అందులో బహుశా పరిహారం (compensation) చెల్లించాల్సి ఉంటుంది.

సెర్చ్ దిగ్గజం ఆధిపత్యాన్ని సవాలు చేయడం

ప్రధాన సెర్చ్ ఇంజన్‌లకు ఉన్న అన్యాయమైన ప్రయోజనం ఈ నిర్ణయానికి ఒక ముఖ్యమైన కారణం. ప్రపంచంలోనే అతిపెద్ద సెర్చ్ ఇంజన్—అది Google అని అందరికీ తెలుసు—ప్రస్తుతం తన AI ప్రత్యర్థుల కంటే సుమారు "2 రెట్లు ఎక్కువ సమాచారాన్ని" కలిగి ఉందని Cloudflare ప్రత్యేకంగా పేర్కొంది.

సెర్చ్ విజిబిలిటీకి (search visibility) భంగం కలగకుండా, AI శిక్షణ నుండి పబ్లిషర్లు తప్పుకోవడానికి Google "Google Extended"ను అందిస్తున్నప్పటికీ, దాని ఫ్లాగ్‌షిప్ Googlebot, AI Overviews వంటి ఫీచర్లను నడపడానికి విస్తృతంగా క్రాల్ చేస్తూనే ఉంది. AI కంపెనీలు తమ మోడళ్లను ఉచితంగా శిక్షణ ఇవ్వడానికి సెర్చ్ ఇంజన్‌ల భారీ ఇండెక్సింగ్ సామర్థ్యాలను వాడుకోకుండా చూడటం ద్వారా, అందరికీ సమాన అవకాశాలు కల్పించాలని Cloudflare ప్రయత్నిస్తోంది.

"పే పర్ యూజ్" (Pay Per Use) మోడల్స్ వైపు అడుగులు

కేవలం బ్లాక్ చేయడం మాత్రమే కాకుండా, Cloudflare కొత్త కంటెంట్ ఎకానమీ కోసం మౌలిక సదుపాయాలను (infrastructure) సిద్ధం చేస్తోంది. కంపెనీ తన "Pay Per Crawl" మార్కెట్‌ప్లేస్‌ను మరింత అధునాతనమైన "Pay Per Use" మోడల్‌గా మారుస్తోంది. ఈ ఫ్రేమ్‌వర్క్ కింద, పబ్లిషర్లు కేవలం డేటాను సేకరించినందుకు మాత్రమే కాకుండా, ఆ కంటెంట్ నుండి విలువ (value) లభించినప్పుడు కూడా AI కంపెనీల నుండి ఛార్జ్ చేయవచ్చు.

దీనిని పరీక్షించడానికి, Cloudflare Ceramic.ai మరియు You.com లతో భాగస్వామ్యం కుదుర్చుకుంది. ఈ భాగస్వామ్యాల ద్వారా, Ceramic యొక్క AI సెర్చ్ ఫలితాలలో వారి కంటెంట్ కనిపించినప్పుడు లేదా You.com ప్రీమియం మెటీరియల్‌ను యాక్సెస్ చేసినప్పుడు పబ్లిషర్లు నేరుగా పరిహారం పొందవచ్చు. ఈ మార్పు ప్రస్తుత వెబ్‌లో ఉన్న ఒక కీలకమైన అసమర్థతను పరిష్కరిస్తుంది: Cloudflare డేటా ప్రకారం, AI క్రాలర్ ట్రాఫిక్‌లో 50% కంటే ఎక్కువ భాగం మార్పు లేని పేజీలను మళ్లీ సేకరించడంలో (re-fetching) వృథా అవుతోంది, ఇది పబ్లిషర్ బ్యాండ్‌విడ్త్ మరియు AI కంప్యూట్ వనరులు రెండింటినీ వృథా చేస్తుంది.

AI రంగంలో ఇది ఎందుకు ముఖ్యం

ఇంటర్నెట్‌లో మానవ ట్రాఫిక్ కంటే నాన్-హ్యూమన్ (non-human) ట్రాఫిక్ ఎక్కువగా ఉండటంతో, "అన్నీ ఉచితంగా స్క్రాప్ చేయడం" అనే యుగం ముగింపు దశకు చేరుకుంది. Cloudflare చర్య మరింత నియంత్రిత మరియు లావాదేవీల ఆధారిత వెబ్ వైపు మార్పును సూచిస్తుంది. AI డెవలపర్ల కోసం, ఇది ఎటువంటి అడ్డంకులు లేని, సున్నా ఖర్చుతో డేటాను సేకరించే యుగం ముగియడాన్ని సూచిస్తుంది; దీర్ఘకాలిక డేటా లభ్యతను నిర్ధారించడానికి కంటెంట్ సృష్టికర్తలతో మరింత పారదర్శకమైన మరియు సహకార సంబంధాలను కలిగి ఉండటం అవసరమవుతుంది.

ముఖ్య అంశాలు

  • డిఫాల్ట్ బ్లాకింగ్: సెప్టెంబర్ 15, 2026 నుండి, ప్రకటనలతో కూడిన పేజీల నుండి "మిక్స్‌డ్-యూజ్" క్రాలర్లను బ్లాక్ చేయడం Cloudflare యొక్క డిఫాల్ట్ సెట్టింగ్‌గా మారుతుంది.
  • మొనటైజేషన్ మార్పు: Cloudflare "Pay Per Crawl" నుండి "Pay Per Use" మోడల్‌కు మారుతోంది, దీని ద్వారా పబ్లిషర్లు కంటెంట్ విలువ ఆధారంగా AI కంపెనీల నుండి ఛార్జ్ చేయవచ్చు.
  • సమర్థత పెరుగుదల: మార్పు లేని వెబ్ పేజీలను మళ్లీ సేకరించడంలో ప్రస్తుతం వృథా అవుతున్న 50% AI క్రాల్ ట్రాఫిక్‌ను తగ్గించడం ఈ కొత్త విధానం యొక్క లక్ష్యం.