Cloudflare జూలై 1న తన AI-crawler లైసెన్సింగ్ మోడల్‌ను ప్రారంభించింది. ఇది పాత "pay-per-crawl" విధానాన్ని తీసివేసి, ప్రతిసారి ఒక ఆర్టిఫిషియల్-ఇంటెలిజెన్స్ సర్వీస్ ఒక పేజీని చదివినప్పుడు ఛార్జ్ చేసే "pay-per-use" వ్యవస్థను ప్రవేశపెట్టింది. ఈ మార్పు కేవలం ధరను మార్చడం మాత్రమే కాదు – పబ్లిక్ వెబ్‌ను ఎవరు, ఏ నిబంధనల ప్రకారం యాక్సెస్ చేయవచ్చో నిర్ణయించే అధికారాన్ని ఒకే ఒక ప్రైవేట్ కంపెనీకి అందిస్తుంది.

ఈ మార్పు ఎందుకు ముఖ్యం

ఏళ్ల తరబడి Cloudflare యొక్క ఉచిత విభాగం (free tier) మిలియన్ల కొద్దీ సైట్‌లకు పనితీరును పెంచుకోవడానికి మరియు అనవసరమైన ట్రాఫిక్‌ను అడ్డుకోవడానికి చౌకైన మార్గాన్ని అందించింది. ఒక బాట్ ఒక పేజీని సేకరించినప్పుడు (fetch), ఆపరేటర్ ప్రతి క్రాల్‌కి నిర్ణీత రుసుము చెల్లించేవారు. కొత్త మోడల్ ఈ సంబంధాన్ని పూర్తిగా మార్చేస్తోంది: ప్రతిసారి ఒక AI మోడల్ వారి కంటెంట్‌ను వినియోగించుకున్నప్పుడు ప్రచురణకర్తలకు (publishers) చెల్లింపు అందుతుంది. పైకి చూస్తే ఇది సైట్ యజమానులకు లాభదాయకంగా అనిపించవచ్చు, ఎందుకంటే వారి శ్రమ వల్ల పెరుగుతున్న AI రంగం నుండి వారికి కూడా కొంత వాటా లభిస్తుంది.

ఈ మోడల్ AI క్రాలర్ల కోసం మూడు కొత్త వర్గాలను – Search, Agent, మరియు Training – పరిచయం చేసింది. ఒక బాట్‌ను ఈ వర్గాలలో దేనిలోకి చేర్చాలనే అధికారం పూర్తిగా Cloudflare యొక్క ఉత్పత్తి స్పెసిఫికేషన్లకే ఉంటుంది. ఒక రీసెర్చ్ బాట్ నిజమైన "Agent" నా లేక "Training" బాట్ నా, ఒక చిన్న టీమ్ ఉపయోగించే టూల్ "Search" సర్వీస్ నా లేక "unlicensed thief" (లైసెన్స్ లేని దొంగ) నా అనేది కంపెనీ నిర్ణయిస్తుంది. ఈ వర్గీకరణలే వర్తించే రేట్లను మరియు సెప్టెంబర్ 15 నుండి, ప్రకటనలు (ads) ప్రదర్శించే పేజీలపై ఆ బాట్‌ను పూర్తిగా బ్లాక్ చేయాలా వద్దా అనే అంశాలను నిర్ణయిస్తాయి.

నియంత్రణ యంత్రాంగం

  • మూడు వర్గాలు, ఒకే గేట్‌కీపర్ – ఈ మూడు వర్గాలను Cloudflare మాత్రమే నిర్వచిస్తుంది. ఎటువంటి బాహ్య ప్రమాణాల సంస్థ (standards body), పరిశ్రమల సంఘం (industry consortium) లేదా ప్రజా సంప్రదింపులు లేవు. ఒక బాట్ "Training" వర్గంలో ఉంటే, అది "Search" వర్గంలో ఉన్న బాట్ కంటే ఎక్కువ రుసుము చెల్లించాల్సి ఉంటుంది, చివరికి ఆ రెండు బాట్‌ల పనితీరు దాదాపు ఒకేలా ఉన్నప్పటికీ.
  • ప్రకటనలు ఉన్న పేజీలపై డిఫాల్ట్ బ్లాకింగ్ – సెప్టెంబర్ మధ్య నుండి, Cloudflare నిబంధనలకు అనుగుణంగా లేని ఏ మిశ్రమ వినియోగ క్రాలర్ (mixed-use crawler) అయినా ప్రకటనలు ఉన్న పేజీని యాక్సెస్ చేయలేరు. ఈ బ్లాకింగ్ ఆటోమేటిక్; దీని నుండి తప్పించుకోవడానికి ఉన్న ఏకైక మార్గం Cloudflare నిర్ణయించిన రేటును చెల్లించడం మాత్రమే.
  • వేచి ఉండే జాబితాతో కూడిన మార్కెట్‌ప్లేస్ – "లైసెన్స్ పొందిన" వెబ్‌ను యాక్సెస్ చేయడం ఇకపై కేవలం సాంకేతిక సామర్థ్యంపై మాత్రమే ఆధారపడి ఉండదు. పెద్ద ఎత్తున క్రాల్ చేయాలనుకునే కంపెనీలు Cloudflare యొక్క ఆమోదిత జాబితాలో చేరడానికి దరఖాస్తు చేసుకోవాలి. జాబితాలో చేరని వారు రెండు కఠినమైన ఎంపికలను ఎదుర్కోవాల్సి ఉంటుంది: Cloudflare నిర్ణయించిన ధరను అంగీకరించడం లేదా ఇంటర్నెట్‌లోని ఒక పెద్ద భాగాన్ని స్కాప్ (scrape) చేసే సామర్థ్యాన్ని కోల్పోవడం.
  • ఓటు హక్కు లేని ఆదాయం – చెల్లింపులు పొందే సైట్ యజమానులకు వర్గాలను ఎలా విభజించాలి, రేట్లు ఎలా మారుతాయి లేదా వైట్‌లిస్ట్‌లో ఎవరిని చేర్చాలి అనే విషయాలపై ఎటువంటి నిర్ణయాధికారం ఉండదు. ధరల నిర్మాణం మరియు "అంగీకరించదగిన" క్రాలింగ్ యొక్క నిర్వచనం ఒక కార్పొరేట్ ఉత్పత్తి స్పెసిఫికేషన్ వెనుక ఉంటుంది, ప్రజా విధాన ప్రక్రియ (public policy process) వెనుక కాదు.

ఎవరు గెలుస్తారు, ఎవరు ఓడిపోతారు

ప్రచురణకర్తలు (Publishers) – దీని వల్ల తక్షణ ప్రయోజనం ఏమిటంటే కొత్త ఆదాయ వనరు. ప్రతిసారి ఒక AI మోడల్ ఒక ఆర్టికల్‌ను చదివినప్పుడు, సైట్ యజమానికి డబ్బు అందుతుంది. ట్రాఫిక్‌ను నగదు రూపంలోకి మార్చుకోవడానికి ఇబ్బంది పడుతున్న చిన్న ప్రచురణకర్తలకు ఈ నగదు ప్రవాహం చాలా కీలకం కావచ్చు.

AI డెవలపర్లు మరియు పరిశోధకులు (AI developers and researchers) – Cloudflare రేట్లను భరించగలిగి, వైట్‌లిస్ట్‌లో స్థానాన్ని సంపాదించుకోగలిగే వారు పెద్ద ఎత్తున మోడళ్లను శిక్షణ ఇవ్వడం మరియు నడపడం కొనసాగించగలరు.

స్టార్టప్‌లు, ఓపెన్-సోర్స్ ప్రాజెక్ట్‌లు మరియు స్వతంత్ర పరిశోధకులు (Start-ups, open-source projects, and independent researchers) – వైట్‌లిస్ట్‌లో స్థానం లేకపోతే, వారు Cloudflare నిర్ణయించిన రేటును చెల్లించాల్సి ఉంటుంది లేదా వెబ్ యొక్క ఒక పెద్ద భాగానికి యాక్సెస్ కోల్పోవాల్సి ఉంటుంది.

విస్తృతమైన ఇంటర్నెట్ వ్యవస్థ (The broader internet ecosystem) – పబ్లిక్ వెబ్‌ను యాక్సెస్ చేయడాన్ని ఒక లైసెన్స్ చేయదగిన సేవగా మార్చడం ద్వారా, Cloudflare ఒక రకమైన "డిజిటల్ గేట్‌కీపింగ్" (digital gatekeeping) అధికారాన్ని కేంద్రీకరిస్తోంది. సాంప్రదాయకంగా ఇది తక్కువ నియంత్రణ ఉన్న, బహుళ సంస్థల వాతావరణంలో ఉండేది.

కొరత యొక్క దాగి ఉన్న ఖర్చు

బాట్‌లను బ్లాక్ చేయడం అనేది స్పామ్, స్క్రాపింగ్ మరియు బ్యాండ్‌విడ్త్ దుర్వినియోగానికి వ్యతిరేకంగా తీసుకునే రక్షణ చర్యగా చాలా కాలంగా పరిగణించబడుతోంది. కానీ Cloudflare యొక్క కొత్త మోడల్‌లో, ఈ బ్లాకింగ్ అనేది తన ప్రభావాన్ని (leverage) ప్రదర్శించే ఒక మార్గం; ఇక్కడ అసలైన ఉత్పత్తి ఏమిటంటే, ప్రతి పేజీ వ్యూను కొలిచి దానికి ధరను నిర్ణయించే మీటర్. ఈ యాక్సెస్‌ను విక్రయించే మార్కెట్‌ప్లేస్‌ను కూడా కంపెనీయే నడుపుతోంది కాబట్టి, అందరికీ ఒకేసారి కొరతను సృష్టించే స్విచ్‌ను కంపెనీ నొక్కగలదు.

నేటి వెబ్ ట్రాఫిక్‌ను ఆకర్షించిన ఉచిత విభాగం (free tier) ఎప్పుడూ దానధర్మం కాదు. అది Cloudflare మార్కెట్ ఆధిపత్యాన్ని సాధించడానికి ఒక వ్యూహాత్మక ప్రవేశ ద్వారం, తద్వారా తర్వాత లైసెన్సింగ్ మోడల్ ద్వారా ఆ ఆధిపత్యాన్ని నగదు రూపంలోకి మార్చుకోగలిగింది. ఒకప్పుడు వేగవంతమైన పేజీ లోడింగ్‌ను ప్రజాస్వామ్యీకరించిన అదే మౌలిక సదుపాయాలు, ఇప్పుడు ఆ పేజీలను ఎవరు చదవవచ్చో కూడా నిర్ణయిస్తున్నాయి.

Counterpoint: AIకి ఇంధనంగా పనిచేసే కంటెంట్‌కు చెల్లింపు చేయడం

కొత్త వ్యవస్థకు అనుకూలంగా ఉన్న వాదన సరళమైనది: సృష్టికర్తలకు పరిహారం చెల్లించకుండా, AI డెవలపర్లు బహిరంగంగా అందుబాటులో ఉన్న టెక్స్ట్, చిత్రాలు మరియు కోడ్ నుండి లాభపడుతున్నారు. Cloudflare యొక్క మోడల్ ఒక చెల్లింపు విధానాన్ని (payment loop) తప్పనిసరి చేస్తుంది, ఇది అధిక నాణ్యత కలిగిన కంటెంట్‌ను ప్రోత్సహించవచ్చు మరియు AI ఆర్థిక వ్యవస్థలో పబ్లిషర్లకు వాటాను కల్పించవచ్చు. ఇది సాధారణ సెర్చ్ బాట్‌లకు మరియు భారీ డేటా-హార్వెస్టింగ్ ఆపరేషన్లకు మధ్య తేడాను గుర్తించడానికి స్పష్టమైన, అమలు చేయదగిన మార్గాన్ని అందిస్తుంది, తద్వారా దుర్వినియోగాన్ని అరికట్టే అవకాశం ఉంది.

అయితే, ఆ ప్రయోజనాలు నియమాలు ఏకపక్షంగా నిర్ణయించబడ్డాయనే వాస్తవాన్ని తుడిచిపెట్టలేవు. ఆదాయ వాటా (revenue share) భారీగా ఉన్నప్పటికీ, ప్రజాస్వామ్య ప్రక్రియ లేకపోవడం వల్ల, వర్గీకరణలు ఏకపక్షంగా ఉన్నా లేదా ధరలు దోపిడీగా మారినా ప్రజలకు ఎటువంటి పరిష్కారం ఉండదు. ఈ మోడల్ ఒక రకమైన అస్పష్టమైన నిర్ణయాల (ad-blocking heuristics) స్థానంలో, ఆర్థికంగా మరింత ప్రభావం చూపే మరొక రకమైన నిర్ణయాలను తీసుకువస్తోంది.

తదుపరి ఏమి గమనించాలి

సారాంశం

Cloudflare జూలై 1న చేసిన ధరల మార్పులు, వెబ్ పేజీని చదవడం అనే ప్రక్రియను లైసెన్స్ చేయదగిన లావాదేవీగా మారుస్తాయి; ఇక్కడ ఒకే ఒక ప్రైవేట్ కంపెనీ నియమాలను రాస్తుంది మరియు ఫీజులను వసూలు చేస్తుంది. పబ్లిషర్లు చివరకు AI ఆధారిత వినియోగం నుండి డబ్బును పొందుతున్నప్పటికీ, దీని వల్ల కలిగే విస్తృత పరిణామం ఏమిటంటే, డిజిటల్ గేట్‌కీపింగ్ యొక్క కొత్త రూపం ఏర్పడటం. ఇది పబ్లిక్ ఇంటర్నెట్‌ను ఎవరు, ఏ నిబంధనల ప్రకారం యాక్సెస్ చేయవచ్చనే అంశాన్ని మారుస్తుంది. అసలు విషయం ధర కాదు; ఇది ఎప్పుడూ బహిరంగంగా ఉంటుందని భావించిన ఒక రంగంలో నియంత్రణ కేంద్రీకృతమవ్వడం.