GyaanSetu WebDev

Frontend, backend and devops for the modern web.

209 articlesDeep, practical knowledge

Cloudflare ਦਾ ਇੱਕ-ਕਲਿੱਕ ਐਜ ਟੌਗਲ ਕਿਸੇ ਵੀ ਸਾਈਟ ਨੂੰ AI-ਏਜੰਟ ਲਈ ਤਿਆਰ ਬਣਾਉਂਦਾ ਹੈ

ਨਵਾਂ “Browser Run → Agent Readiness” ਸਵਿੱਚ ਬਾਹਰ ਜਾਣ ਵਾਲੇ HTML ਵਿੱਚ ਇੱਕ ਛੋਟਾ ਜਿਹਾ JavaScript ਪੇਲੋਡ ਜੋੜਦਾ ਹੈ, ਜੋ ਸਾਈਟ ਨੂੰ WebMCP ਨਾਲ ਆਪਣੇ ਆਪ ਰਜਿਸਟਰ ਕਰਦਾ ਹੈ ਅਤੇ ਦੋ ਤਿਆਰ ਟੂਲ ਪੈਕਸ - Content Credentials ਅਤੇ ਇੱਕ Site MCP Server proxy ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

WebDev · 3 min read

How to Stop Training Bots While Keeping Citation Bots for ChatGPT Traffic

A generic “Disallow: /” for GPTBot only blocks the training crawler; the citation bots that surface your pages in ChatGPT’s answer pane remain active. Use explicit robots.txt rules or Cloudflare’s AI Crawl Control to allow OAI-SearchBot, ChatGPT-User, and their peers while denying GPTBot, ClaudeBot,

WebDev · 4 min read