GyaanSetu WebDev

Frontend, backend and devops for the modern web.

230 articlesDeep, practical knowledge

How to Stop Training Bots While Keeping Citation Bots for ChatGPT Traffic

A generic “Disallow: /” for GPTBot only blocks the training crawler; the citation bots that surface your pages in ChatGPT’s answer pane remain active. Use explicit robots.txt rules or Cloudflare’s AI Crawl Control to allow OAI-SearchBot, ChatGPT-User, and their peers while denying GPTBot, ClaudeBot,

WebDev · 4 min read

Cleanup Script Erased Code Snippets From Dozens of Articles

A routine maintenance job mis-identified Liquid’s {% raw %} tags, treating them as unclosed variables and stripping the surrounding code blocks from every article that used them, forcing an emergency rollback and a rethink of migration testing.

WebDev · 3 min read

Behandel Prompt Injection als een autorisatiefout en verwijder ongeautoriseerde tools

Ontwikkelaars moeten stoppen met het blootstellen van bevoorrechte functies in de gereedschapskist van het model. Door een functiecatalogus per verzoek te genereren op basis van de rechten van de aanroeper, en de toegang standaard te weigeren wanneer de identiteit onduidelijk is, kunnen LLM-agenten de 1% prompt-injection-kloof dichten die leidt tot datalekken.

WebDev · 5 min read