GyaanSetu WebDev

Frontend, backend and devops for the modern web.

230 articlesDeep, practical knowledge

How to Stop Training Bots While Keeping Citation Bots for ChatGPT Traffic

A generic “Disallow: /” for GPTBot only blocks the training crawler; the citation bots that surface your pages in ChatGPT’s answer pane remain active. Use explicit robots.txt rules or Cloudflare’s AI Crawl Control to allow OAI-SearchBot, ChatGPT-User, and their peers while denying GPTBot, ClaudeBot,

WebDev · 4 min read

תיקון JSON-LD כפול של מוצר ב-Shopify בחמישה צעדים פשוטים

הריצו את ה-Schema Markup Validator של גוגל, זהו את קובץ התבנית או האפליקציה הגורמים לבעיה, הסירו את בלוק ה-JSON-LD המיותר ובצעו ביקורת חוזרת לאפליקציות שלכם — כל שלב מחזיר סכימת מוצר אחת ונקייה, המאפשרת נראות טובה יותר בתוצאות עשירות (rich results).

WebDev · 1 min read

אתגר הבוטים של Cloudflare משבש בקשות POST של תשלום מובנה, ו-Fetch מציל את המצב

טופס HTML פשוט שמבצע הפניה ל-Stripe עבד בבדיקות, אך נתקל בשגיאת 503 עבור משתמשי Chrome אמיתיים המוגנים על ידי Cloudflare. מעבר של תהליך השליחה לתזרים המבוסס על fetch תחילה אפשר לבקשת ה-POST לעבור את אתגר הבוט, ולאחר מכן הפניה מסוג GET השלימה את התשלום.

WebDev · 4 min read

סקריפט ניקוי מחק קטעי קוד מעשרות מאמרים

תהליך תחזוקה שגרתי זיהה בטעות את תגיות ה-{% raw %} של Liquid כמשתנים שלא נסגרו, והסיר את בלוקי הקוד הסובבים אותם מכל מאמר שהשתמש בהם, מה שחייב ביצוע rollback חירום ובחינה מחדש של בדיקות המעבר.

WebDev · 3 min read

Stateless MCP מאפשר למפתחים להגיש Markdown בחינם ב-Cloudflare

בדיקות ביצועים מראות ששרת ה-MCP לקריאה בלבד מגיע ל-0-1 מילישניות של שימוש במעבד (CPU) בנקודות קצה מרכזיות, ונשאר הרבה מתחת למגבלת 10 המילישניות לבקשה של Cloudflare, בעוד שזמן ההמתנה הכולל יכול לעלות לכ-88 מילישניות עקב שיהוי ברשת.

WebDev · 2 min read

Hermes Agent פותח את עולם אוטומציית ה-AI, אך מעביר את נטל האבטחה למפתחים

העיצוב המודולרי של Hermes Agent מפריד בין מודל השפה, ליבת הניהול (orchestration) והכלים הניתנים להרצה, מה שמאפשר לצרף סקריפטים, קריאות REST או פקודות Docker — אך גם מחייב אתכם לבצע sandboxing לסוכן ולהגן על מפתחות ה-API.

WebDev · 3 min read