મેં ઓટોમેશન સિગ્નલ્સ છુપાવવા માટે QC ગેટ કેવી રીતે બનાવ્યો
ઓટોમેશન એવી રીતે પોતાની જાતને પ્રગટ કરે છે જેની તમે અપેક્ષા ન રાખતા હોવ.
હું Bluesky માટે એક ઓટોમેટેડ કન્ટેન્ટ પાઇપલાઇન ચલાવતો હતો. એક પોસ્ટ "the content pipeline" નો ઉલ્લેખ કરીને બહાર ગઈ. ટેકનિકલ બ્લોગ પર તે ઠીક છે. સોશિયલ ટાઇમલાઇન પર, તે એક 'રેડ ફ્લેગ' (ચેતવણી) છે. તે વાંચકોને જણાવે છે કે તેઓ કોઈ બોટ સાથે વાત કરી રહ્યા છે.
આ રોકવા માટે મેં એક ક્વોલિટી કંટ્રોલ સ્ક્રિપ્ટ બનાવી. તે જનરેશન સ્ટેપ અને પોસ્ટિંગ સ્ટેપ વચ્ચે એક ગેટ તરીકે કામ કરે છે.
નવો વર્કફ્લો આ મુજબ છે:
bluesky-qc.mjs → (PASS) bluesky-post-queue.mjs → Bluesky API
સ્ક્રિપ્ટ દરેક એન્ટ્રી તપાસવા માટે ચાર ગેટ્સનો ઉપયોગ કરે છે:
Gate 1: ફ્રેઝ ફિલ્ટરિંગ (Phrase Filtering) હું ઓટોમેશન સૂચવતા શબ્દોને પકડવા માટે regex લિસ્ટનો ઉપયોગ કરું છું. તે "AI-generated," "cron," "content pipeline," અથવા "batch test" જેવા શબ્દોને બ્લોક કરે છે. જો પોસ્ટ ડેવ રિપોર્ટ જેવી લાગે, તો તે ફેઇલ થઈ જાય છે.
Gate 2: સ્ટેલનેસ ચેક્સ (Staleness Checks) હું બે પ્રકારના જૂના (stale) કન્ટેન્ટ માટે તપાસ કરું છું: • સ્ટેલ ફ્રેઝિંગ: તે "today" અથવા "just launched" જેવા શબ્દોને પકડે છે જે જો પોસ્ટ મોડી થાય તો પોતાનો અર્થ ગુમાવી દે છે. • સ્ટેલ ટાઇમસ્ટેમ્પ્સ: જો કોઈ એન્ટ્રી 14 દિવસથી વધુ જૂની હોય, તો તેને રિજેક્ટ કરવામાં આવે છે.
Gate 3: એન્ગેજમેન્ટ પ્રિડિક્શન (Engagement Prediction) સ્ક્રિપ્ટ મારી પાછલી 300 પોસ્ટ્સ જુએ છે. તે અનુમાન લગાવે છે કે નવી પોસ્ટમાં રહેલા હેશટેગ્સ સારું પ્રદર્શન કરશે કે નહીં. હાલમાં, આ ફક્ત એક વોર્નિંગ લોગ કરે છે, પરંતુ હું ટૂંક સમયમાં તેને 'હાર્ડ ફેઇલ' (hard fail) માં બદલી નાખીશ.
Gate 4: ક્વોલિટી પાસ (Quality Pass) (આયોજિત) હું સૂક્ષ્મ ભૂલો પકડવા માટે ક્વોલિટી પ્રોટોકોલનો ઉપયોગ કરીને એક અંતિમ લેયર ઉમેરવા માંગુ છું.
દરેક નિષ્ફળતા રિજેક્શન લોગમાં જાય છે. હું અઠવાડિયામાં એકવાર આ લોગની સમીક્ષા કરું છું. આ મને મારા પ્રોમ્પ્ટ્સ સુધારવામાં મદદ કરે છે. જો ગેટ વારંવાર "content pipeline" પકડી રહ્યું હોય, તો મને ખબર પડે છે કે મારે AI કેવી રીતે લખે છે તેમાં ફેરફાર કરવાની જરૂર છે.
માત્ર સારા પ્રોમ્પ્ટ્સને બદલે ગેટનો ઉપયોગ શા માટે કરવો? પ્રોમ્પ્ટ્સ સંભવિત (probabilistic) હોય છે. તેઓ નિષ્ફળ જઈ શકે છે. ગેટ નિશ્ચિત (deterministic) હોય છે. તે કડક નિયમોનું પાલન કરે છે.
માનવીય લહેકો (human tone) જાળવી રાખવા માટે બંને લેયરનો ઉપયોગ કરવો એ સૌથી સુરક્ષિત રીત છે.