ਮੈਂ ਘੱਟ ਬਜਟ ਵਿੱਚ AI ਤੁਲਨਾਕਾਰੀ ਪੇਜ ਕਿਵੇਂ ਬਣਾਏ

ਮੈਨੂੰ ਆਪਣੀ AI ਟੂਲ ਡਾਇਰੈਕਟਰੀ ਲਈ ਤੁਲਨਾਕਾਰੀ ਪੇਜ ਬਣਾਉਣ ਦੀ ਲੋੜ ਸੀ।

ਗਣਿਤ ਡਰਾਉਣਾ ਸੀ। 200 ਮਾਡਲਾਂ ਦੇ ਨਾਲ, ਮੇਰੇ ਸਾਹਮਣੇ ਲਗਭਗ 20,000 ਸੰਭਵ ਜੋੜੇ (pairs) ਸਨ। ਜੇਕਰ ਮੈਂ ਹਰ ਜੋੜੇ ਲਈ ਕੰਟੈਂਟ ਬਣਾਉਣ ਲਈ Claude Haiku ਦੀ ਵਰਤੋਂ ਕਰਦਾ, ਤਾਂ ਰੋਜ਼ਾਨਾ ਚਲਾਉਣ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਖਰਚਾ ਆਉਂਦਾ।

ਇੱਥੇ ਦੱਸਿਆ ਗਿਆ ਹੈ ਕਿ ਮੈਂ ਤਰਕ (logic) ਅਤੇ ਸੀਮਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕੀਤਾ।

ਰਣਨੀਤੀ (The Strategy)

ਮੈਂ ਉੱਚ-ਇਰਾਦੇ ਵਾਲੀਆਂ (high-intent) ਕੁਐਰੀਆਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕੀਤਾ। ਉਪਭੋਗਤਾ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹਨ "Llama 3 vs Mistral"। ਉਹ ਇੱਕ ਫੈਸਲਾ ਚਾਹੁੰਦੇ ਹਨ, ਨਾ ਕਿ ਇੱਕ ਲੰਬਾ ਲੇਖ।

ਮੈਂ ਖਰਚਿਆਂ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ ਇਹ ਨਿਯਮ ਵਰਤੇ:

• ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ pipeline tag ਅਨੁਸਾਰ ਗਰੁੱਪ ਕਰੋ। • ਹਰੇਕ ਗਰੁੱਪ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਾਊਂਟ ਦੇ ਅਧਾਰ 'ਤੇ ਸਿਰਫ਼ ਚੋਟੀ ਦੇ 4 ਮਾਡਲਾਂ ਨੂੰ ਚੁਣੋ। • ਕੁੱਲ ਜੋੜਿਆਂ (pairs) 'ਤੇ ਇੱਕ ਸਖ਼ਤ ਸੀਮਾ ਨਿਰਧਾਰਤ ਕਰੋ।

ਇਸ ਨਾਲ ਮੇਰੇ ਜੋੜੇ 20,000 ਤੋਂ ਘਟ ਕੇ ਲਗਭਗ 50 ਰਹਿ ਗਏ। ਇਹ ਮੇਰੇ ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਮਾਡਲਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹੋਏ ਮੇਰੇ ਖਰਚਿਆਂ ਨੂੰ ਘੱਟ ਰੱਖਦਾ ਹੈ।

ਤਕਨੀਕੀ ਸੈੱਟਅੱਪ (The Technical Setup)

ਮੈਂ ਇੱਕ ETL ਪ੍ਰਕਿਰਿਆ ਬਣਾਈ ਜੋ ਹਰ ਰਾਤ ਚੱਲਦੀ ਹੈ। ਇਹ idempotent ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਜੇਕਰ ਜੋੜਾ ਮੇਰੇ ਡਾਟਾਬੇਸ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਮੌਜੂਦ ਹੈ, ਤਾਂ ਸਕ੍ਰਿਪਟ ਉਸਨੂੰ ਛੱਡ ਦਿੰਦੀ ਹੈ।

ਜ਼ਿਆਦਾਤਰ ਰਾਤਾਂ ਨੂੰ, ਸਕ੍ਰਿਪਟ 3 ਸਕਿੰਟਾਂ ਵਿੱਚ ਚੱਲਦੀ ਹੈ ਅਤੇ ਇਸਦਾ ਖਰਚਾ $0 ਹੁੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਭ ਕੁਝ ਛੱਡ ਦਿੰਦੀ ਹੈ।

ਮੈਂ ਇਸਨੂੰ ਕੁਸ਼ਲ ਰੱਖਣ ਲਈ ਕਈ ਤਰੀਕੇ ਵਰਤਦਾ ਹਾਂ:

• Prompt Caching: ਮੈਂ ਇੱਕ ਸਾਂਝਾ Claude Haiku client ਵਰਤਦਾ ਹਾਂ। ਕਿਉਂਕਿ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਉਹੀ ਰਹਿੰਦਾ ਹੈ, ਕੈਸ਼ਿੰਗ (caching) ਅਗਲੇ ਕਾਲਾਂ ਨੂੰ ਲਗਭਗ ਮੁਫ਼ਤ ਬਣਾ ਦਿੰਦੀ ਹੈ। • Lean Prompts: ਮੈਂ ਮਾਡਲ ਸਾਰਾਂਸ਼ਾਂ (summaries) ਨੂੰ 400 ਅੱਖਰਾਂ ਤੱਕ ਸੀਮਤ ਕਰ ਦਿੰਦਾ ਹਾਂ। ਇਹ ਇਨਪੁਟ ਨੂੰ ਛੋਟਾ ਅਤੇ ਤੇਜ਼ ਰੱਖਦਾ ਹੈ। • Static Generation: ਮੈਂ ਡੇਟਾ ਨੂੰ ਸਟੈਟਿਕ JSON ਫਾਈਲਾਂ ਵਿੱਚ ਬਦਲਣ ਲਈ Astro ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ। ਉਪਭੋਗਤਾ ਲਈ ਕੋਈ ਵੀ ਸੁਸਤ ਡਾਟਾਬੇਸ ਕਾਲ ਜਾਂ edge function ਲੇਟੈਂਸੀ (latency) ਨਹੀਂ ਹੁੰਦੀ।

ਜਦੋਂ ਇਹ ਫੇਲ੍ਹ ਹੋ ਜਾਂਦਾ ਹੈ ਤਾਂ ਕੀ ਹੁੰਦਾ ਹੈ?

AI ਅਨਿਸ਼ਚਿਤ ਹੋ ਸਕਦਾ ਹੈ। ਕਦੇ-ਕਦੇ Claude ਗਲਤ JSON ਵਾਪਸ ਕਰਦਾ ਹੈ।

ਮੈਂ ਇੱਕ ਫਾਲਬੈਕ (fallback) ਸਿਸਟਮ ਲਿਖਿਆ ਹੈ। ਜੇਕਰ AI ਫੇਲ੍ਹ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਪੇਜ ਕ੍ਰੈਸ਼ ਨਹੀਂ ਹੁੰਦਾ। ਇਸਦੀ ਬਜਾਏ, ਇਹ ਇੱਕ ਸਟੈਂਡਰਡ ਟੈਂਪਲੇਟ ਦਿਖਾਉਂਦਾ ਹੈ। ਇਹ ਉਪਭੋਗਤਾ ਨੂੰ ਵਿਅਕਤੀਗਤ ਮਾਡਲ ਪੇਜਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਮੈਂ ਇਹਨਾਂ ਅਸਫਲਤਾਵਾਂ ਨੂੰ ਆਪਣੇ ਡਾਟਾਬੇਸ ਵਿੱਚ ਟ੍ਰੈਕ ਕਰਦਾ ਹਾਂ ਤਾਂ ਜੋ ਮੈਂ ਬਾਅਦ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਾਂ।

ਮੈਂ ਕੀ ਵੱਖਰਾ ਕਰਾਂਗਾ

ਜੇਕਰ ਮੈਂ ਅੱਜ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਕਰਦਾ, ਤਾਂ ਮੈਂ ਦੋ ਚੀਜ਼ਾਂ ਬਦਲਦਾ:

  1. Cross-pipeline comparisons: ਦੋ ਸਮਾਨ ਟੈਕਸਟ ਮਾਡਲਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਨਾਲੋਂ ਇੱਕ ਟੈਕਸਟ ਮਾਡਲ ਦੀ ਵਿਜ਼ਨ ਮਾਡਲ ਨਾਲ ਤੁਲਨਾ ਕਰਨਾ ਵਧੇਰੇ ਕੀਮਤੀ ਹੈ।
  2. Search-driven selection: ਡਾਊਨਲੋਡ ਕਾਊਂਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਬਜਾਏ, ਮੈਂ ਕਿਹੜੇ ਜੋੜੇ ਬਣਾਉਣੇ ਹਨ ਇਹ ਫੈਸਲਾ ਕਰਨ ਲਈ ਅਸਲ ਉਪਭੋਗਤਾ ਸਰਚ ਲੌਗਸ (search logs) ਦੀ ਵਰਤੋਂ ਕਰਾਂਗਾ।

ਸੀਮਾਵਾਂ ਦੇ ਨਾਲ ਬਣਾਉਣਾ ਤੁਹਾਨੂੰ ਸਮਾਰਟ ਤਰੀਕੇ ਨਾਲ ਬਣਾਉਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ।

Source: https://dev.to/morinaga/how-i-built-pairwise-ai-model-compare-pages-with-claude-haiku-and-a-budget-cap-3hpm

Optional learning community: https://t.me/GyaanSetuAi