10x ਕੀਮਤਾਂ ਦਾ ਡਿੱਗਣਾ ਇੱਕ Architecture ਦਾ ਦਾਅ ਹੈ

ਇੰਜੀਨੀਅਰ ਕੁਝ tokens ਨੂੰ ਬਚਾਉਣ ਲਈ prompts ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਵਿੱਚ ਕਈ ਘੰਟੇ ਬਿਤਾਉਂਦੇ ਹਨ। ਇਹ ਕੋਸ਼ਿਸ਼ ਅਕਸਰ ਵਿਅਰਥ ਜਾਂਦੀ ਹੈ।

Tokens ਮੁਫ਼ਤ ਨਹੀਂ ਹਨ, ਪਰ AI ਦੀ ਲਾਗਤ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਘਟ ਰਹੀ ਹੈ। AI ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਇੱਕ ਖਾਸ ਪੱਧਰ ਦੀ ਲਾਗਤ ਹਰ ਸਾਲ ਲਗਭਗ 10x ਘਟ ਜਾਂਦੀ ਹੈ। ਇਸ ਨੂੰ LLMflation ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਡੇਟਾ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਰੁਝਾਨ ਅਸਲੀ ਹੈ:

  • 2021 ਵਿੱਚ GPT-3 ਪੱਧਰ ਦੀ ਕੁਆਲਿਟੀ ਦੀ ਲਾਗਤ $60 ਪ੍ਰਤੀ ਮਿਲੀਅਨ tokens ਸੀ।
  • ਹੁਣ Llama 3.2 3B ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਦੀ ਲਾਗਤ ਲਗਭਗ $0.06 ਹੈ।
  • ਇਹ ਤਿੰਨ ਸਾਲਾਂ ਵਿੱਚ 1,000x ਦੀ ਗਿਰਾਵਟ ਹੈ।
  • GPT-3.5 ਕੁਆਲਿਟੀ ਦੀ ਲਾਗਤ ਸਿਰਫ਼ 18 ਮਹੀਨਿਆਂ ਵਿੱਚ 280x ਘਟ ਗਈ।

Frontier models ਮਹਿੰਗੇ ਰਹਿੰਦੇ ਹਨ। ਪਰ ਜੋ ਮਾਡਲ ਤੁਸੀਂ ਸਧਾਰਨ ਕੰਮਾਂ ਲਈ ਵਰਤਦੇ ਹੋ, ਉਹਨਾਂ ਦੀਆਂ ਕੀਮਤਾਂ ਲਗਾਤਾਰ ਡਿੱਗ ਰਹੀਆਂ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਅੱਜ ਦੀਆਂ ਕੀਮਤਾਂ ਦੇ ਅਨੁਸਾਰ optimize ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਇੱਕ ਅਜਿਹੇ ਅੰਕ ਲਈ optimize ਕਰ ਰਹੇ ਹੋ ਜੋ ਕੁਝ ਮਹੀਨਿਆਂ ਵਿੱਚ ਖ਼ਤਮ ਹੋ ਜਾਵੇਗਾ।

Prompt tricks 'ਤੇ ਧਿਆਨ ਨਾ ਦਿਓ। Architecture 'ਤੇ ਧਿਆਨ ਦਿਓ।

ਜਿੱਤਣ ਲਈ ਇਹਨਾਂ ਤਿੰਨ ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ:

• ਮਾਡਲ ਨੂੰ ਇੱਕ component ਵਜੋਂ ਮੰਨੋ। Inputs ਅਤੇ outputs ਲਈ ਇੱਕ interface ਦੀ ਵਰਤੋਂ ਕਰੋ। ਆਪਣੇ ਐਪ ਵਿੱਚ ਖਾਸ ਮਾਡਲਾਂ ਨੂੰ hard-code ਨਾ ਕਰੋ। ਇਹ ਤੁਹਾਨੂੰ ਇੱਕ ਸਧਾਰਨ config ਤਬਦੀਲੀ ਰਾਹੀਂ ਮਾਡਲਾਂ ਨੂੰ ਬਦਲਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

• ਪਹਿਲਾਂ ਇੱਕ evaluation harness ਬਣਾਓ। ਤੁਹਾਨੂੰ ਇਹ ਸਾਬਤ ਕਰਨ ਲਈ ਇੱਕ test set ਦੀ ਲੋੜ ਹੈ ਕਿ ਕੀ ਇੱਕ ਨਵਾਂ, ਸਸਤਾ ਮਾਡਲ ਪੁਰਾਣੇ ਮਾਡਲ ਵਾਂਗ ਹੀ ਕੰਮ ਕਰਦਾ ਹੈ। Tests ਤੋਂ ਬਿਨਾਂ, ਤੁਸੀਂ ਮਹਿੰਗੇ ਮਾਡਲਾਂ 'ਤੇ ਹੀ ਅਟਕੇ ਰਹੋਗੇ ਕਿਉਂਕਿ ਤੁਹਾਨੂੰ ਚੀਜ਼ਾਂ ਖਰਾਬ ਹੋਣ ਦਾ ਡਰ ਹੋਵੇਗਾ।

• ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਵਿੱਚ ਨਿਵੇਸ਼ ਕਰੋ ਜੋ ਸਸਤੀਆਂ ਨਹੀਂ ਹੁੰਦੀਆਂ। ਤੁਹਾਡੀ data quality, ਤੁਹਾਡੇ retrieval systems, ਤੁਹਾਡੇ guardrails, ਅਤੇ ਤੁਹਾਡਾ user experience ਹਰ ਸਾਲ 10x ਸਸਤੇ ਨਹੀਂ ਹੁੰਦੇ। ਸਿਰਫ਼ ਮਾਡਲ ਹੀ ਸਸਤਾ ਹੁੰਦਾ ਹੈ।

ਸਿਰਫ਼ raw capability ਲਈ fine-tuning ਕਰਨਾ ਬੰਦ ਕਰੋ। Fine-tuning ਰੁਝਾਨ ਦੇ ਵਿਰੁੱਧ ਇੱਕ ਦਾਅ ਹੈ। ਤੁਸੀਂ ਆਪਣੇ data ਅਤੇ infrastructure ਨੂੰ ਇੱਕ ਖਾਸ ਮਾਡਲ ਵਿੱਚ ਬੰਧ ਕਰ ਦਿੰਦੇ ਹੋ। ਜਦੋਂ ਕੋਈ ਨਵਾਂ base model ਆਉਂਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਡਾ fine-tuned ਮਾਡਲ ਇੱਕ ਮਹਿੰਗਾ ਅਤੀਤ ਬਣ ਜਾਂਦਾ ਹੈ। ਸਿਰਫ਼ ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਲਈ fine-tune ਕਰੋ ਜੋ ਸਥਿਰ ਰਹਿੰਦੀਆਂ ਹਨ, ਜਿਵੇਂ ਕਿ ਤੁਹਾਡਾ ਖਾਸ brand tone ਜਾਂ ਵਿਲੱਖਣ data formats।

ਜਿੱਤਣ ਵਾਲੀ ਰਣਨੀਤੀ ਇੱਕ ਅਜਿਹਾ ਸਿਸਟਮ ਬਣਾਉਣਾ ਹੈ ਜੋ ਮਾਡਲਾਂ ਨੂੰ ਬਦਲਣਾ ਬਹੁਤ ਆਸਾਨ ਬਣਾ ਦੇਵੇ। Tokens ਦੀ ਗਿਣਤੀ ਕਰਨਾ ਬੰਦ ਕਰੋ। ਆਪਣੇ ਉਤਪਾਦ ਨੂੰ ਕੀਮਤ ਦੇ ਡਿੱਗਦੇ ਰੁਝਾਨ ਦਾ ਲਾਭ ਉਠਾਉਣ ਲਈ ਡਿਜ਼ਾਈਨ ਕਰੋ।

Source: https://dev.to/aiexplore369zoho/the-10x-a-year-price-collapse-is-an-architecture-bet-not-a-prompt-trick-49df

Optional learning community: https://t.me/GyaanSetuAi