ਹਲਕੇ ਓਪਨ ਸੋਰਸ LLMs ਲਈ ਪ੍ਰੋਂਪਟ-ਡ੍ਰਿਵਨ ਟੂਲ-ਕਾਲਿੰਗ
GPT-4 ਵਰਗੇ ਵੱਡੇ ਮਾਡਲ ਵਧੀਆ ਕੰਮ ਕਰਦੇ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਉੱਚ ਕੰਪਿਊਟਿੰਗ (compute) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਛੋਟੇ ਓਪਨ ਸੋਰਸ ਮਾਡਲਾਂ ਨੂੰ ਅਕਸਰ ਗੁੰਝਲਦਾਰ ਤਰਕ (reasoning) ਕਰਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਆਉਂਦੀ ਹੈ। ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਤੁਹਾਨੂੰ ਵੱਡੇ GPU ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਮੈਂ ਛੋਟੇ ਮਾਡਲਾਂ ਨੂੰ ਸੰਰਚਿਤ ਪ੍ਰੋਂਪਟ (structured prompts) ਰਾਹੀਂ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨ ਦੇ ਇੱਕ ਤਰੀਕੇ 'ਤੇ ਖੋਜ ਕੀਤੀ ਹੈ। ਇਸ ਖੋਜ ਦਾ ਸਿਰਲੇਖ Prompt-Driven Tool-Calling for Lightweight Open Source LLMs ਹੈ।
ਸਮੱਸਿਆ:
- ਛੋਟੇ ਮਾਡਲਾਂ ਵਿੱਚ ਤਰਕ ਕਰਨ ਦੀਆਂ ਯੋਗਤਾਵਾਂ ਦੀ ਕਮੀ ਹੁੰਦੀ ਹੈ।
- ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣਾ ਮਹਿੰਗਾ ਹੈ।
- ਸਾਨੂੰ ਅਜਿਹੇ ਕੁਸ਼ਲ ਏਜੰਟਾਂ (agents) ਦੀ ਲੋੜ ਹੈ ਜੋ ਘੱਟ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲ ਸਕਣ।
ਹੱਲ: ਮਾਡਲਾਂ ਨੂੰ ਸਭ ਕੁਝ ਯਾਦ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਬੰਦ ਕਰੋ। ਮਾਡਲ ਨੂੰ ਇੱਕ ਕੰਟਰੋਲਰ (controller) ਵਿੱਚ ਬਦਲਣ ਲਈ ਪ੍ਰੋਂਪਟਸ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ: ਪ੍ਰੋਂਪਟ ਮਾਡਲ ਨੂੰ ਇਹ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਦਿੰਦਾ ਹੈ:
- ਤੁਹਾਡੇ ਇਰਾਦੇ (intent) ਨੂੰ ਸਮਝਣਾ।
- ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਕਦਮਾਂ ਵਿੱਚ ਵੰਡਣਾ।
- ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੀ ਬਜਾਏ ਇੱਕ ਟੂਲ ਦੀ ਚੋਣ ਕਰਨਾ।
ਵਰਕਫਲੋ (workflow) ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ: ਯੂਜ਼ਰ ਦਾ ਸਵਾਲ $\rightarrow$ LLM $\rightarrow$ ਟੂਲ ਦੀ ਚੋਣ $\rightarrow$ ਟੂਲ ਦਾ ਸੰਚਾਲਨ $\rightarrow$ ਅੰਤਿਮ ਉੱਤਰ।
ਮਾਡਲ ਤੱਥਾਂ ਨੂੰ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕੈਲਕੁਲੇਟਰ ਵਰਗੇ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
ਮੁੱਖ ਲਾਭ:
- ਛੋਟੇ ਮਾਡਲ ਬੁੱਧੀਮਾਨ ਏਜੰਟਾਂ ਵਾਂਗ ਕੰਮ ਕਰਦੇ ਹਨ।
- AI ਵਧੇਰੇ ਸੁਲਭ ਹੋ ਜਾਂਦਾ ਹੈ।
- ਬੁੱਧੀ ਮਾਡਲ ਦੇ ਆਕਾਰ ਦੀ ਬਜਾਏ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ।
ਸਾਨੂੰ ਸਿਰਫ਼ ਪੈਰਾਮੀਟਰਾਂ (parameters) ਨੂੰ ਵਧਾਉਣ ਦੀ ਬਜਾਏ ਟੂਲ ਇੰਟੀਗ੍ਰੇਸ਼ਨ (tool integration) ਨੂੰ ਵਧਾਉਣਾ ਚਾਹੀਦਾ ਹੈ।
ਇਹ ਕੰਮ AIS2C2 2025 ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ।
ਸਰੋਤ: https://www.aiscindia.co.in/wp-content/uploads/2026/06/ilovepdf_merged-4.pdf
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi