ਆਪਣੇ ਮਾਡਲ ਦੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕਰਨਾ ਬੰਦ ਕਰੋ। ਤੁਹਾਡੀ ਆਰਕੀਟੈਕਚਰ ਹੀ ਸਮੱਸਿਆ ਹੈ।
ਡੈਮੋ ਵਧੀਆ ਲੱਗਦੇ ਹਨ। ਪ੍ਰੋਡਕਸ਼ਨ ਸਿਸਟਮ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ। ਇਹਨਾਂ ਦੋਵਾਂ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਪਾੜਾ ਹੈ।
ਲੋਕ ਹੁਣ ਹਰ ਚੀਜ਼ ਨੂੰ ਏਜੰਟ (agent) ਕਹਿੰਦੇ ਹਨ। ਮੈਮੋਰੀ ਵਾਲਾ ਇੱਕ ਚੈਟਬੋਟ ਏਜੰਟ ਹੈ। ਲੂਪ ਵਾਲਾ ਇੱਕ ਸਕ੍ਰਿਪਟ ਏਜੰਟ ਹੈ। ਇਹ ਗਲਤੀ ਇੰਜੀਨੀਅਰਿੰਗ ਦੀਆਂ ਗਲਤੀਆਂ ਦਾ ਕਾਰਨ ਬਣਦੀ ਹੈ। ਤੁਸੀਂ ਸਧਾਰਨ ਕੰਮਾਂ ਲਈ ਜ਼ਿਆਦਾ ਇੰਜੀਨੀਅਰਿੰਗ (over-engineering) ਅਤੇ ਗੁੰਝਲਦਾਰ ਕੰਮਾਂ ਲਈ ਘੱਟ ਇੰਜੀਨੀਅਰਿੰਗ (under-engineering) ਕਰ ਬੈਠਦੇ ਹੋ।
ਇੱਕ ਏਜੰਟ ਨੂੰ ਇੱਕ ਉਦੇਸ਼ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਸਿਰਫ਼ ਇੱਕ ਹਦਾਇਤ ਦੀ ਪਾਲਣਾ ਨਹੀਂ ਕਰਦਾ। ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਅੱਗੇ ਕੀ ਕਰਨਾ ਹੈ। ਇਹ ਅਸਫਲਤਾ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਇਸਨੂੰ ਪਤਾ ਹੁੰਦਾ ਹੈ ਕਿ ਕਦੋਂ ਰੁਕਣਾ ਹੈ।
ਆਪਣੇ ਸਿਸਟਮ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇਹਨਾਂ ਨਿਯਮਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ:
- ਜੇਕਰ ਇੱਕ ਇਨਸਾਨ ਨੂੰ ਹਰ ਕਦਮ 'ਤੇ ਮਾਰਗਦਰਸ਼ਨ ਕਰਨਾ ਪਵੇ, ਤਾਂ ਇਹ ਇੱਕ ਚੈਟ ਇੰਟਰਫੇਸ ਹੈ।
- ਜੇਕਰ ਇਹ ਕਿਸੇ ਅਸਫਲ ਟੂਲ ਕਾਲ (tool call) ਤੋਂ ਉਭਰਦਾ ਹੈ, ਤਾਂ ਇਹ ਇੱਕ ਏਜੰਟ ਹੈ।
- ਜੇਕਰ ਇਹ ਇੱਕ ਟੀਚੇ ਨੂੰ ਉਪ-ਕੰਮਾਂ (subtasks) ਵਿੱਚ ਵੰਡਦਾ ਹੈ, ਤਾਂ ਇਹ ਇੱਕ ਅਸਲੀ ਏਜੰਟ ਹੈ।
ਸਫਲ ਟੀਮਾਂ ਨਵੇਂ ਮਾਡਲਾਂ ਦੇ ਪਿੱਛੇ ਨਹੀਂ ਭੱਜਦੀਆਂ। ਉਹ ਤੰਗ, ਖਾਸ ਮਕਸਦ ਲਈ ਬਣਾਏ ਗਏ ਪਾਈਪਲਾਈਨ (pipelines) ਬਣਾਉਂਦੇ ਹਨ। ਉਹ ਇਹਨਾਂ ਤਿੰਨ ਚੀਜ਼ਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਨ:
- ਟੂਲ ਡਿਜ਼ਾਈਨ: ਇੰਟਰਫੇਸ ਕਿੰਨਾ ਸਾਫ਼ ਹੈ?
- ਅਸਫਲਤਾ ਨੂੰ ਸੰਭਾਲਣਾ (Failure handling): ਜਦੋਂ ਕੋਈ ਟੂਲ ਕੁਝ ਵੀ ਵਾਪਸ ਨਹੀਂ ਦਿੰਦਾ ਤਾਂ ਕੀ ਹੁੰਦਾ ਹੈ?
- ਅਵਜ਼ਰਵੇਬਿਲਟੀ (Observability): ਕੀ ਤੁਸੀਂ ਹਰ ਫੈਸਲੇ ਦਾ ਪਤਾ ਲਗਾ ਸਕਦੇ ਹੋ?
ਤੁਹਾਡੇ ਦੁਆਰਾ ਵਰਤਿਆ ਜਾਣ ਵਾਲਾ ਫਰੇਮਵਰਕ ਤੁਹਾਡੇ ਪੈਟਰਨਾਂ ਨਾਲੋਂ ਘੱਟ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਮੈਂ ਵੱਖ-ਵੱਖ ਫਰੇਮਵਰਕਾਂ ਵਿੱਚ ਆਰਕੀਟੈਕਚਰਾਂ ਨੂੰ ਮੁੜ ਬਣਾਇਆ ਹੈ ਅਤੇ ਨਤੀਜੇ ਉਹੀ ਰਹਿੰਦੇ ਹਨ। ਫਰੇਮਵਰਕ ਇੱਕ ਸਕੈਫੋਲਡਿੰਗ (scaffolding) ਹੈ। ਆਰਕੀਟੈਕਚਰ ਇਮਾਰਤ ਹੈ।
ਇਹਨਾਂ ਪੈਟਰਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ:
- ਪਹਿਲਾਂ ਯੋਜਨਾ ਬਣਾਓ ਫਿਰ ਲਾਗੂ ਕਰੋ। ਤਰਕ (reasoning) ਲਈ ਇੱਕ ਕਦਮ ਅਤੇ ਕਾਰਵਾਈ (action) ਲਈ ਇੱਕ ਵੱਖਰਾ ਕਦਮ ਵਰਤੋ।
- ਰਿਟ੍ਰੀਵਲ (retrieval) ਨੂੰ ਤਰਕ (reasoning) ਤੋਂ ਵੱਖ ਕਰੋ। ਸੰਦਰਭ (context) ਪ੍ਰਾਪਤ ਕਰਨਾ ਅਤੇ ਸੰਦਰਭ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਵੱਖ-ਵੱਖ ਕੰਮ ਹਨ।
- ਸਪਸ਼ਟ ਹੈਂਡਆਫ (handoffs) ਦੀ ਵਰਤੋਂ ਕਰੋ। ਜਦੋਂ ਇੱਕ ਏਜੰਟ ਦੂਜੇ ਨੂੰ ਕੰਮ ਸੌਂਪਦਾ ਹੈ, ਤਾਂ ਸਟ੍ਰਕਚਰਡ ਲੌਗਸ (structured logs) ਦੀ ਵਰਤੋਂ ਕਰੋ।
RAG ਇੱਕ ਮਿਆਰਤ ਹੈ, ਪਰ ਚੰਕਿੰਗ (chunking) ਅਕਸਰ ਗਲਤ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਮਾੜੇ ਤਰੀਕੇ ਨਾਲ ਵੰਡਦੇ ਹੋ, ਤਾਂ ਮਾਡਲ ਸੰਦਰਭ (context) ਗੁਆ ਲੈਂਦਾ ਹੈ। ਇਸ ਨਾਲ ਹੈਲੂਸੀਨੇਸ਼ਨ (hallucinations) ਹੁੰਦੀਆਂ ਹਨ।
ਜੇਕਰ ਤੁਹਾਡੀ RAG ਪਾਈਪਲਾਈਨ ਬੇਕਾਰ ਨਤੀਜੇ ਦਿੰਦੀ ਹੈ, ਤਾਂ ਆਪਣੀ ਚੰਕਿੰਗ ਅਤੇ ਮੈਟਾਡਾਟਾ (metadata) ਨੂੰ ਦੇਖੋ। ਐਮਬੈਡਿੰਗ ਮਾਡਲ (embedding model) ਨੂੰ ਦੋਸ਼ ਨਾ ਦਿਓ।
ਇੰਜੀਨੀਅਰਿੰਗ ਦੀ ਚੁਣੌਤੀ ਅਜਿਹੇ ਸਿਸਟਮ ਬਣਾਉਣਾ ਹੈ ਜਿਨ੍ਹਾਂ 'ਤੇ ਤੁਸੀਂ ਭਰੋਸਾ ਕਰ ਸਕੋ। ਗਵਰਨੈਂਸ, ਅਵਜ਼ਰਵੇਬਿਲਟੀ, ਅਤੇ ਭਰੋਸੇਯੋਗ ਟੂਲ ਦੀ ਵਰਤੋਂ 'ਤੇ ਧਿਆਨ ਦਿਓ। ਸਿਰਫ਼ ਬੈਂਚਮਾਰਕਸ ਦੇ ਪਿੱਛੇ ਨਾ ਭੱਜੋ।
ਵਧੀਆ ਇੰਜੀਨੀਅਰ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ 'ਤੇ ਧਿਆਨ ਦੇਣਗੇ। ਉਹ ਅਜਿਹੇ AI ਸਿਸਟਮ ਬਣਾਉਣਗੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਦੂਸਰੇ ਬਣਾਈ ਰੱਖ ਸਕਦੇ ਹਨ ਅਤੇ ਭਰੋਸਾ ਕਰ ਸਕਦੇ ਹਨ।
ਸਰੋਤ: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg