ਮੈਂ ਆਪਣੇ ਐਪ ਵਿੱਚ AI ਚੈਟ ਜੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਅਤੇ ਇੱਕ ਵੱਡੀ ਮੁਸ਼ਕਲ ਦਾ ਸਾਹਮਣਾ ਕੀਤਾ
ਮੈਂ ਆਪਣੇ ਪ੍ਰੋਜੈਕਟ ਮੈਨੇਜਮੈਂਟ ਟੂਲ ਵਿੱਚ ਇੱਕ AI ਚੈਟ ਸਹਾਇਕ ਜੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਮੈਨੂੰ ਲੱਗਿਆ ਕਿ ਇਹ ਆਸਾਨ ਹੋਵੇਗਾ। ਮੈਂ ਪੂਰੀ ਚੈਟ ਹਿਸਟਰੀ ਨੂੰ ਇੱਕ API ਨੂੰ ਭੇਜਣ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਸੀ।
ਇਹ ਫੇਲ੍ਹ ਹੋ ਗਿਆ।
15 ਸੁਨੇਹਿਆਂ ਤੋਂ ਬਾਅਦ, ਜਵਾਬ ਹੌਲੀ ਹੋ ਗਏ ਜਾਂ ਟੁੱਟਣ ਲੱਗ ਪਏ। API ਨੇ ਗਲਤੀਆਂ (errors) ਦਿਖਾਉਣੀਆਂ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀਆਂ ਕਿਉਂਕਿ ਟੈਕਸਟ ਟੋਕਨ ਸੀਮਾ (token limit) ਲਈ ਬਹੁਤ ਲੰਬਾ ਸੀ।
ਇੱਥੇ ਉਹ ਹੈ ਜੋ ਮੈਂ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਅਤੇ ਜੋ ਕੰਮ ਕਰ ਗਿਆ।
The Problems I Faced:
- ਹਿਸਟਰੀ ਨੂੰ ਛੋਟਾ ਕਰਨਾ (Truncating history): ਮੈਂ ਸਿਰਫ਼ ਆਖਰੀ ਕੁਝ ਸੁਨੇਹੇ ਹੀ ਰੱਖੇ। ਇਸ ਨਾਲ ਸਪੀਡ ਤਾਂ ਠੀਕ ਹੋ ਗਈ ਪਰ AI ਚੈਟ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਸਭ ਕੁਝ ਭੁੱਲ ਗਿਆ।
- ਸਾਰਾਂਸ਼ (Summarization): ਮੈਂ ਹਰ 5 ਸੁਨੇਹਿਆਂ ਤੋਂ ਬਾਅਦ AI ਨੂੰ ਚੈਟ ਦਾ ਸਾਰਾਂਸ਼ ਬਣਾਉਣ ਲਈ ਕਿਹਾ। ਇਸ ਨਾਲ ਯਾਦਦਾਸ਼ਤ ਵਿੱਚ ਮਦਦ ਮਿਲੀ ਪਰ ਮੇਰੀ ਲਾਗਤ (costs) ਅਤੇ ਉਡੀਕ ਦਾ ਸਮਾਂ ਵਧ ਗਿਆ।
- ਵੈਕਟਰ ਸਟੋਰ (Vector stores): ਮੈਂ ਪ੍ਰਸੰਗਿਕਤਾ (relevance) ਦੇ ਆਧਾਰ 'ਤੇ ਸੁਨੇਹਿਆਂ ਨੂੰ ਸਕੋਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਇਸ ਨਾਲ ਮ