𝟰𝟮/𝟲𝟬 ਦਿਨਾਂ ਦੇ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਪ੍ਰਸ਼ਨ
ਤੁਹਾਡਾ AI ਏਜੰਟ ਇੱਕ ਯੂਜ਼ਰ ਦਾ ਨਾਮ ਯਾਦ ਰੱਖਦਾ ਹੈ।
ਇੱਕ ਯੂਜ਼ਰ ਏਜੰਟ ਨੂੰ NYC ਲਈ ਇੱਕ ਸਸਤੀ ਫਲਾਈਟ ਬੁੱਕ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਉਹ ਰਾਤ ਨੂੰ $150 ਤੋਂ ਘੱਟ ਕੀਮਤ ਵਾਲੇ ਹੋਟਲਾਂ ਬਾਰੇ ਪੁੱਛਦੇ ਹਨ। ਉਹ ਕੁੱਲ ਯਾਤਰਾ ਦੀ ਲਾਗਤ ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ ਕਹਿੰਦੇ ਹਨ।
ਤੀਜੇ ਕਦਮ ਤੱਕ, ਏਜੰਟ LLM ਨੂੰ 8,000 ਟੋਕਨਾਂ ਦੀ ਹਿਸਟਰੀ ਭੇਜ ਦਿੰਦਾ ਹੈ। ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਇਹ ਚੈਟ ਦਾ ਪਹਿਲਾ ਟਰਨ ਹੋਵੇ।
ਇਸ ਨੂੰ ਲਾਂਚ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਨੂੰ ਇੱਕ ਮੈਮੋਰੀ ਆਰਕੀਟੈਕਚਰ ਦੀ ਲੋੜ ਹੈ।
ਇੱਕ ਚੁਣੋ:
In-context window: ਪੂਰੀ ਹਿਸਟਰੀ ਨੂੰ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਰੱਖੋ। ਇਹ ਸਰਲ ਹੈ। ਇਹ 15 ਟਰਨਾਂ ਜਾਂ 8,000 ਟੋਕਨਾਂ ਤੋਂ ਬਾਅਦ ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ।
Vector memory store: ਪਿਛਲੇ ਟਰਨਾਂ ਨੂੰ ਐਂਬੈਡ (Embed) ਕਰੋ। ਸਮਾਨਤਾ (similarity) ਦੇ ਆਧਾਰ 'ਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਮੈਚ ਪ੍ਰਾਪਤ ਕਰੋ। ਇਹ ਉਦੋਂ ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ ਜਦੋਂ "NYC flight" ਦੀ ਖੋਜ ਮੌਜੂਦਾ ਕੰਮ ਦੀ ਬਜਾਏ ਪੁਰਾਣੀ ਯਾਤਰਾ ਦੀ ਯਾਦ ਦਿਵਾ ਦਿੰਦੀ ਹੈ।
Episodic memory with summarization: ਪੁਰਾਣੇ ਟਰਨਾਂ ਨੂੰ ਸੰਖੇਪ (summaries) ਵਿੱਚ ਬਦਲੋ। ਹਰੇਕ ਰਿਕਵੈਸਟ ਵਿੱਚ ਢੁਕਵੇਂ ਸਾਰਾਂਸ਼ (summaries) ਸ਼ਾਮਲ ਕਰੋ। ਇਸ ਨੂੰ ਬਣਾਉਣਾ ਮੁਸ਼ਕਲ ਹੈ। ਇਸ ਨੂੰ ਉਲਝਾਉਣਾ ਵੀ ਮੁਸ਼ਕਲ ਹੈ।
Redis session state: ਇੱਕ ਸਟ੍ਰਕਚਰਡ ਕੀ-ਵੈਲਯੂ ਸਟੋਰ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਏਜੰਟ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਪੜ੍ਹਦਾ ਅਤੇ ਲਿਖਦਾ ਹੈ। ਇਹ ਡਿਟਰਮਿਨਿਸਟਿਕ (deterministic) ਹੈ। ਏਜੰਟ ਨੂੰ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕੀ ਸਟੋਰ ਕਰਨਾ ਹੈ ਅਤੇ ਕਦੋਂ।
ਇੱਕ ਵਿਕਲਪ 15 ਟਰਨਾਂ ਤੋਂ ਬਾਅਦ ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਗਲਤ ਸਮੇਂ 'ਤੇ ਗਲਤ ਸੰਦਰਭ (context) ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਇੱਕ ਟਾਸਕ-ਓਰੀਐਂਟਡ (task-oriented) ਏਜੰਟਾਂ ਲਈ ਸਹੀ ਚੋਣ ਹੈ।
A, B, C, ਜਾਂ D ਚੁਣੋ। ਮੈਨੂੰ ਦੱਸੋ ਜੇਕਰ ਤੁਸੀਂ ਇਸਦਾ ਸਾਹਮਣਾ ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਕੀਤਾ ਹੈ।
ਮੈਂ ਕੁਮੈਂਟਸ ਵਿੱਚ ਪੂਰਾ ਵੇਰਵਾ ਸਾਂਝਾ ਕਰਾਂਗਾ।
ਸਰੋਤ: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi