OSM ਲਈ ਇੱਕ ਲੋਕਲ AI Agent ਬਣਾਉਣਾ
ਮੈਂ ਇੱਕ ਲੋਕਲ AI agent ਬਣਾਉਣ ਵਿੱਚ 21 ਦਿਨ ਲਗਾਏ। ਇਹ ਕੁਦਰਤੀ ਭਾਸ਼ਾ (natural language) ਨੂੰ OSM filter JSON ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਮੈਂ ਚਾਹੁੰਦਾ ਸੀ ਕਿ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇੱਕ ਲੋਕਲ GPU 'ਤੇ ਚੱਲੇ। ਕੋਈ API calls ਨਹੀਂ। ਕੋਈ privacy ਖ਼ਤਰੇ ਨਹੀਂ। ਕੋਈ rate limits ਨਹੀਂ।
ਇੱਥੇ ਦੱਸਿਆ ਗਿਆ ਹੈ ਕਿ ਮੈਂ ਇਸਨੂੰ ਕਿਵੇਂ ਬਣਾਇਆ ਅਤੇ ਮੈਂ ਕੀ ਸਿੱਖਿਆ।
The Architecture
ਮੈਂ ਮਾਡਲ ਨੂੰ context ਦੇਣ ਲਈ ਇੱਕ RAG pipeline ਦੀ ਵਰਤੋਂ ਕੀਤੀ।
• Embeddings: ਮੈਂ OSM tag descriptions ਨੂੰ vectors ਵਿੱਚ ਬਦਲਣ ਲਈ bge-small-en-v1.5 ਦੀ ਵਰਤੋਂ ਕੀਤੀ। • Database: ਮੈਂ ਇਹਨਾਂ embeddings ਨੂੰ SQLite ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ। • Retrieval: ਜਦੋਂ ਤੁਸੀਂ ਕੋਈ ਸਵਾਲ ਪੁੱਛਦੇ ਹੋ, ਤਾਂ ਸਿਸਟਮ ਸਭ ਤੋਂ ਢੁਕਵੇਂ OSM tags ਅਤੇ filter ਉਦਾਹਰਣਾਂ ਲੱਭਦਾ ਹੈ। • Generation: LLM ਤੁਹਾਡੀ query ਅਤੇ ਲੱਭੀਆਂ ਗਈਆਂ ਉਦਾਹਰਣਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ JSON ਬਣਾਇਆ ਜਾ ਸਕੇ।
The Failures
ਇਸਨੂੰ ਬਣਾਉਣਾ ਆਸਾਨ ਨਹੀਂ ਸੀ। ਮੈਨੂੰ ਕਈ ਮੁਸ਼ਕਲਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ।
• The Stop Token Bug: ਮੇਰੇ ਪਹਿਲੇ ਰਨ (runs) ਵਿੱਚ ਖਾਲੀ