LLM Wiki ਲਈ ਚਾਰ-ਕਿਸਮਾਂ ਵਾਲਾ ਇੱਕ ਫਰੇਮਵਰਕ
ਸਿਰਫ਼ ਗਿਆਨ ਹੀ ਫੈਸਲਾ ਲੈਣ ਦੀ ਸਮਰੱਥਾ (judgment) ਪੈਦਾ ਨਹੀਂ ਕਰਦਾ।
ਮੈਂ 100 ਤੋਂ ਵੱਧ ਪੰਨਿਆਂ ਵਾਲੀ ਇੱਕ LLM wiki ਬਣਾਈ। ਇਹ ਉਦੋਂ ਤੱਕ ਵਧੀਆ ਕੰਮ ਕਰ ਰਹੀ ਸੀ ਜਦੋਂ ਤੱਕ ਮੈਂ ਇਸਨੂੰ ਇੱਕ ਪ੍ਰੋਗਰਾਮਿੰਗ ਟਿਊਟਰ ਵਜੋਂ ਵਰਤਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕੀਤੀ।
AI ਨੂੰ ਹਰ ਪਰਿਭਾਸ਼ਾ ਪਤਾ ਸੀ। ਜਦੋਂ ਇੱਕ ਵਿਦਿਆਰਥੀ ਨੇ ਕਿਹਾ, "ਮੈਨੂੰ Promises ਸਮਝ ਨਹੀਂ ਆ ਰਹੇ," ਤਾਂ AI ਨੇ ਪਾਠ-ਪੁਸਤਕ ਵਾਲੀ ਪਰਿਭਾਸ਼ਾ ਦੇ ਦਿੱਤੀ। ਇਹ ਇੱਕ ਮਾੜਾ ਜਵਾਬ ਸੀ।
ਇੱਕ ਅਸਲੀ ਟਿਊਟਰ ਪੁੱਛੇਗਾ: "ਕੀ ਤੁਸੀਂ ਪਹਿਲਾਂ callbacks ਸਮਝਦੇ ਹੋ?" ਜਾਂ "ਤੁਸੀਂ ਕੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ?"
AI ਕੋਲ ਤੱਥ (facts) ਸਨ ਪਰ ਫੈਸਲਾ ਲੈਣ ਦੀ ਸਮਰੱਥਾ (judgment) ਜ਼ੀਰੋ ਸੀ। ਮੈਨੂੰ ਅਹਿਸਾਸ ਹੋਇਆ ਕਿ ਮੇਰੀ wiki ਸਿਰਫ਼ ਇੱਕ ਕਿਸਮ ਦਾ ਗਿਆਨ ਸਟੋਰ ਕਰ ਰਹੀ ਸੀ।
ਜ਼ਿਆਦਾਤਰ LLM wikis ਡਿਕਲੇਰੇਟਿਵ (declarative) ਗਿਆਨ ਸਟੋਰ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਤੱਥ, ਪਰਿਭਾਸ਼ਾਵਾਂ ਅਤੇ ਸਾਰ (summaries) ਹੁੰਦੇ ਹਨ। ਉਹ ਜਵਾਬ ਦਿੰਦੇ ਹਨ "ਇਹ ਕੀ ਹੈ?"
ਮੁਹਾਰਤ ਲਈ ਇਸ ਤੋਂ ਵੱਧ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਤੁਹਾਨੂੰ ਚਾਰ ਕਿਸਮਾਂ ਦੇ ਗਿਆਨ ਦੀ ਲੋੜ ਹੈ:
• ਡਿਕਲੇਰੇਟਿਵ (Declarative): ਤੱਥ ਅਤੇ ਪਰਿਭਾਸ਼ਾਵਾਂ। • ਪ੍ਰੋਸੀਜਰਲ (Procedural): ਤਰਕ ਕਿਵੇਂ ਕਰਨਾ ਹੈ। ਇਹ ਉਹ ਫੈਸਲਿਆਂ ਦਾ ਕ੍ਰਮ ਹੈ ਜੋ ਇੱਕ ਮਾਹਰ ਲੈਂਦਾ ਹੈ। • ਅਨੁਭਵੀ (Experiential): ਅਸਲ ਜ਼ਿੰਦਗੀ ਵਿੱਚ ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਗਲਤੀਆਂ ਦੇਖਣਾ ਅਤੇ ਮਾਹਰ ਉਹਨਾਂ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਦੇ ਹਨ, ਸ਼ਾਮਲ ਹੈ। • ਇੰਟਰੈਕਸ਼ਨ (Interaction): ਦੂਜਿਆਂ ਨੂੰ ਕਿਵੇਂ ਮਾਰਗਦਰਸ਼ਨ ਕਰਨਾ ਹੈ। ਇਹ ਜਾਣਨਾ ਹੈ ਕਿ ਕਦੋਂ ਸਵਾਲ ਪੁੱਛਣਾ ਹੈ ਅਤੇ ਕਦੋਂ ਚੁੱਪ ਰਹਿਣਾ ਹੈ।
ਖੋਜ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਜਾਣਨ ਅਤੇ ਕਰਨ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਵੱਡਾ ਪਾੜਾ ਹੈ। teaching assistants ਦੇ ਇੱਕ ਅਧਿਐਨ ਵਿੱਚ, 75% ਨੇ ਸੋਕ੍ਰੇਟਿਕ (Socratic) ਸਵਾਲ ਪੁੱਛਣ ਦੀ ਬਜਾਏ ਸਿੱਧੇ ਜਵਾਬ ਦਿੱਤੇ। ਉਹ ਨਿਯਮ ਜਾਣਦੇ ਸਨ, ਪਰ ਉਹ ਦਬਾਅ ਹੇਠ ਉਹਨਾਂ ਨੂੰ ਲਾਗੂ ਨਹੀਂ ਕਰ ਸਕੇ।
ਇਸ ਨੂੰ ਠੀਕ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਆਪਣੇ ਸਿਸਟਮ ਵਿੱਚ ਦੋ ਕਾਰਵਾਈਆਂ (operations) ਦੀ ਲੋੜ ਹੈ:
- ਇੰਜੈਸਟ (Ingest): ਇਹ ਡਿਕਲੇਰੇਟਿਵ ਗਿਆਨ ਬਣਾਉਣ ਲਈ ਤੱਥਾਂ ਦੀ ਭਾਲ ਕਰਦਾ ਹੈ।
- ਮਾਈਨ (Mine): ਇਹ ਪ੍ਰੋਸੀਜਰਲ, ਅਨੁਭਵੀ ਅਤੇ ਇੰਟਰੈਕਸ਼ਨ ਗਿਆਨ ਬਣਾਉਣ ਲਈ ਫੈਸਲਿਆਂ ਦੀ ਭਾਲ ਕਰਦਾ ਹੈ।
ਤੁਸੀਂ ਸਿਰਫ਼ ਤੱਥਾਂ ਨੂੰ ਲੱਭ ਕੇ ਤਰਕ ਦਾ ਰਸਤਾ ਨਹੀਂ ਲੱਭ ਸਕਦੇ। ਤੁਹਾਨੂੰ ਫੈਸਲਿਆਂ ਦੀ ਭਾਲ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਤੁਹਾਨੂੰ ਪੁੱਛਣਾ ਚਾਹੀਦਾ ਹੈ: ਮਾਹਰ ਨੇ ਕੀ ਚੁਣਿਆ? ਉਹਨਾਂ ਨੇ ਇਹ ਕਦੋਂ ਚੁਣਿਆ? ਅੱਗੇ ਕੀ ਹੋਇਆ?
AI ਦੀ ਅਗਲੀ ਪੀੜ੍ਹੀ ਵਧੇਰੇ ਤੱਥਾਂ ਨਾਲ ਨਹੀਂ ਜਿੱਤੇਗੀ। ਇਹ ਬਿਹਤਰ ਫੈਸਲਾ ਲੈਣ ਦੀ ਸਮਰੱਥਾ (judgment) ਨਾਲ ਜਿੱਤੇਗੀ। ਜਜਮੈਂਟ (Judgment) ਗਿਆਨ ਦੀ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ। ਇਹ ਗਿਆਨ ਦੀ ਕਿਸਮ ਦੀ ਸਮੱਸਿਆ ਹੈ।
ਜੇਕਰ ਤੁਸੀਂ ਅਜਿਹਾ AI ਬਣਾਉਂਦੇ ਹੋ ਜੋ ਸਿਰਫ਼ ਤੱਥ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਸਿਰਫ਼ ਇੱਕ ਪਾਠ-ਪੁਸਤਕ ਬਣਾ ਰਹੇ ਹੋ। ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਮਾਹਰ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਫੈਸਲਿਆਂ ਦੀ ਖੋਜ (mine) ਕਰਨੀ ਪਵੇਗੀ।
Source: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Optional learning community: https://t.me/GyaanSetuAi