𝗛𝗮𝗿𝗻𝗲𝘀𝘀 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝗶𝗻𝗴 𝗱𝗮 𝗸𝗼 𝗸𝗼ਈ 𝗻𝗶𝘀𝗵𝗰𝗶𝘁 𝗽𝗮𝘁𝗮 𝗻𝗮𝗵𝗶ਂ 𝗵𝗮ਇ
Harness engineering ਤੁਹਾਡੇ ਸਾਫਟਵੇਅਰ ਸਟੈਕ ਵਿੱਚ ਕੋਈ ਖਾਸ ਜਗ੍ਹਾ ਨਹੀਂ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਕੋਡ ਦੀ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ।
ਬਹੁਤ ਸਾਰੇ ਲੋਕ ਸੋਚਦੇ ਹਨ ਕਿ harness ਸਿਰਫ਼ ਇੱਕ AI ਮਾਡਲ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਇੱਕ wrapper ਹੈ। ਇਹ ਗਲਤ ਹੈ। Harness ਹੀ ਉਹ ਚੀਜ਼ ਹੈ ਜੋ ਇੱਕ ਮਾਡਲ ਨੂੰ ਅਸਲ ਕਾਰੋਬਾਰ ਲਈ ਉਪਯੋਗੀ ਬਣਾਉਂਦੀ ਹੈ।
ਮੈਂ ਇੱਕ ਸਧਾਰਨ ਫਾਰਮੂਲਾ ਵਰਤਦਾ ਹਾਂ: Agent = Model × Harness।
ਮਾਡਲ ਇੰਜਣ ਹੈ। Harness ਸਟੀਅਰਿੰਗ, ਬ੍ਰੇਕਾਂ ਅਤੇ ਸੁਰੱਖਿਆ ਰੇਲਾਂ (safety rails) ਹੈ।
ਪਰ ਸਮੱਸਿਆ ਇੱਥੇ ਹੈ। ਮਾਡਲ ਲਗਾਤਾਰ ਵਧ ਰਿਹਾ ਹੈ। ਮਾਡਲ ਦਾ ਹਰ ਨਵਾਂ ਵਰਜ਼ਨ harness ਦੇ ਹਿੱਸਿਆਂ ਨੂੰ ਆਪਣੇ ਅੰਦਰ ਸਮੋ ਲੈਂਦਾ ਹੈ।
- Reasoning ਮਾਡਲ ਹੁਣ chain-of-thought ਲੌਜਿਕ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ।
- ਬਿਹਤਰ ਮਾਡਲ ਟੂਲ ਦੀ ਵਰਤੋਂ ਨੂੰ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ (natively) ਸੰਭਾਲਦੇ ਹਨ।
- ਲੰਬੇ context windows ਪੁਰਾਣੇ ਮੈਮੋਰੀ ਸਿਸਟਮਾਂ ਦੀ ਜਗ੍ਹਾ ਲੈ ਰਹੇ ਹਨ।
ਜੇਕਰ ਮਾਡਲ harness ਨੂੰ ਖਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਡੇ ਲਈ ਬਣਾਉਣ ਲਈ ਕੀ ਬਚਿਆ ਹੈ?
ਜੋ ਹਿੱਸੇ ਖਤਮ ਹੋ ਰਹੇ ਹਨ, ਉਹ ਮਕੈਨਿਕਸ ਹਨ। Loops, retries, ਅਤੇ memory stitching ਇੱਕ commodity (ਸਧਾਰਨ ਵਸਤੂ) ਬਣ ਜਾਣਗੇ। ਪਲੰਬਿੰਗ (plumbing) ਬਣਾਉਣ 'ਤੇ ਆਪਣੇ ਕਰੀਅਰ ਦਾ ਦਾਅ ਨਾ ਲਗਾਓ।
ਜੋ ਹਿੱਸੇ ਬਚੇ ਰਹਿਣਗੇ, ਉਹ ਹਨ specification ਅਤੇ verification।
- Specification: ਤੁਹਾਨੂੰ ਇਹ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ agent ਨੂੰ ਕੀ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਹੈ। ਇੱਕ ਮਾਡਲ ਤੁਹਾਡੀ ਖਾਸ ਰਿਫੰਡ ਪਾਲਿਸੀ ਜਾਂ ਤੁਹਾਡੀ ਜੋਖਮ ਸਹਿਣ ਸ਼ਕਤੀ (risk tolerance) ਨੂੰ ਨਹੀਂ ਜਾਣ ਸਕਦਾ। ਇਹ ਤੁਹਾਡੇ ਕੋਡ ਵਿੱਚ ਹੁੰਦਾ ਹੈ।
- Verification: ਤੁਹਾਨੂੰ ਸਾਬਤ ਕਰਨਾ ਹੋਵੇਗਾ ਕਿ agent ਤੁਹਾਡੇ ਨਿਯਮਾਂ ਦੇ ਅੰਦਰ ਰਿਹਾ। ਇੱਕ ਮਾਡਲ ਭਰੋਸੇਯੋਗ ਤਰੀਕੇ ਨਾਲ ਆਪਣਾ ਨਿਰਣਾ ਖੁਦ ਨਹੀਂ ਕਰ ਸਕਦਾ। ਤੁਹਾਨੂੰ ਕੰਮ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇੱਕ ਬਾਹਰੀ ਲੇਅਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਇੱਕ ਰਿਫੰਡ agent ਬਾਰੇ ਸੋਚੋ।
ਜੇਕਰ ਤੁਸੀਂ ਰਿਫੰਡ ਦੀ ਸੀਮਾ ਨੂੰ prompt ਵਿੱਚ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਇੱਕ ਉਪਭੋਗਤਾ ਮਾਡਲ ਨੂੰ ਧੋਖਾ ਦੇ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਸੀਮਾ ਨੂੰ ਆਪਣੇ ਕੋਡ ਵਿੱਚ ਇੱਕ if-statement ਵਿੱਚ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਮਾਡਲ ਉਸ ਨਾਲ ਬਹਿਸ ਨਹੀਂ ਕਰ ਸਕਦਾ।
ਉਹ if-statement ਹੀ harness engineering ਹੈ।
Harness engineering ਦੋ ਚੀਜ਼ਾਂ ਬਾਰੇ ਹੈ:
- ਇਜਾਜ਼ਤਸ਼ੁਦਾ ਵਿਵਹਾਰ ਦੀ ਸੀਮਾ (envelope) ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ।
- ਇਹ ਸਾਬਤ ਕਰਨਾ ਕਿ agent ਉਸ ਦੇ ਅੰਦਰ ਰਿਹਾ।
ਮਾਡਲ ਉਹ ਪਲਾਂਟ ਹੈ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਕੰਟਰੋਲ ਕਰ ਰਹੇ ਹੋ। Specification ਤੁਹਾਡਾ ਟੀਚਾ ਹੈ। Harness ਕੰਟਰੋਲਰ ਹੈ। Evaluations ਫੀਡਬੈਕ ਹਨ।
ਟੂਲ ਅਤੇ ਮਕੈਨਿਕਸ ਹਰ ਮਹੀਨੇ ਬਦਲ ਜਾਣਗੇ। Specification ਅਤੇ verification ਦਾ ਅਨੁਸ਼ਾਸਨ ਨਹੀਂ ਬਦਲੇਗਾ।
ਪਲੰਬਿੰਗ ਬਣਾਉਣਾ ਬੰਦ ਕਰੋ। Constraints ਅਤੇ proofs ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰੋ।
Source: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a
Optional learning community: https://t.me/GyaanSetuAi