ਵੱਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਖੋਜ ਲਈ Claude Code ਨੂੰ ਤੇਜ਼ ਕਿਵੇਂ ਬਣਾਇਆ ਜਾਵੇ

Claude Code ਦਸ ਫਾਈਲਾਂ ਨਾਲ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ। ਸੈਂਕੜੇ PDFs ਦੇ ਨਾਲ ਇਹ ਹੌਲੀ ਹੋ ਜਾਂਦਾ ਹੈ।

ਜਦੋਂ ਤੁਹਾਡੀਆਂ ਫਾਈਲਾਂ ਦੀ ਗਿਣਤੀ ਵਧਦੀ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਤਿੰਨ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ:

  • ਰਫ਼ਤਾਰ ਘਟ ਜਾਂਦੀ ਹੈ ਕਿਉਂਕਿ ਮਾਡਲ ਬਹੁਤ ਜ਼ਿਆਦਾ ਟੈਕਸਟ ਪੜ੍ਹਦਾ ਹੈ।
  • ਲਾਗਤ ਵਧ ਜਾਂਦੀ ਹੈ ਕਿਉਂਕਿ ਤੁਹਾਨੂੰ ਹਰ ਸਕੈਨ ਕੀਤੇ ਗਏ ਟੋਕਨ ਲਈ ਭੁਗਤਾਨ ਕਰਨਾ ਪੈਂਦਾ ਹੈ।
  • ਸ਼ੁੱਧਤਾ ਘਟ ਜਾਂਦੀ ਹੈ ਕਿਉਂਕਿ ਜਦੋਂ ਮਾਡਲ ਨੂੰ ਜਵਾਬ ਨਹੀਂ ਮਿਲਦਾ ਤਾਂ ਉਹ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦਾ ਹੈ।

ਸਮੱਸਿਆ ਮਾਡਲ ਵਿੱਚ ਨਹੀਂ ਹੈ। ਸਮੱਸਿਆ ਖੋਜ ਰਣਨੀਤੀ (search strategy) ਵਿੱਚ ਹੈ।

ਡਿਫੌਲਟ ਰੂਪ ਵਿੱਚ, Claude Code ਫਾਈਲਾਂ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਪੜ੍ਹਦਾ ਹੈ। ਇਹ ਜਵਾਬ ਲੱਭਣ ਲਈ ਸਭ ਕੁਝ ਸਕੈਨ ਕਰਦਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਸਵਾਲ ਦੀ ਮੁਸ਼ਕਲਤਾ ਦੇ ਬਜਾਏ ਤੁਹਾਡੀ ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਆਕਾਰ ਦੇ ਅਨੁਸਾਰ ਵਧਦਾ ਜਾਂਦਾ ਹੈ।

ਇਸਦਾ ਹੱਲ Retrieval Augmented Generation (RAG) ਹੈ।

ਇੱਕ ਵੱਡੇ ਕੰਮ ਦੀ ਬਜਾਏ, ਤੁਸੀਂ ਕੰਮ ਨੂੰ ਵੰਡ ਦਿੰਦੇ ਹੋ: • ਇੱਕ ਰਿਟ੍ਰੀਵਲ ਲੇਅਰ (retrieval layer) ਪਹਿਲਾਂ ਇੱਕ ਪਹਿਲਾਂ ਤੋਂ ਬਣਾਈ ਗਈ ਇੰਡੈਕਸ ਦੀ ਖੋਜ ਕਰਦੀ ਹੈ। • ਇਹ ਉਹ ਖਾਸ ਪੈਰੇ ਲੱਭਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਜਵਾਬ ਹੁੰਦਾ ਹੈ। • ਇਹ Claude Code ਨੂੰ ਸਿਰਫ਼ ਉਹ ਛੋਟੇ ਹਿੱਸੇ ਹੀ ਦਿੰਦੀ ਹੈ।

ਇਹ ਕੰਮ ਨੂੰ ਸਥਿਰ ਬਣਾਉਂਦਾ ਹੈ। ਭਾਵੇਂ ਤੁਹਾਡੇ ਕੋਲ ਪੰਜਾਹ ਫਾਈਲਾਂ ਹੋਣ ਜਾਂ ਪੰਜਾਹ ਹਜ਼ਾਰ, Claude ਸਿਰਫ਼ ਟੈਕਸਟ ਦਾ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਹਿੱਸਾ ਹੀ ਪੜ੍ਹਦਾ ਹੈ।

ਤੁਸੀਂ Model Context Protocol (MCP) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਨੂੰ Claude Code ਨਾਲ ਜੋੜ ਸਕਦੇ ਹੋ। ਇੱਕ MCP ਸਰਵਰ ਇੱਕ ਟੂਲ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ Claude ਸਹੀ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕਾਲ ਕਰਦਾ ਹੈ।

ਨਤੀਜੇ ਮਹੱਤਵਪੂਰਨ ਹਨ। 500 PDFs 'ਤੇ ਕੀਤੇ ਗਏ ਇੱਕ ਟੈਸਟ ਨੇ ਦਿਖਾਇਆ ਕਿ RAG ਲੇਅਰ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਪ੍ਰਕਿਰਿਆ: • 4.2x ਤੇਜ਼ ਹੋ ਗਈ। • 3.2x ਸਸਤੀ ਹੋ ਗਈ। • ਵਧੇਰੇ ਭਰੋਸੇਮੰਦ ਹੋ ਗਈ।

ਸਿੱਧੀ ਫਾਈਲ ਖੋਜ (direct file search) ਦੀ ਵਰਤੋਂ ਕਦੋਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ:

  • ਤੁਹਾਡੀਆਂ ਫਾਈਲਾਂ ਘੱਟ ਹਨ (ਕੁਝ ਦਰਜਨ ਤੋਂ ਘੱਟ)।
  • ਫਾਈਲਾਂ ਹਰ ਮਿੰਟ ਵਿੱਚ ਬਦਲਦੀਆਂ ਹਨ।
  • ਤੁਹਾਨੂੰ ਤੇਜ਼, ਖੋਜਮੂਲਕ ਕੰਮ ਦੀ ਲੋੜ ਹੈ।

RAG ਲੇਅਰ ਦੀ ਵਰਤੋਂ ਕਦੋਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ:

  • ਤੁਹਾਡਾ ਦਸਤਾਵੇਜ਼ ਸੈੱਟ ਵੱਡਾ ਹੈ ਜਾਂ ਵਧ ਰਿਹਾ ਹੈ।
  • ਤੁਸੀਂ ਅਕਸਰ ਇੱਕੋ ਗਿਆਨ ਦੇ ਅਧਾਰ (knowledge base) ਤੋਂ ਸਵਾਲ ਪੁੱਛਦੇ ਹੋ।
  • ਲਾਗਤ ਅਤੇ ਸ਼ੁੱਧਤਾ ਤੁਹਾਡੀਆਂ ਪਹਿਲ ਹਨ।

ਇਸਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ:

  • ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਪਹਿਲਾਂ ਹੀ ਇੰਡੈਕਸ ਕਰੋ।
  • ਅਰਥ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣ ਲਈ semantic chunking ਦੀ ਵਰਤੋਂ ਕਰੋ।
  • ਇੱਕ MCP ਸਰਵਰ ਰਾਹੀਂ ਇੰਡੈਕਸ ਨੂੰ ਐਕਸਪੋਜ਼ ਕਰੋ।
  • Claude ਨੂੰ ਕਹੋ ਕਿ ਉਹ ਸਿਰਫ਼ ਪ੍ਰਾਪਤ ਕੀਤੇ ਗਏ ਚੰਕਸ (retrieved chunks) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹੀ ਜਵਾਬ ਦੇਵੇ।

ਆਰਕੀਟੈਕਚਰ ਤੁਹਾਡੀ ਰਫ਼ਤਾਰ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ। ਛੋਟੇ ਕੰਮਾਂ ਲਈ ਸਿੱਧੀ ਖੋਜ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਵੱਡੇ ਪੱਧਰ (scale) ਲਈ RAG ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਸਰੋਤ: https://dev.to/benjamin_wallace_c431f902/how-to-make-claude-code-faster-for-large-document-search-1d1i

ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi