LLM அழைப்புகளின் போது ஏன் DB இணைப்புகளைத் தக்கவைக்கக்கூடாது
AI latency என்பது மாடல் சிந்திப்பதற்கு எடுத்துக்கொள்ளும் நேரம் மட்டுமல்ல. நீங்கள் தரவுத்தள இணைப்புகளை (database connections) எவ்வாறு நிர்வகிக்கிறீர்கள் என்பதும் இதில் அடங்கும்.
ஒரு LLM அல்லது embedding API-க்காகக் காத்திருக்கும்போது DB இணைப்பைத் தக்கவைப்பது உங்கள் connection pool-ஐத் தீர்த்துவிடக்கூடும். மெதுவான வெளிப்புற அழைப்புகள் (external calls), session-களைத் தேவையை விட நீண்ட நேரம் திறந்து வைத்திருக்கும்.
அவர்களின் தீர்வைப் பார்க்க நான் Honcho repo-வை ஆராய்ந்தேன். அவர்கள் ஒரு நீண்ட கால session-க்கு பதிலாக, குறுகிய கால மற்றும் குறிப்பிட்ட பணிகளுக்கான (task-specific) session-களைப் பயன்படுத்தத் தொடங்கியுள்ளனர்.
பழைய முறை (Old Pattern)
- DB session-ஐத் திறக்கவும்
- பயனர் அமைப்புகளைப் படிக்கவும்
- LLM-ஐ அழைக்கவும் (மெதுவானது)
- Embedding API-ஐ அழைக்கவும் (மெதுவானது)
- முடிவுகளைச் சேமிக்கவும்
- DB session-ஐ மூடவும்
புதிய முறை (New Pattern)
- pre-flight checks-க்காக DB session-ஐத் திறக்கவும்
- தேவையான மதிப்புகளை variables-களுக்குள் எடுக்கவும்
- DB session-ஐ மூடவும்
- LLM மற்றும் Embedding API-களை அழைக்கவும் (DB இணைப்பு Held செய்யப்படாது)
- முடிவுகளைச் சேமிக்க ஒரு புதிய, குறுகிய DB session-ஐத் திறக்கவும்
- DB session-ஐ மூடவும்
இதன் நோக்கம் தரவுத்தளத்தை கைவிடுவது அல்ல; மாறாக, transaction consistency-யை நெட்வொர்க் காத்திருப்பு நேரத்திலிருந்து தனித்துப் பிரிப்பதே ஆகும்.
உங்கள் இணைப்புகளை நிர்வகிக்க ஐந்து படிகள்
- உங்கள் consistency எல்லைகளை வரையறுக்கவும்.
- எந்தவொரு வெளிப்புற API அழைப்பிற்கும் முன்னதாகவே தேவையான அனைத்து மதிப்புகளையும் variables-களுக்குள் கொண்டு வரவும்.
- database scope-ஐ மூடவும்.
- மெதுவான வெளிப்புறப் பணிகளைச் செய்யவும்.
- இறுதி முடிவுகளைச் சேமிக்க ஒரு புதிய, குறுகிய write scope-ஐத் திறக்கவும்.
குறிப்பு: நீங்கள் pgvector பயன்படுத்தினால், தேடல் தரவுத்தளத்திற்குள்ளேயே நடக்கும், எனவே அந்தச் செயல்பாட்டின் போது session-ஐத் திறந்து வைத்திருக்க வேண்டும்.
Session கால அளவைக் குறைப்பது scaling-ஐ மேம்படுத்தும், ஆனால் உங்கள் ORM-இல் detached-object பிழைகளைக் கவனிக்கவும் மற்றும் transaction snapshots முழுவதும் தரவு சீராக இருப்பதை உறுதி செய்யவும்.
Source: https://dev.to/junhyun-dev/neurin-llm-hocul-jung-db-connectioneul-jabji-anhneun-iyu-3abg
Optional learning community: https://t.me/GyaanSetuAi