AWS Bedrock కీలు ఇప్పుడు ఒక అంతర్గత LLM గేట్వే ద్వారా రక్షించబడుతున్నాయి, ఇది ఒక ఫిన్టెక్ సంస్థలోని ప్రతి బృందానికి మోడల్లను కాల్ చేసే సౌకర్యాన్ని కల్పిస్తుంది, అయితే ప్రతి రిక్వెస్ట్ ఒక నిర్దిష్ట బృందానికి కేటాయించిన టోకెన్ బడ్జెట్కు అనుసంధానించబడి ఉంటుంది. ఈ మార్పు వల్ల రిపోజిటరీలు మరియు నోట్బుక్లలో IAM క్రెడెన్షియల్స్ను చెల్లాచెదురుగా ఉంచే పద్ధతి ఆగిపోయింది, ఈ అలవాటు ఇప్పటికే ఒకే మధ్యాహ్నంలో కంపెనీ యొక్క AI ఖర్చును ఖాళీ చేసే ప్రమాదంలో పడేసింది.
AWS కీలను పంపిణీ చేయడం ఎందుకు త్వరగా గందరగోళంగా మారుతుంది
సంస్థలోని సాంకేతికత లేని బృందాలు కంపెనీ యొక్క లాంగ్వేజ్ మోడల్లకు నేరుగా యాక్సెస్ కావాలని కోరారు. కాగితం మీద చూస్తే, AWSలో మోడల్లను ఎనేబుల్ చేసి, ప్రతి బృందానికి ఒక IAM పర్మిషన్ను ఇవ్వడమే అత్యంత సులభమైన సమాధానం. పది నిమిషాల పని, కొన్ని పాలసీ ఎడిట్లు, మరియు పని పూర్తయింది—కనీసం సిద్ధాంతపరంగా అయితే.
ఆచరణలో, IAM క్రెడెన్షియల్స్ను ఇవ్వడం వల్ల మూడు దాగి ఉన్న ఖర్చులు ఏర్పడతాయి:
- Credential sprawl – కీలు
.envఫైల్లు, CI పైప్లైన్లు, Jupyter నోట్బుక్లు మరియు ad-hoc స్క్రిప్ట్లలో ఉండిపోతాయి. రోటేషన్ అవసరమైనప్పుడు ప్రతి కాపీ ఒక వైఫల్యానికి (point of failure) కారణమవుతుంది. - Zero visibility – ఒకే షేర్డ్ కీని ఉపయోగించడం వల్ల ఏ బృందం లేదా ఏ కోడ్ వాడకాన్ని (usage) సృష్టిస్తుందో తెలియదు. ఒక నియంత్రణ లేని లూప్ (runaway loop) మొదలైనప్పుడు, ఎవరూ గమనించేలోపే మొత్తం బడ్జెట్ ఖర్చయిపోవచ్చు.
- Operational overhead – ఎవరికి ఏ పర్మిషన్ ఉందో ట్రాక్ చేయడం, యాక్సెస్ను రద్దు చేయడం మరియు వాడకాన్ని ఆడిట్ చేయడం త్వరగా మాన్యువల్ మరియు తప్పులకు అవకాశం ఉన్న ప్రక్రియగా మారుతుంది.
ఈ “క్విక్ ఫిక్స్” త్వరలోనే భద్రత మరియు ఖర్చు పరంగా ఒక పీడకలగా మారుతుందని ఫిన్టెక్ బృందం గ్రహించింది.
దానికి బదులుగా ఒక రివర్స్-ప్రోక్సీ గేట్వేని నిర్మించడం
ప్రతి అంతర్గత అప్లికేషన్ మరియు AWS Bedrock మధ్య ఒక తేలికపాటి (thin) రివర్స్ ప్రోక్సీని ఉంచడమే పరిష్కారం. ఈ ప్రోక్సీ అసలైన AWS క్రెడెన్షియల్స్ను ఒక వాల్ట్-సెక్యూర్డ్ (vault-secured) ప్రదేశంలో ఉంచుతుంది మరియు కాల్ చేసేవారికి స్వల్పకాలిక, మానవ చదవగలిగే టోకెన్లను (ఉదాహరణకు, lllkey_9f3c) జారీ చేస్తుంది.
ముఖ్యమైన డిజైన్ అంశాలు:
- No AWS credentials leave the gateway – డెవలపర్లు మరియు సర్వీస్లు అసలైన IAM కీలను ఎప్పుడూ చూడరు.
- Per-token policy enforcement – ప్రతి టోకెన్ను ఒక నిర్దిష్ట మోడల్ ఫ్యామిలీకి లేదా గరిష్ట టోకెన్ కౌంట్కు పరిమితం చేయవచ్చు.
- Full audit trail – ప్రతి రిక్వెస్ట్ పేరుతో లాగ్ చేయబడుతుంది.
గేట్వే ఒక రిక్వెస్ట్ను ఎలా ప్రాసెస్ చేస్తుంది
- Receive token – క్లయింట్ తన
llmkey_…టోకెన్ను HTTP హెడర్లో చేరుస్తుంది. - Validate token – గేట్వే టోకెన్ స్థితిని (యాక్టివ్, గడువు ముగియలేదు) మరియు రిక్వెస్ట్ కేటాయించిన బడ్జెట్ లోపల ఉందో లేదో తనిఖీ చేస్తుంది.
- Model whitelist – కోరిన మోడల్ ఆ టోకెన్కు అనుమతించబడిందో లేదో నిర్ధారిస్తుంది.
- Forward to Bedrock – నిల్వ చేయబడిన IAM క్రెడెన్షియల్స్ను ఉపయోగించి రిక్వెస్ట్ను AWSకి పంపుతుంది.
- Log and bill – రిపోర్టింగ్ కోసం టోకెన్ వాడకం, మోడల్ పేరు మరియు ఖర్చు అంచనాను ఒక సెంట్రల్ డేటాబేస్లో రాస్తారు.
ఫిన్టెక్ సంస్థ తన డేటా మొత్తాన్ని తన సొంత నెట్వర్క్ లోపలే ఉంచాల్సి ఉండటం వల్ల, థర్డ్-పార్టీ SaaS ఆఫరింగ్ను పరిగణనలోకి తీసుకోలేదు.
కంపెనీకి కలిగిన ప్రయోజనాలు
- Model control – తక్కువ ఖర్చుతో కూడిన మోడల్ మాత్రమే కావాలనుకునే బృందాలను దానికి మాత్రమే పరిమితం చేయవచ్చు, తద్వారా ఖరీదైన, అధిక సామర్థ్యం గల వెర్షన్లను పొరపాటున ఉపయోగించకుండా నిరోధించవచ్చు.
- Budget protection – టోకెన్లకు కఠినమైన టోకెన్ పరిమితి ఉంటుంది. పరిమితికి చేరుకున్నప్పుడు, గేట్వే మరిన్ని క్రెడిట్లను నిశ్శబ్దంగా వినియోగించుకోవడానికి బదులుగా ఎర్రర్ను తిరిగి పంపుతుంది.
- Attribution for finance – వాడకపు లాగ్ల (usage logs) ఆధారంగా రూపొందించబడిన డ్యాష్బోర్డ్, ఏ బృందం లేదా సర్వీస్ AI కోసం ఎంత ఖర్చు చేసిందో ఖచ్చితంగా చూపుతుంది, తద్వారా అస్పష్టమైన స్ప్రెడ్షీట్ను పారదర్శకమైన రిపోర్ట్గా మారుస్తుంది.
ఆపరేషనల్ వర్క్ఫ్లో కూడా మారింది. కొత్త IAM పాలసీలు అవసరం లేదు, సీక్రెట్ రోటేషన్ అవసరం లేదు మరియు కీలు వెర్షన్ కంట్రోల్లోకి లీక్ అయ్యే ప్రమాదం లేదు.
ప్రతివాదన: మేనేజ్డ్ సర్వీస్ను ఎందుకు ఉపయోగించకూడదు
కస్టమ్ గేట్వేని నిర్మించడం వల్ల ఇంజనీరింగ్ శ్రమ మరియు నిర్వహణ (maintenance) పెరుగుతుందని ఒక సాధారణ అభ్యంతరం ఉంది. ఈ ఫిన్టెక్ సంస్థ విషయంలో, మొత్తం AI ట్రాఫిక్ మరియు వాడకపు డేటాను కార్పొరేట్ ఫైర్వాల్ వెనుక ఉంచాల్సిన అవసరం, థర్డ్-పార్టీ సొల్యూషన్ యొక్క సౌలభ్యం కంటే ఎక్కువగా ఉంది. అంతర్గత ప్రోక్సీ అభివృద్ధికి ఒక వారాంతం (weekend) పట్టింది, కానీ ఇది సాధారణ కీ-పంపిణీ పద్ధతి వల్ల వచ్చే నెలల కొద్దీ క్రెడెన్షియల్ క్లీనప్ మరియు బడ్జెట్ అతిక్రమణలను నివారించింది.
ముగింపు (Takeaway)
AWS Bedrock కీలను పంపిణీ చేయడం అనేది త్వరగా భద్రత మరియు బడ్జెట్ పరంగా పీడకలగా మారే ఒక షార్ట్కట్. ఒక వారాంతంలో నిర్మించిన సాధారణ రివర్స్-ప్రోక్సీ గేట్వే—క్రెడెన్షియల్స్ను కేంద్రీకరిస్తుంది, ప్రతి బృందానికి పరిమితులను అమలు చేస్తుంది మరియు ఫైనాన్స్ విభాగం కోరుకునే ఆడిట్ ట్రైల్ను అందిస్తుంది. నియంత్రణను కోల్పోకుండా బహుళ బృందాలు LLMలతో ప్రయోగాలు చేయాలనుకునే ఏ సంస్థకైనా, ఈ గేట్వే విధానం ప్రమాదాలను నివారించడం మరియు ఖర్చుపై స్పష్టమైన అవగాహన ద్వారా తన విలువను నిరూపించుకుంటుంది.