నా స్టార్టప్ను కాపాడిన AI API స్టాక్
ఆరు నెలల క్రితం, ఒక LLM ప్రొవైడర్ నుండి నాకు నెలకు $50,000 బిల్లు వచ్చింది. నా స్టార్టప్ ఇబ్బందుల్లో పడింది. మేము ఒకే వెండర్పై అతిగా ఆధారపడి ఉన్నాము.
AI ఇన్ఫ్రాస్ట్రక్చర్ను నిజమైన ఇన్ఫ్రాస్ట్రక్చర్లా చూడాలని నేను గ్రహించాను. AIని ఒక బొమ్మలా చూడటం మానేసి, దానిని ఒక ప్రధాన వ్యాపార ఖర్చుగా పరిగణించడం ప్రారంభించాను.
చాలా AI గైడ్లు స్కేల్ను (scale) విస్మరిస్తాయి. అవి మీకు డెమోలను చూపిస్తాయి కానీ అసలు బిల్లులను పట్టించుకోవు. నేను రెండు సంవత్సరాలుగా AI ఫీచర్లను నడుపుతున్నాను. వందల వేల మంది వినియోగదారులకు స్కేల్ చేసినప్పుడు ఏం జరుగుతుందో నేను చూశాను.
మీరు మొదటి రోజే తప్పుడు ప్రొవైడర్ను ఎంచుకుంటే, వైరల్ లాంచ్ (viral launch) సమయంలో మీరు మనుగడ సాగించలేకపోవచ్చు.
లక్ష్యం సరళమైనది. మీకు మూడు విషయాలు అవసరం:
- ప్రతి టోకెన్కు ఊహించదగిన ఖర్చులు.
- మోడల్లను తక్షణమే మార్చుకునే సామర్థ్యం.
- గడువు ముగిసిపోని క్రెడిట్ సిస్టమ్స్.
నేను ప్రారంభంలో ఒక తప్పు చేశాను. నేను నేరుగా బహుళ ప్రొవైడర్లతో ఇంటిగ్రేట్ అయ్యాను. ప్రతి ఒక్కటి వేర్వేరు SDK మరియు వేర్వేరు auth ఫ్లోలను కలిగి ఉన్నాయి. నేను కొత్త మోడల్ను పరీక్షించాలనుకుంటే, మళ్ళీ సైన్ అప్ అవ్వాల్సి వచ్చేది. నేను మారాలనుకుంటే, నా కోడ్ను మళ్ళీ రాయాల్సి వచ్చేది.
ఇప్పుడు, నేను ఒక యూనిఫైడ్ గేట్వేని (unified gateway) ఉపయోగిస్తున్నాను. ఇది అన్నింటినీ మార్చేస్తుంది.
వ్యూహాల పోలిక:
Direct Integration vs. Unified Gateway
- ప్రొవైడర్ మార్పు: కోడ్ను మళ్ళీ రాయడం vs. ఒక స్ట్రింగ్ను మార్చడం
- పేమెంట్: ప్రాంతీయ ఇబ్బందులు vs. స్టాండర్డ్ కార్డ్లు
- టెస్టింగ్: పూర్తి ఆన్బోర్డింగ్ vs. ఒక కీ ద్వారా యాక్సెస్
- అప్టైమ్: సింగిల్ పాయింట్ ఆఫ్ ఫెయిల్యూర్ vs. ఆటోమేటిక్ ఫెయిల్ఓవర్
యూనిఫైడ్ గేట్వే అవసరాన్ని బట్టి పనులను రూట్ (route) చేయడానికి అనుమతిస్తుంది. ప్రతిదానికీ మీకు GPT-4o అవసరం లేదు.
నా ప్రస్తుత రూటింగ్ లాజిక్:
- Summarization మరియు extraction: అత్యంత తక్కువ ధర ఉన్న మోడల్ను ఉపయోగించండి.
- Simple chat: మిడ్-టియర్ మోడల్ను ఉపయోగించండి.
- Complex reasoning: ప్రీమియం మోడల్ను ఉపయోగించండి.
మా ట్రాఫిక్లో ఎక్కువ భాగం అత్యంత తక్కువ ధర ఉన్న టియర్లో నడుస్తుంది. ఇది నాణ్యతను కాపాడుతూనే మా ఖర్చులను తక్కువగా ఉంచుతుంది. మేము మా పనులలో కేవలం 5% కోసం మాత్రమే ప్రీమియం మోడల్లను కేటాయిస్తాము.
మా వృద్ధి దశలో, ఈ రూటింగ్ మా వార్షిక రన్వేలో (annual runway) సుమారు $500,000 ఆదా చేస్తుంది. ఇది కేవలం ఒక టూల్ ఎంపిక మాత్రమే కాదు. ఇది మనుగడ కోసం తీసుకున్న నిర్ణయం.
ఎంటర్ప్రైజ్ ఫీచర్లను చాలా త్వరగా కొనడం ఆపండి. మీకు ఇంకా ఎంటర్ప్రైజ్ కస్టమర్లు లేకపోతే, SLAలు లేదా డెడికేటెడ్ కెపాసిటీ కోసం డబ్బు చెల్లించకండి. ఆ నగదును ఆదా చేయండి. మొదట ఫ్లెక్సిబిలిటీ (flexibility) కోసం నిర్మించండి.
మీరు స్కేల్ చేసినప్పుడు కూడా, గేట్వే ప్యాటర్న్ పని చేస్తుంది. మీరు కేవలం మీ API కీ మరియు మీ కమర్షియల్ టర్మ్స్ను మార్చుకుంటే సరిపోతుంది. మీ కోడ్ అలాగే ఉంటుంది.
మొదటి రోజే మీ రూటర్ను నిర్మించండి. మీ బేస్ URLను స్టాండర్డ్ చేయండి. మోడల్ పేర్లను మీ కోడ్లో కాకుండా, మీ కాన్ఫిగరేషన్లో భాగంగా ఉంచండి.
Source: https://dev.to/truelane/the-ai-api-stack-that-saved-my-startup-from-vendor-lock-in-50l6
Optional learning community: https://t.me/GyaanSetuAi