IBM, Granite 4.2 లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLM) ఫ్యామిలీని విడుదల చేసింది. ఇందులో 3 బిలియన్, 8 బిలియన్ మరియు 30 బిలియన్ పారామీటర్ల వేరియంట్లు ఉన్నాయి. ఇవి 512k-టోకెన్ కాంటెక్స్ట్ విండో మరియు ఇన్-బిల్ట్ ఏజెంటిక్ టూల్ యూస్‌తో పాటు Apache 2.0 లైసెన్స్ కింద అందుబాటులో ఉన్నాయి. ఈ అడుగు డెవలపర్లకు అరుదైన ఓపెన్-వెయిట్, ఎంటర్‌ప్రైజ్-గ్రేడ్ AIని అందిస్తుంది, ఇది భారీ డాక్యుమెంట్లపై రీజనింగ్ చేయగలదు మరియు ప్రొప్రైటరీ APIలపై ఆధారపడకుండా స్వతంత్రంగా పనిచేయగలదు.

IBM యొక్క ఓపెన్-వెయిట్ ప్రయత్నం ఇప్పుడు ఎందుకు ముఖ్యం

ఈ అనుమతించే లైసెన్స్ వల్ల కంపెనీలు లైసెన్సింగ్ ఫీజులు లేకుండా మోడళ్లను ఆన్-ప్రిమిసెస్ (on-premises), ప్రైవేట్ క్లౌడ్‌లలో లేదా ఎడ్జ్ డివైజ్‌లలో ఉపయోగించుకోవచ్చు—డేటాను బాహ్య సేవలకు బహిర్గతం చేయలేని నియంత్రిత పరిశ్రమలకు (regulated industries) ఇది స్పష్టమైన ప్రయోజనం.

సాంకేతిక పురోగతి

  • స్కేల్ మరియు ట్రైనింగ్ డేటా – IBM ఈ మోడళ్లను సుమారు 15 ట్రిలియన్ టోకెన్లపై మొదటి నుండి శిక్షణ ఇచ్చింది, ఇది అతిపెద్ద కమర్షియల్ ఫౌండేషన్లకు సమానమైన డేటాసెట్ పరిమాణం.
  • కాంటెక్స్ట్ విండో – 512k-టోకెన్ విండో వల్ల ఒకేసారి పూర్తి కోడ్‌బేస్‌లు, సుదీర్ఘమైన పాలసీ డాక్యుమెంట్లు లేదా బహుళ అధ్యాయాల పుస్తకాలను కవర్ చేయవచ్చు, దీనివల్ల డేటాను ముక్కలుగా విభజించి (chunking) మళ్ళీ కలపాల్సిన అవసరం ఉండదు.
  • డ్యూయల్-మోడ్ కంప్యూట్ – “thinking” మోడ్ లోతైన రీజనింగ్ లేయర్లను ఉపయోగిస్తుంది, అయితే “non-thinking” మోడ్ తక్కువ GPU డిమాండ్‌తో సాధారణ లుక్-అప్‌లను నిర్వహిస్తుంది. ఈ టోగుల్ (toggle) ద్వారా వినియోగదారులు లాటెన్సీ మరియు ప్రతి రిక్వెస్ట్‌కు అయ్యే ఖర్చు మధ్య సమతుల్యతను సాధించవచ్చు.
  • ఏజెంటిక్ రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ – 8B మరియు 30B మోడళ్లు ప్రత్యేకమైన RL దశకు లోనయ్యాయి, ఇది బాహ్య టూల్స్‌ను పిలవడానికి, సాండ్‌బాక్స్‌డ్ కోడ్‌ను రన్ చేయడానికి మరియు వెబ్ సెర్చ్‌లు చేయడానికి వాటిని నేర్పిస్తుంది. ఈ మోడళ్లు OpenAI-స్టైల్ టూల్-కాలింగ్ ఎండ్‌పాయింట్‌లను అందిస్తాయి, కాబట్టి ఇప్పటికే ఉన్న ఆర్కెస్ట్రేషన్ పైప్‌లైన్‌లను మళ్ళీ రాయకుండానే తిరిగి ఉపయోగించుకోవచ్చు.
  • ఇన్ఫరెన్స్‌కు అనుకూలత – vLLM మరియు SGLang తో అనుకూలత వల్ల ఈ మోడళ్లు సాధారణ హార్డ్‌వేర్‌పై కూడా అధిక త్రూపుట్ (throughput) తో నడుస్తాయి, ఇది డజన్ల కొద్దీ ఏజెంట్లను ఒకేసారి నడపాలనుకునే ఎంటర్‌ప్రైజ్లకు ఒక ఆచరణాత్మక ప్రయోజనం.

స్పీచ్ సైడ్-ట్రాక్: Granite Speech 5.0 Turbo CTC

LLM లైన్‌తో పాటు, IBM Granite Speech 5.0 Turbo CTC అని పిలువబడే 470 మిలియన్ పారామీటర్ల స్పీచ్-టు-టెక్స్ట్ మోడల్‌ను విడుదల చేసింది. మునుపటి ఓపెన్ ASR లీడర్‌బోర్డ్ రికార్డుల కంటే రెట్టింపు వేగంతో, ఇది మూడు గంటల ఆడియోను ఒక సెకనులో ట్రాన్స్‌క్రిబ్ చేయగలదని IBM చెబుతోంది. దీని తక్కువ ఫుట్‌ప్రింట్ మరియు అద్భుతమైన త్రూపుట్ వల్ల ఇది రియల్-టైమ్ క్యాప్షనింగ్, కాల్-సెంటర్ అనలిటిక్స్ మరియు భారీ స్థాయి ఆడియో ఇంజెషన్ పైప్‌లైన్‌లకు అనువైనదిగా మారుతుంది.

AI ఎకోసిస్టమ్ కోసం ప్రాముఖ్యత

ఎవరు గెలుస్తారు:

  • ఎంటర్‌ప్రైజెస్: ఖరీదైన API వినియోగానికి బదులుగా తక్కువ ఖర్చుతో కూడిన, సెల్ఫ్-హోస్టెడ్ ప్రత్యామ్నాయాన్ని పొందుతాయి.
  • డెవలపర్లు: కమర్షియల్ లైసెన్స్‌ల కోసం చర్చలు జరపకుండానే కస్టమైజ్ చేసుకోగలిగే రెడీ-మేడ్ ఏజెంటిక్ స్టాక్‌ను పొందుతారు.
  • IBM: తన పరిశోధనా సామర్థ్యాలను ప్రదర్శించే ఫ్లాగ్‌షిప్ ఓపెన్-సోర్స్ ఆఫరింగ్‌ను అందించడం ద్వారా AI రేసులో తన ప్రాముఖ్యతను చాటుకుంటుంది.

ఎవరికి ముప్పు ఉంది:

  • ప్రొప్రైటరీ మోడళ్ల ద్వారా కస్టమర్లను బంధించి ఉంచే క్లోజ్డ్-సోర్స్ ప్రొవైడర్లు, కస్టమర్లు లోకల్‌గా హోస్ట్ చేయబడిన Granite ఏజెంట్లకు మారితే ఎంటర్‌ప్రైజ్ ఖర్చులలో తగ్గుదల చూడవచ్చు.
  • చిన్న ఓపెన్-సోర్స్ ప్రాజెక్టులు వెనకబడిపోయే అవకాశం ఉంది; Granite యొక్క స్కేల్ మరియు టూలింగ్ సపోర్ట్ కమ్యూనిటీ ఆధారిత ప్రయత్కాలకు ఒక సవాలుగా నిలుస్తుంది.

ఖర్చులు మరియు లాభనష్టాలు: అర్ధ మిలియన్ టోకెన్ కాంటెక్స్ట్‌తో 30B మోడల్‌ను నడపడానికి ఇప్పటికీ హై-ఎండ్ GPUలు లేదా క్లస్టర్‌లు అవసరం; API ఫీజుల నుండి పొందే ఆదా మరియు హార్డ్‌వేర్ పెట్టుబడి మధ్య సంస్థలు సమతుల్యతను చూసుకోవాలి.

ముగింపు

Granite 4.2 నిజమైన ఎంటర్‌ప్రైజ్-గ్రేడ్, ఓపెన్-వెయిట్ AIని భారీ కాంటెక్స్ట్ విండోలతో మరియు ఇన్‌బిల్ట్ టూల్ యూస్‌తో ప్రజల ముందుకు తెస్తోంది. దీని Apache 2.0 లైసెన్స్ చట్టపరమైన ఇబ్బందులను తొలగిస్తుంది, కానీ హార్డ్‌వేర్ మరియు భద్రతా సవాళ్ల కారణంగా, ఈ మోడల్ మొదట కంప్యూటింగ్ సామర్థ్యం ఉన్న మరియు బలమైన సాండ్‌బాక్సింగ్‌లో పెట్టుబడి పెట్టగల సంపన్న సంస్థలలో స్థిరపడవచ్చు. ఒకవేళ కమ్యూనిటీ దీనికి మద్దతు ఇస్తే, Granite తదుపరి తరం స్వయంప్రతిపత్తి కలిగిన ఏజెంట్ల (autonomous agents) వెన్నెముకగా మారవచ్చు, ఇది విస్తృతమైన AI మార్కెట్‌ను స్కేల్ లేదా సామర్థ్యంతో రాజీ పడని ఓపెన్-సోర్స్ ప్రత్యామ్నాయాలను ఎదుర్కోవాలని ఒత్తిడి చేస్తుంది.