ByteDance యొక్క iLLaDA: డిఫ్యూజన్ లాంగ్వేజ్ మోడల్స్‌లో ఒక విప్లవాత్మక మార్పు

ByteDance మరియు Renmin University పరిశోధకులు iLLaDAను పరిచయం చేయడంతో, ఆటోరెగ్రెసివ్ టెక్స్ట్ జనరేషన్ (autoregressive text generation) యుగం తన మొదటి తీవ్రమైన సవాలును ఎదుర్కోవచ్చు. ఈ కొత్త 8B పారామీటర్ మోడల్, డిఫ్యూజన్ ఆధారిత ఆర్కిటెక్చర్‌లు పరిశ్రమ ప్రమాణమైన ట్రాన్స్‌ఫార్మర్ మోడల్స్‌తో సమానంగా పోటీ పడగలవని నిరూపిస్తోంది.

ఆటోరెగ్రెసివ్ జనరేషన్‌కు మించి

GPT-4 మరియు Claude వంటి చాలా ఆధునిక LLMలు ఆటోరెగ్రెసివ్ జనరేషన్‌పై ఆధారపడతాయి. ఈ ప్రక్రియ టెక్స్ట్‌ను ఒక సమయంలో ఒక టోకెన్ చొప్పున, కేవలం ఎడమ నుండి కుడికి మాత్రమే అంచనా వేస్తుంది. దీనికి విరుద్ధంగా, iLLaDA అనేది Stable Diffusion వంటి AI ఇమేజ్ జనరేటర్లు పనిచేసే విధానాన్ని పోలి ఉండే డిఫ్యూజన్ విధానాన్ని ఉపయోగిస్తుంది.

వరుస క్రమ అంచనా (sequential prediction) కు బదులుగా, iLLaDA మాస్క్ చేయబడిన ప్లేస్‌హోల్డర్‌ల (masked placeholders) క్రమంతో ప్రారంభమై, బహుళ సమాంతర దశల ద్వారా వాటిని మెరుగుపరుస్తుంది. ఈ బైడైరెక్షనల్ (bidirectional) ప్రక్రియ వల్ల ఒక సీక్వెన్స్‌లోని ప్రతి స్థానం మిగిలిన అన్ని స్థానాలను ఒకేసారి గమనించగలదు, ఇది కాంటెక్స్ట్ మరియు రీజనింగ్‌ను నిర్వహించడానికి ప్రాథమికంగా భిన్నమైన మార్గాన్ని అందించే అవకాశం ఉంది.

iLLaDA vs. Qwen2.5: పనితీరు విశ్లేషణ

మొదటి నుండి నిర్మించిన డిఫ్యూజన్ మోడల్, ఇప్పటికే ఉన్న ఆటోరెగ్రెసివ్ మోడల్స్ యొక్క నాణ్యతకు సరిపోగలదా అని నిర్ణయించడమే iLLaDA ప్రాజెక్ట్ యొక్క ప్రధాన లక్ష్యం. దీని ఫలితాలు ఆశ్చర్యకరంగా ఉన్నాయి. భారీగా 12 ట్రిలియన్ టోకెన్లపై ప్రీట్రైన్ చేయబడిన iLLaDA-Base మోడల్ 63.9 సగటు బెంచ్‌మార్క్ స్కోర్‌ను సాధించింది, ఇది 63.3 స్కోరు సాధించిన ఆటోరెగ్రెసివ్ Qwen2.5 7B కంటే స్వల్పంగా ముందుంది.

మోడల్ కొన్ని నిర్దిష్ట రంగాలలో ప్రత్యేక బలాన్ని ప్రదర్శించింది:

  • Reasoning (BBH): iLLaDA 71.3 స్కోరు సాధించింది, ఇది Dream 7B డిఫ్యూజన్ మోడల్ కంటే గణనీయంగా మెరుగ్గా ఉంది.
  • Mathematics (GSM8K): iLLaDA 81.9 కి చేరుకుంది, ఇది Qwen2.5 7B సాధించిన 78.9 స్కోరును అధిగమించింది.
  • Science (ARC-C): Qwen2.5 యొక్క 51.5 తో పోలిస్తే, iLLaDA 60.8 సాధించింది.

iLLaDA-Base అత్యంత పోటీతత్వంతో ఉన్నప్పటికీ, ఇన్‌స్ట్రక్షన్-ట్యూన్డ్ (instruction-tuned) స్థాయిలో ఇంకా వ్యత్యాసం ఉంది. iLLaDA-Instruct 67.1 స్కోరు సాధించగా, Qwen2.5 7B Instruct 77.1 కి చేరుకుంది. Qwen సిరీస్‌లో ఉపయోగించిన తీవ్రమైన రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (reinforcement learning) మరియు అలైన్‌మెంట్ ప్రక్రియల వల్ల, అలాగే సంక్లిష్టమైన పనుల సమయంలో డిఫ్యూజన్ మోడల్స్ అప్పుడప్పుడు రీజనింగ్ లూప్‌లలోకి వెళ్లే అవకాశం ఉండటం వల్ల ఈ తేడా వస్తుందని పరిశోధకులు భావిస్తున్నారు.

మోడల్ ఆర్కిటెక్చర్‌కు ఒక కొత్త మార్గం

iLLaDA అనేది Google DeepMind యొక్క DiffusionGemma కంటే భిన్నమైన వ్యూహాత్మక దిశను సూచిస్తుంది. DiffusionGemma తక్కువ లాటెన్సీ వేగానికి ప్రాధాన్యత ఇవ్వడానికి 25-బిలియన్ పారామీటర్ల Mixture-of-Experts (MoE) బ్యాక్‌బోన్‌పై నిర్మించబడింది, అయితే iLLaDA ప్రాథమిక సామర్థ్యానికి (raw capability) ప్రాధాన్యత ఇవ్వడానికి మొదటి నుండి శిక్షణ పొందిన డెన్స్ 8B మోడల్.

ఇప్పటికే ఉన్న చెక్‌పాయింట్‌ను ఉపయోగించకుండానే, ఒక డిఫ్యూజన్ మోడల్ ఆటోరెగ్రెసివ్ మోడల్ యొక్క "బేస్" పనితీరును అందుకోగలదని నిరూపించడం ద్వారా, ByteDance కొత్త రకమైన నాన్-లీనియర్ లాంగ్వేజ్ మోడల్స్‌కు ద్వారాలు తెరిచింది. పరిశ్రమ మరింత సమర్థవంతమైన మరియు ప్రత్యేకమైన హార్డ్‌వేర్ వైపు వెళ్తున్న కొద్దీ, డిఫ్యూజన్ మోడల్స్ యొక్క బైడైరెక్షనల్ స్వభావం తదుపరి తరం AIకి అవసరమైన ఆర్కిటెక్చరల్ ఫ్లెక్సిబిలిటీని అందించగలదు.

ముఖ్య అంశాలు

  • Architecture Shift: GPT మరియు Qwen ఉపయోగించే ప్రామాణిక ఎడమ-నుండి-కుడి ఆటోరెగ్రెసివ్ పద్ధతికి బదులుగా, iLLaDA బైడైరెక్షనల్ డిఫ్యూజన్ ప్రక్రియను ఉపయోగిస్తుంది.
  • Competitive Benchmarks: బేస్ స్థాయిలో, iLLaDA 8B అనేది GSM8K మ్యాథమెటిక్స్ మరియు ARC-C సైన్స్ వంటి అనేక విభాగాలలో Qwen2.5 7B కంటే మెరుగైన పనితీరును కనబరుస్తుంది.
  • Instruction Gap: బేస్ సామర్థ్యాలు ఎక్కువగా ఉన్నప్పటికీ, తక్కువ అభివృద్ధి చెందిన రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ అలైన్‌మెంట్ కారణంగా ఇన్‌స్ట్రక్షన్-ఫాలోయింగ్ పనులలో iLLaDA ప్రస్తుతం ఆటోరెగ్రెసివ్ మోడల్స్ కంటే వెనుకబడి ఉంది.