GPT فراتر از آنچه فکر میکنید عمل میکند
مدلهای GPT در حال تغییر دادن نحوه کار ما با متن هستند.
این سفر با GPT-1 آغاز شد. این مدل نشان داد که ماشینها قادر به نوشتن جملات منسجم هستند. سپس GPT-2 آمد و پتانسیل بالای این مدلها را نشان داد. بعد از آن GPT-3 از راه رسید. با ۱۷۵ میلیارد پارامتر، ثابت کرد که مدلها میتوانند کاری فراتر از فقط تکمیل کردن یک جمله انجام دهند.
راز اصلی در معماری Transformer نهفته است. این معماری الگوها را از حجم عظیمی از دادهها یاد میگیرد. نیازی نیست هر قانون را برنامهنویسی کنید؛ میتوانید آن را برای وظایف خاص تنظیم دقیق (fine-tune) کنید یا از زبان طبیعی برای هدایت آن استفاده کنید.
اما اجرای این مدلها در محیط عملیاتی (production) دشوار است.
تأخیر (latency) بالا میتواند تجربه کاربری را خراب کند. ما مدلهای بزرگی را روی ۶۴ پردازنده گرافیکی Nvidia H100 اجرا کردیم. میزان تأخیر ۱۲۰ میلیثانیه بود که برای نیازهای ما بسیار کند بود. ما با استفاده از LoRA به سراغ یک مدل کوچکتر با ۶ میلیارد پارامتر رفتیم. این کار تأخیر را به ۳۸ میلیثانیه کاهش داد و همچنین ماهانه ۳۰,۰۰۰ دلار برای ما صرفهجویی کرد. اگرچه مقداری از دقت کدنویسی را از دست دادیم، اما سرعت و کاهش هزینه، این کار را ارزشمند کرد.
همچنین باید مراقب سوگیریها (biases) باشید. GPT الگوها را از اینترنت یاد میگیرد؛ این یعنی میتواند کلیشهها یا خطاهای واقعی را تکرار کند. این مدل حتی زمانی که اشتباه میکند، با اعتمادبهنفس صحبت میکند.
ما یک خط لوله داده (data pipeline) برای شناسایی این خطاها ساختیم. از یک موتور قانونگذاری (rule engine) برای علامتگذاری زبانهای سوگیرانه استفاده کردیم. در ابتدا، ۴٪ از علامتگذاریهای ما اشتباه بود. ما این مشکل را با افزودن یک مدل اعتبارسنجی کوچک حل کردیم که خطاها را به زیر ۱٪ رساند.
هزینه و انرژی نیز از موانع بزرگ هستند.
آموزش مدلهای بزرگ میلیونها دلار هزینه دارد. ما از کوانتیزاسیون (quantization) برای کاهش هزینهها استفاده میکنیم. با استفاده از کوانتیزاسیون ۴-بیتی، هزینه هر توکن را از ۰.۰۰۰۱۵ دلار به ۰.۰۰۰۰۴ دلار کاهش دادیم. برای یک محصول SaaS بزرگ، این کار سالانه ۳ میلیون دلار صرفهجویی میکند.
آینده به سمت کارایی حرکت میکند. توسعهدهندگان به جای بزرگتر کردن مدلها، در حال هوشمندتر و کوچکتر کردن آنها هستند. ما به مدلهایی نیاز داریم که سریع، ارزان و در مورد آنچه نمیدانند، صادق باشند.
از این ابزارها هوشمندانه استفاده کنید. محدودیتهای آنها را درک کنید. برای مفید نگه داشتن آنها، نردههای حفاظتی (guardrails) بسازید.
Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll
Optional learning community: https://t.me/GyaanSetuAi