۶ دقیقه مطالعه
مدل زبانی بزرگ چیست و چه محدودیت‌هایی دارد؟
مروری بر توکن‌ها، آموزش و تولید پاسخ در مدل‌های زبانی و علت اهمیت ارزیابی پاسخ‌هایی که ممکن است با اطمینان بیان شوند، اما نادرست باشند.
ChatGPT، Claude، Gemini و بیشتر دستیارهای هوش مصنوعی‌ای که هر روز از آن‌ها استفاده می‌کنیم، بر پایه یک نوع سیستم ساخته شده‌اند: مدل زبانی بزرگ یا به انگلیسی LLM. شناخت نحوه کار این مدل‌ها به درک بهتر توانایی‌ها و محدودیت‌های آن‌ها کمک می‌کند. در این مقاله به زبان ساده توضیح می‌دهیم این مدل‌ها چه می‌کنند، چگونه به دستیار تبدیل می‌شوند و چه محدودیت‌هایی دارند که هنگام توسعه یک محصول اهمیت پیدا می‌کنند.
توکن‌ها: واحدهای پردازش متن
مدل زبانی هرگز حرف یا کلمه را مستقیماً نمی‌بیند. پیش از هر چیز، متن به توکن تبدیل می‌شود: بخش‌های کوتاهی که گاهی یک کلمه رایج کامل، گاهی بخشی از یک کلمه بلندتر، گاهی یک فاصله همراه با یک کلمه و گاهی یک علامت نگارشی هستند. هر توکن یک شماره دارد و مدل تنها با همین شماره‌ها کار می‌کند.
نحوه تقسیم متن یک بار و پیش از آموزش، به‌وسیله یک توکنایزر تعیین می‌شود که بر اساس نمونه بزرگی از متن ساخته شده است. بخش‌هایی که در آن نمونه زیاد تکرار شده‌اند به یک توکن تبدیل می‌شوند و بخش‌های کم‌تکرار با چند توکن نوشته می‌شوند. این موضوع برای زبان‌هایی که سهم کمتری از آن نمونه داشته‌اند، مانند فارسی، نتیجه‌ای عملی دارد: یک جمله فارسی اغلب توکن بیشتری از همان جمله به انگلیسی مصرف می‌کند. قیمت و محدودیت مدل‌ها بر اساس توکن تعیین می‌شود؛ بنابراین بهتر است این مقدار را با متن خودتان اندازه بگیرید و آن را فرض نکنید.
پیش‌بینی توکن بعدی
مدل زبانی بزرگ در اصل تنها یک کار انجام می‌دهد: رشته‌ای از توکن‌ها را دریافت می‌کند و برای هر توکنی که ممکن است پس از آن بیاید، یک احتمال تعیین می‌کند. برای نوشتن پاسخ، نرم‌افزاری که مدل را اجرا می‌کند یکی از توکن‌های محتمل را انتخاب می‌کند، آن را به رشته می‌افزاید و دوباره از مدل می‌پرسد، یکی پس از دیگری، تا به نقطه پایان برسد.
نحوه انتخاب توکن بعدی اهمیت دارد. اگر همیشه محتمل‌ترین توکن انتخاب شود، متن مطمئن اما تکراری می‌شود. اگر میان توکن‌های محتمل انتخاب تصادفی انجام شود، که معمولاً با تنظیمی به نام دما (temperature) کنترل می‌شود، متن متنوع‌تر می‌شود. دمای پایین برای استخراج اطلاعات و دسته‌بندی مناسب است و دمای بالاتر برای نوشتن پیش‌نویس و ایده‌پردازی.
منشأ دانش مدل
این احتمال‌ها از آموزش به دست می‌آیند. مدل در آغاز شبکه بزرگی از اعداد است (که پارامتر یا وزن نامیده می‌شوند و امروز تعداد آن‌ها به میلیاردها می‌رسد) و این اعداد به‌صورت تصادفی تنظیم شده‌اند. سپس حجم بسیار زیادی متن به مدل نشان داده می‌شود و در هر نقطه از متن از آن خواسته می‌شود توکن بعدی را پیش‌بینی کند. هر پیش‌بینی نادرست، وزن‌ها را برای بهبود پیش‌بینی تنظیم می‌کند. با تکرار این فرایند روی حجم عظیمی از متن، مدل دستور زبان، اطلاعات، سبک‌های نگارش و تا حدی دنبال کردن یک استدلال را یاد می‌گیرد و همه این‌ها به‌طور غیرمستقیم در وزن‌ها ذخیره می‌شوند.
تقریباً همه مدل‌های زبانی امروزی از معماری ترنسفورمر استفاده می‌کنند که پژوهشگران گوگل در سال ۲۰۱۷ در مقاله Attention Is All You Need معرفی کردند. ایده اصلی آن، یعنی توجه (attention)، به هر توکن اجازه می‌دهد هنگام پیش‌بینی توکن بعدی همه توکن‌های پیشین را بسنجد. به همین دلیل مدل می‌تواند تشخیص دهد که «آن» در یک جمله به چیزی اشاره دارد که سه جمله قبل بیان شده است.
از پیش‌بینی متن تا دستیار
مدلی که فقط ادامه دادن متن را آموخته، هنوز دستیار نیست: اگر از آن سؤالی بپرسید، ممکن است با چند سؤال دیگر ادامه دهد. دستیارها در مراحل بعدی آموزش ساخته می‌شوند:
- آموزش با دستورالعمل، که نوعی فاین‌تیون است: آموزش روی تعداد زیادی نمونه از درخواست و پاسخ مناسب، تا مدل به‌جای ادامه دادن متن، پاسخ دادن را بیاموزد.
- یادگیری از ترجیح‌ها: انسان‌ها (و امروزه بیش از گذشته، مدل‌های دیگر) پاسخ‌ها را دوبه‌دو مقایسه می‌کنند و مدل در جهت پاسخ‌های بهتر آموزش می‌بیند. شناخته‌شده‌ترین روش آن، یادگیری تقویتی با بازخورد انسانی (RLHF) است.
این مراحل لحن، قالب پاسخ و کارهایی را که مدل از انجام آن‌ها خودداری می‌کند شکل می‌دهند، اما دانش زیادی اضافه نمی‌کنند. دانش مدل از همان مرحله نخست به دست می‌آید.
پنجره زمینه
هر آنچه مدل هنگام پاسخ دادن در نظر می‌گیرد باید در پنجره زمینه (context window) جای بگیرد: دستورالعمل‌ها، مکالمه تا آن لحظه، هر سندی که در اختیار مدل قرار می‌دهید و پاسخی که در حال نوشتن آن است، همگی بر حسب توکن شمرده می‌شوند. پنجره زمینه مدل‌ها بسیار بزرگ‌تر از گذشته شده، اما همچنان محدود است و مدل‌ها معمولاً از اطلاعات یک متن بسیار طولانی با اطمینان کمتری نسبت به یک متن کوتاه استفاده می‌کنند. ارائه چند بخش مرتبط، معمولاً نتیجه بهتری از ارائه تمام اطلاعات بدون گزینش دارد.
محدودیت‌های مدل زبانی
- پایگاه داده نیست. مدل اطلاعات را از جایی جست‌وجو نمی‌کند، بلکه متن محتمل تولید می‌کند. وقتی متن محتمل نادرست باشد، آن را با همان روانی پاسخ درست بیان می‌کند. به این پدیده توهم (hallucination) گفته می‌شود و دلیل اصلی این است که نباید به پاسخی که قابل بررسی نیست اعتماد کرد.
- از رویدادهای پس از آموزش خود اطلاعی ندارد. دانش مدل تا تاریخ مشخصی است، مگر اینکه اطلاعات جدید در متن ورودی به آن داده شود.
- از مکالمه شما یاد نمی‌گیرد. مدل در یک گفت‌وگو می‌تواند از آنچه پیش‌تر گفته‌اید استفاده کند، زیرا آن متن در پنجره زمینه آن قرار دارد. وزن‌های مدل تغییر نمی‌کنند و با پایان مکالمه، آنچه «آموخته» نیز از میان می‌رود.
راه معمول برای دو محدودیت نخست، ارائه اطلاعات به مدل در زمان پاسخ‌گویی است؛ از اسناد خودتان یا از طریق جست‌وجو. این روش RAG نام دارد.
توسعه محصول با مدل زبانی
هنگام استفاده از مدل زبانی در یک محصول، چند پرسش بیشترِ طراحی را مشخص می‌کنند:
- چه اندازه‌ای؟ مدل‌های بزرگ‌تر معمولاً در استدلال و پیروی از دستورالعمل‌های پیچیده بهترند. مدل‌های کوچک‌تر سریع‌تر و کم‌هزینه‌ترند و می‌توان آن‌ها را روی سخت‌افزار خودتان یا حتی روی خود دستگاه اجرا کرد (در مقاله اجرای هوش مصنوعی در لبه به این موضوع پرداخته‌ایم).
- از کجا مطمئن می‌شوید درست کار می‌کند؟ نمونه‌های واقعی از ورودی‌هایی که کاربران ارسال می‌کنند گردآوری کنید، برای هر کدام مشخص کنید پاسخ مناسب چیست و هر مدل و هر پرامپت را با آن‌ها بسنجید. برداشتی که از چند آزمایش پراکنده به دست می‌آید گمراه‌کننده است.
- اگر خطا کند چه می‌شود؟ هر جا خطا پیامد مهمی دارد، منبع پاسخ را نمایش دهید، یک کارشناس را در چرخه تصمیم نگه دارید یا اجازه دهید مدل فقط بر اساس مطالبی که خودتان در اختیارش قرار می‌دهید پاسخ دهد.
- به چه زبانی؟ اگر کاربران شما فارسی می‌نویسند، مدل را به فارسی ارزیابی کنید. کیفیت، سرعت و تعداد توکن‌ها ممکن است با انگلیسی متفاوت باشد و تنها آزمون خودتان میزان این تفاوت را نشان می‌دهد. خود متن نیز پیش از آن به آماده‌سازی نیاز دارد که در مقاله پردازش متن فارسی با هوش مصنوعی به آن پرداخته‌ایم.
