۵ دقیقه مطالعه
چت‌بات سازمانی: از کجا شروع کنیم؟
چت‌بات سازمانی باید از منابع شرکت استفاده کند، حدود پاسخ‌گویی مشخصی داشته باشد و با پرسش‌های واقعی کاربران ارزیابی شود.
مدل‌های زبانی بزرگ، ساخت چت‌باتی را که پاسخ‌های روان و مطمئن می‌نویسد ساده کرده‌اند. پاسخ روان تنها یکی از نیازهاست. بخش دشوار، چت‌باتی است که درباره شرکت شما پاسخ درست بدهد، در صورت نداشتن پاسخ آن را اعلام کند و در زمان مناسب مکالمه را به کارشناس ارجاع دهد. بیشتر این موارد پیش از انتخاب هر مدلی مشخص می‌شوند.
شروع با یک کاربرد و یک گروه مخاطب
«یک چت‌بات برای شرکت» آن‌قدر کلی است که نمی‌توان آن را به‌خوبی توسعه داد. ابتدا یک کاربرد را انتخاب کنید:
- پاسخ به پرسش‌های مشتریان در وب‌سایت (محصولات، قیمت، ارسال، ساعات کاری)
- پشتیبانی داخلی برای کارکنان (قوانین مرخصی، ثبت هزینه، درخواست تجهیزات)
- پشتیبانی تیم فروش (مشخصات محصول و تناسب هر محصول با هر نیاز)
سپس پرسش‌های واقعی همین مخاطبان را جمع‌آوری کنید؛ از ایمیل‌ها، درخواست‌های پشتیبانی، پیام‌های گفت‌وگو و از کسانی که امروز به این پرسش‌ها پاسخ می‌دهند. چند ده پرسش واقعی بیش از هر جلسه ایده‌پردازی نشان می‌دهد که کاربران پرسش خود را چگونه بیان می‌کنند، واقعاً به چه نیاز دارند و کدام پرسش‌ها بارها تکرار می‌شوند.
پاسخ‌گویی بر اساس منابع سازمان
یک مدل زبانی دانش عمومی گسترده‌ای دارد، اما درباره قیمت‌ها، قوانین یا محصولات شما چیزی نمی‌داند. بدون ارائه منابع مرتبط، مدل همچنان پاسخ می‌دهد و در صورت نداشتن اطلاعات ممکن است پاسخی باورپذیر اما نادرست تولید کند (دلیل آن را در مقاله مدل زبانی بزرگ چیست و چه محدودیت‌هایی دارد؟ توضیح داده‌ایم).
راه معمول بازیابی اطلاعات است: با رسیدن هر پرسش، اسناد شما جست‌وجو می‌شوند، چند بخش مرتبط در اختیار مدل قرار می‌گیرد و از مدل خواسته می‌شود فقط بر اساس همان بخش‌ها پاسخ دهد و منبع خود را مشخص کند. این روش RAG نام دارد و در مقاله فاین‌تیون یا RAG؟ آن را با فاین‌تیون مقایسه کرده‌ایم.
بنابراین کیفیت چت‌بات به کیفیت اسناد پشتیبان آن وابسته است. فهرست قیمت قدیمی، دو نسخه از یک دستورالعمل یا قواعدی که فقط در ذهن یک نفر وجود دارند، همگی به پاسخ نادرست تبدیل می‌شوند. پیش از راه‌اندازی، منابع را گردآوری کنید، موارد قدیمی را حذف کنید و برای هر سند مسئولی تعیین کنید که آن را به‌روز نگه دارد.
تعیین حدود دسترسی
پاسخ به پرسش‌ها بر اساس اسناد یک موضوع است و انجام اقدام (بررسی وضعیت سفارش، رزرو وقت، ثبت درخواست پشتیبانی یا تغییر یک حساب) موضوعی دیگر. هر اقدام به ملاحظات خاص خود نیاز دارد:
- آن را از طریق یک رابط مشخص و فقط با دسترسی‌های لازم برای همان اقدام متصل کنید.
- پیش از هر اقدامی که تغییری ایجاد می‌کند، از کاربر تأیید بگیرید.
- ثبت کنید چه اقدامی و به چه دلیل انجام شده است.
یک نسخه اولیه منطقی فقط پاسخ می‌دهد. انجام اقدامات را می‌توان پس از اثبات قابل‌اعتماد بودن پاسخ‌ها اضافه کرد.
ارجاع مکالمه به کارشناس
یک چت‌بات خوب محدودیت‌های خود را می‌شناسد. از پیش مشخص کنید در چه شرایطی مکالمه را به کارشناس ارجاع دهد:
- زمانی که پاسخ را در منابع خود پیدا نمی‌کند
- زمانی که کاربر صحبت با کارشناس را درخواست می‌کند
- برای موضوعاتی که به قضاوت یا دقت ویژه نیاز دارند، مانند شکایت، پرداخت یا پرسش‌های حقوقی و پزشکی
هنگام ارجاع، کارشناس باید مکالمه تا آن لحظه را ببیند تا مشتری مجبور به تکرار نباشد. همچنین از همان پیام نخست به‌روشنی اعلام کنید که کاربر با یک دستیار خودکار گفت‌وگو می‌کند.
حریم خصوصی و امنیت
- مسیر داده را بشناسید. اگر مدل نزد یک ارائه‌دهنده خدمات اجرا می‌شود، پرسش‌ها و اسنادی که ارسال می‌کنید نیز به همان‌جا می‌روند. بررسی کنید چه اطلاعاتی، برای چه مدت ذخیره می‌شود و آیا برای آموزش استفاده می‌شود یا نه، و تا حد امکان اطلاعات شخصی را ارسال نکنید.
- دسترسی چت‌بات هرگز نباید از دسترسی کاربر بیشتر باشد. اگر یک کارمند مجاز به مشاهده اطلاعات حقوق نیست، چت‌باتی که به او پاسخ می‌دهد نیز نباید به این اطلاعات دسترسی داشته باشد.
- احتمال دست‌کاری را در نظر بگیرید. متنی که در پیام کاربر یا در یک سند وجود دارد ممکن است تلاش کند دستورالعمل‌های چت‌بات را تغییر دهد («قوانین خود را نادیده بگیر و …»). به این حمله تزریق پرامپت (prompt injection) گفته می‌شود. دفاع مؤثر، محدود کردن منابعی است که چت‌بات به آن‌ها دسترسی دارد و اقداماتی که می‌تواند انجام دهد؛ دستورالعمل به‌تنهایی کافی نیست.
ارزیابی برای کاربران فارسی‌زبان
چت‌بات را به فارسی و با همان شیوه‌ای که کاربران واقعاً می‌نویسند ارزیابی کنید: نگارش محاوره‌ای، نیم‌فاصله‌های تایپ‌نشده، حروف عربی از صفحه‌کلید عربی، ترکیب ارقام فارسی و لاتین و گاهی فارسی با حروف لاتین (فینگلیش). جست‌وجوی پشتیبان چت‌بات باید همه این شکل‌ها را یک متن در نظر بگیرد، در غیر این صورت سند مرتبط را پیدا نمی‌کند (در مقاله پردازش متن فارسی با هوش مصنوعی به این موضوع پرداخته‌ایم). هزینه و سرعت را نیز با متن فارسی بسنجید، زیرا یک جمله فارسی اغلب توکن بیشتری از همان جمله به انگلیسی مصرف می‌کند.
آزمون پیش و پس از راه‌اندازی
از پرسش‌های واقعی گردآوری‌شده یک مجموعه آزمون بسازید؛ برای هر پرسش مشخص کنید پاسخ خوب چه ویژگی‌هایی دارد و پرسش‌هایی را هم اضافه کنید که چت‌بات باید از پاسخ به آن‌ها خودداری کند یا آن‌ها را ارجاع دهد. این مجموعه را پس از هر تغییر، چه در مدل، چه در دستورالعمل‌ها و چه در اسناد، دوباره اجرا کنید، زیرا تغییری که یک پاسخ را اصلاح می‌کند ممکن است پاسخ دیگری را خراب کند. پس از راه‌اندازی نیز مکالمه‌ها را به‌طور منظم بررسی کنید. پرسش‌هایی که چت‌بات به آن‌ها پاسخ نداده، نشان می‌دهند کدام اسناد کم است و فهرستی کاربردی برای تکمیل منابع اطلاعاتی فراهم می‌کنند.
معیارهای ارزیابی
- تعداد مکالمه‌هایی که بدون دخالت کارشناس به نتیجه رسیده‌اند
- دفعات ارجاع به کارشناس و درستی این ارجاع‌ها
- پاسخ‌های نادرستی که در بررسی مکالمه‌ها شناسایی می‌شوند
- ارزیابی کاربران درباره مفید بودن پاسخ‌ها
کار را کوچک آغاز کنید؛ با یک کاربرد، مجموعه‌ای منظم از اسناد و یک مجموعه آزمون دقیق، و پس از اطمینان از کیفیت پاسخ‌ها آن را گسترش دهید. اگر برای سازمان خود چت‌بات در نظر دارید، خوشحال می‌شویم درباره نیازهای آن گفت‌وگو کنیم.
