هل يفهم مساعدك الذكي «شو الوضع»؟ كيف تختبر الجهات نماذج الذكاء الاصطناعي على اللهجات الخليجية
النموذج الذي يتقن العربية الفصحى قد يتعثّر أمام رسالة واتساب إماراتية. طريقة عملية لبناء اختبار لهجات قبل اختيار النموذج.
تصل إلى الجهة رسالة على واتساب: «السلام عليكم، قدمت على التجديد من أسبوع وللحين ما وصلني شي، شو الوضع؟». الرسالة واضحة لأي موظف في الإمارات. لكنها تحمل اختباراً حقيقياً لأي مساعد ذكي: لهجة، واختصار، وسؤال عن حالة معاملة دون رقم مرجعي.
اختيار نموذج الذكاء الاصطناعي بناءً على أدائه في العربية الفصحى وحدها يشبه اختيار موظف خدمة عملاء بناءً على امتحان قواعد. ما يهم هو كيف يتعامل مع ما يكتبه الناس فعلاً.
ماذا يكتب المتعاملون فعلاً؟
من تجربتنا في خدمات المراسلة في الخليج، تتكرّر أنماط معيّنة:
- اللهجة المحلية: «أبا أعرف»، «شو المطلوب»، «وين وصل الطلب».
- الخلط بين العربية والإنجليزية: «أبي أسوي renewal للـ license».
- العربية بحروف لاتينية وأرقام: «3ndi so2al».
- رسائل صوتية تتحوّل إلى نص عبر التعرّف على الكلام، بأخطائه.
- لهجات المقيمين المختلفة، إلى جانب الإنجليزية بلكنات متعددة.
النموذج الجيد للجهة هو الذي يفهم هذه الأنماط، ويردّ بلغة رسمية مهذّبة تناسب الجهة، دون أن يقلّد اللهجة بشكل متكلّف.
بناء اختبار اللهجات في أربع خطوات
1. اجمعوا رسائل حقيقية وأزيلوا البيانات الشخصية
استخرجوا بضع مئات من رسائل المتعاملين من القنوات الفعلية، وأزيلوا الأسماء والأرقام والهويات، ووزّعوها على أنواع الطلبات الأكثر شيوعاً.
2. اكتبوا الإجابة الصحيحة لكل رسالة
بمشاركة موظفين يعرفون الخدمة: ما المعلومة الصحيحة، وما الإجراء التالي، ومتى يجب تحويل المتعامل إلى موظف.
3. قيّموا ثلاثة أشياء منفصلة
- الفهم: هل فهم النموذج المطلوب؟
- الصحة: هل الإجابة صحيحة وفق إجراءات الجهة؟
- الأسلوب: هل الرد مهذّب، واضح، وبلغة تناسب الجهة؟
فصل هذه المعايير مهم، لأن النموذج قد يفهم جيداً ويجيب خطأً لأن قاعدة المعرفة ناقصة، وهذا علاجه مختلف تماماً.
4. قارنوا بين النماذج، ثم كرّروا الاختبار بعد كل تحديث
قارنوا نموذجاً عالمياً، ونموذجاً عربياً مثل Jais أو Falcon، ونسخة مكيّفة إن وُجدت. واحتفظوا بمجموعة الاختبار: هي أصل للجهة يسمح بتغيير النموذج لاحقاً دون مخاطرة.
متى نحتاج إلى التكييف؟
إذا بقيت الأخطاء بعد تحسين قاعدة المعرفة والتعليمات، وكانت أخطاء في فهم اللهجة أو المصطلحات الخاصة بالجهة، يصبح تكييف النموذج على بيانات الجهة مجدياً. أما إذا كانت الأخطاء في المعلومات نفسها، فالحل في البيانات لا في النموذج.
كيف تساعد GridStudio
نبني مجموعات اختبار اللهجات مع فرق الجهات، ونقارن النماذج بشكل محايد، ونكيّفها عند الحاجة، ونستضيفها داخل الدولة. ونطبّق ذلك يومياً في منتجاتنا للمراسلة مثل MonoChat. اقرأ عن خدماتنا والذكاء الاصطناعي للحكومات.
أسئلة شائعة
تحسّنت كثيراً في الفصحى، لكن أداءها يتفاوت في اللهجات، وفي النصوص المختلطة بين العربية والإنجليزية، وفي العربية المكتوبة بحروف لاتينية. لذلك يجب اختبارها على رسائل المتعاملين الفعلية.
ليس دائماً. في حالات كثيرة يكفي نموذج قوي مع بحث دلالي جيد في وثائق الجهة وتعليمات واضحة. التكييف (Fine-tuning) يصبح مجدياً عندما تتكرّر أخطاء في اللهجة أو المصطلحات رغم ذلك.
بضع مئات من الرسائل الحقيقية الموزّعة على أنواع الطلبات واللهجات تكفي عادةً لبداية جادّة، على أن تُراجع الإجابات من موظفين يعرفون الخدمة.