مشروع تدريب يستكشف كيف يمكن للذكاء الاصطناعي التوليدي أن يمتد داخل نظام ERP قائم بدل استبداله: بدل بناء نظام جديد، جرى العمل داخل نظام يعمل بالفعل في الإنتاج، مقيّدًا ببياناته ومستخدميه وبضرورة استمراره في العمل أثناء التجربة.
المشكلة والقيود
أرادت الشركة دمج ميزات ذكاء اصطناعي توليدي في نظام ERP الخاص بها — خصوصًا لأتمتة توليد واستغلال بعض المستندات والمعلومات — دون تعطيل نظام يعمل بالفعل في الإنتاج. هذا القيد حدّد كل ما تلاه: كان على الحل أن يندمج مع ERP قائم بدل أن يعمل بمعزل عنه، وأن يحافظ على سرية بيانات العمل، وأن يعمل قدر الإمكان في بيئة محلية بدل الاعتماد على واجهة برمجية خارجية. كانت الإجابات المتماسكة والملائمة لسياق العمل أهم من القدرة الخام للنموذج وحدها، وكل ذلك ضمن مدة تدريب محدودة.
النهج
- دراسة ومقارنة عدة نماذج لغوية بناءً على الاحتياجات الوظيفية لنظام ERP، بدل الاكتفاء بأول نموذج يعمل.
- تجربة نشر نموذج لغوي محليًا ودمجه مع ERP، لتقييم ما يكلفه النشر المحلي من إعداد وموارد مقارنة بنموذج مستضاف.
- استكشاف مقاربة RAG (التوليد المعزز بالاسترجاع) بحيث يعتمد النموذج على معارف يملكها التطبيق فعلاً، بدل الإجابة فقط انطلاقًا من معارفه العامة.
- المساهمة في أولى ميزات التوليد الآلي للمستندات، وفي الاختبارات الوظيفية التي تحدد ما إذا كانت إجابات نموذج ما ملائمة ومتماسكة بما يكفي لاستخدامها.
المفاضلات
Decision
النشر المحلي بدل نموذج مستضاف، لجزء من التجارب: يبقي بيانات العمل وبيئة التشغيل تحت السيطرة، مقابل قيود إضافية في العتاد والأداء لا توجد في واجهة برمجية مستضافة.
Decision
RAG بدل التوليد المباشر: يضيف خطوة استرجاع وتحضير سياق ينتظرها النموذج، لكنه يُرسي الإجابات في معارف الشركة نفسها بدل التدريب العام للنموذج — خطوة تستحق كلفتها في نظام ERP حيث إجابة خاطئة لكن سلسة أسوأ من إجابة بطيئة.
النتائج
مكّنت التجربة من دمج واختبار عدة ميزات ذكاء اصطناعي توليدي في سياق ERP، من بينها أول سلسلة معالجة تستغل نموذجًا لغويًا لتوليد المحتوى. كما كشفت عن فروق سلوكية حقيقية بين نماذج اللغة التي جرت مقارنتها، وعن مؤشرات حول الحالات التي تستحق فيها بنية RAG تعقيدها — تلك التي تتطلب إرساء النموذج في معارف خاصة بالمجال لا معارف عامة. لم تُعتمد أي مقاييس كمّية في هذه المرحلة: قُيِّمت النتائج عبر اختبارات وظيفية ومقارنة نوعية بين النماذج، لا عبر درجة واحدة.
ما كنت سأفعله بشكل مختلف
استبدال المقارنة النوعية ببروتوكول تقييم أكثر منهجية، بمقاييس مصممة لتطبيقات LLM: ملاءمة الإجابات، والوفاء للمصادر، ومعدل الأخطاء، وزمن الاستجابة. كما سأضع تقييمًا آليًا، بحيث لا تعتمد مقارنة النماذج أو رصد أي تراجع مع تطور الحل على إعادة قراءة الإجابات يدويًا.