ابدأ بقرار واحد
طلب إضافة الذكاء الاصطناعي إلى منصة تشغيلية واسع جدًا بحيث يصعب تقييمه. ابدأ بقرار واحد يتخذه شخص بالفعل. يمكن، مثلًا، أن يقترح مساعد المستندات التي يحتاج المراجع إلى فحصها عند وجود تعارض في سجل أصل. هذا سؤال أضيق من تكليف المساعد بحسم التعارض أو السماح بشطب الأصل من السجل المالي.
اكتب المدخلات والمخرجات المقترحة، ومن سيستخدم الإجابة، وما الذي يحدث إذا كانت خاطئة. إذا لم يستطع الفريق وصف هذه الأمور من دون ذكر اسم نموذج، فلا يزال بحاجة إلى تصميم الإجراء نفسه. التجربة المفيدة تسهل تقييم مهمة محددة، ولا تجعل إجراءات العمل كلها تعتمد على فقرة تبدو مقنعة.
افصل الاقتراح عن الصلاحية
في مثال مراجعة المستندات، يستطيع المساعد تقديم قائمة بالأدلة المقترحة مع الإشارة إلى المقاطع التي استند إليها. لكنه لا يحدث سجل الأصول. يقرر المراجع ما إذا كانت الأدلة تخص الحالة وما إذا كانت كافية لاتخاذ القرار. يجب أن تفرض صلاحيات التطبيق هذا الحد، بدل الاعتماد على جملة داخل تعليمات النموذج.
عامل النص المسترجع من المستندات بوصفه بيانات. إذا تضمن مستند عبارة تطلب تجاهل الموافقات، فلا يجوز أن تتحول العبارة إلى أمر للمساعد. اختبر ذلك عمدًا بمستند تجريبي غير ضار. اختبر أيضًا ملفًا يبدو عنوانه مناسبًا لكن محتواه يخص أصلًا آخر؛ على المساعد فحص المحتوى بدل استنتاج الصلة من اسم الملف.
قد تكون الإجابة الصحيحة أن المستندات المتاحة لا تسمح باستنتاج موثوق. وفر للمساعد خيارًا واضحًا للامتناع عن الإجابة، ووفر للمراجع وسيلة للإبلاغ عن الاقتراحات غير المدعومة. إجبار النظام على تقديم إجابة في كل حالة يشجعه على التخمين بصياغة تبدو واثقة.
جهز حالات التقييم قبل العرض
اختر حالات ممثلة قبل تعديل التعليمات. ضمّن سجلات واضحة، ومستندات مفقودة، ومعرّفات متعارضة، ونصوصًا بالعربية والإنجليزية، وصورًا لمستندات لم ينجح استخراجها بالكامل. احتفظ بمجموعة مستقلة للفحص النهائي. إذا تحول كل خطأ إلى مثال جديد في التعليمات، فلن يثبت التحسن على الحالات نفسها أن الأداء سيتحسن في عمل جديد.
اطلب من المراجعين الاتفاق على الإجابات المقبولة وأسباب قبولها. قيّم ما إذا كان المقطع المشار إليه يدعم الاقتراح فعلًا، لا ما إذا كانت الإجابة تشبه صياغة مرغوبة. سجل المطابقات الخاطئة منفصلة عن المطابقات التي لم يجدها النموذج؛ فقد تختلف كلفتها، خصوصًا عندما يبدو التطابق الخاطئ مقنعًا بما يكفي للمرور في مراجعة سريعة.
هذا المثال توضيحي، ولا يصف نظام ذكاء اصطناعي منشورًا أو تحسنًا مقاسًا. يجب أن تبقى طبقة الذكاء الاصطناعي قيد التطوير موصوفة بهذا الوصف إلى أن تُختبر سلوكياتها وصلاحياتها وترتيبات تشغيلها ودعمها.
احسب وقت التحقق أيضًا
قد يولد النموذج اقتراحًا سريعًا، لكنه يجعل المراجعة أبطأ. قس زمن المهمة كاملة: فتح الحالة وقراءة الاقتراح وفحص المصدر وتصحيح المخرجات وتسجيل القرار. قارن ذلك بالعمل نفسه من دون المساعد. سرعة الرد وحدها لا تعني أن المراجع انتهى من مهمته في وقت أقصر.
اجعل المقارنة عادلة باستخدام حالات متقاربة ومراجعين بمستويات مناسبة، وسجل إعداد التجربة والحالات التي احتاجت إلى معرفة تخصصية. احسب الامتناع عن الإجابة والتصحيحات ضمن النتائج، ولا تستبعدها لتحسين المتوسط. إذا وفر الاقتراح وقتًا فقط عندما يتجاوز الموظف خطوة التحقق، فلم تثبت التجربة بعد أنها حسنت العمل بطريقة مقبولة.
اتفق مسبقًا على سبب الإيقاف
حدد قاعدة توقف عند الاستشهاد بمصدر لا يدعم الإجابة، أو تنفيذ إجراء غير مصرح به، أو كشف معلومات مقيدة. تعتمد الحدود الدقيقة على المهمة ومخاطرها، ويجب أن يتفق عليها المسؤولون عنها. إذا تجاوزت التجربة حدًا أمنيًا، ينبغي إيقافها مؤقتًا حتى لو بدا متوسط الدقة مشجعًا.
احتفظ بمسار بسيط للعودة إلى الإجراء السابق. يحتاج المراجعون إلى متابعة عملهم إذا تعذر الوصول إلى النموذج أو فشل تحليل مستند أو سُحبت صلاحية الوصول. عند انتهاء التجربة، احفظ حالات التقييم والأخطاء المرصودة وتصحيحات المراجعين وقرار الخطوة التالية. هذا السجل أنفع من عرض مصقول لا يستطيع أحد تكراره أو فحص أساسه.