باختصار
ما مقدار الصلاحية التي ينبغي منحها لوكيل الذكاء الاصطناعي؟
يجب أن يعمل وكيل الذكاء الاصطناعي المؤسسي ضمن أربعة حدود: الوصول إلى أدوات مهمّته وحدها، وفحص صلاحيات عند كل استدعاء أداة، وسقوف للخطوات والإنفاق، وموافقة بشرية على العمليات غير القابلة للتراجع. وبدونها لا يكون الوكيل أتمتة بل مخاطرة، لأن للوكيل — بخلاف النموذج — آثارًا جانبية، واستدعاء أداة خاطئ يغيّر البيانات.
أشيع خطأ في بنية الوكلاء هو التعامل معها كمشكلة "نموذج أذكى". أما في الإنتاج فالمشكلة الحقيقية هي ما يحدث في اللحظة التي يخطئ فيها النموذج.
لماذا يُعدّ كتالوج الأدوات حدًّا أمنيًا؟
يجب أن تكون مجموعة أدوات كل وكيل صريحة، وأن تحمل كل أداة نطاق صلاحياتها الخاص. فلا يصحّ أبدًا أن تقع "قراءة فاتورة" و"إلغاء فاتورة" في مستوى الصلاحية نفسه، حتى داخل الوكيل ذاته.
- افصل أدوات القراءة عن أدوات الكتابة.
- اجعل كل إجراء غير قابل للتراجع مشروطًا بموافقة بشرية.
- ضع ميزانية وحدًّا للمعدل لكل استدعاء أداة.
- تحقّق من مخرجات الأدوات ونقّها قبل عودتها إلى النموذج.
ماذا يحدث حين يعجز الوكيل عن إتمام خطوة؟
ما يفعله الوكيل حين يعجز عن الحل لا يقل أهمية عمّا يفعله حين ينجح. فالمسار الحتمي الذي يعمل عند تجاوز عتبة عدم اليقين هو ما يحدّد موثوقية النظام.
“لا تُقاس جودة بنية الوكلاء بجودة النموذج، بل بمدى هدوء النظام حين يخطئ النموذج.”
كيف يُفحَص قرار الوكيل بعد وقوعه؟
يجب تسجيل كل خطوة — الاستدلال واستدعاء الأداة والنتيجة والقرار — بصيغة مهيكلة. فإن عجزت بعد ثلاثة أشهر عن تفسير سبب قرار الوكيل، فلن تستطيع تشغيله في بيئة خاضعة للتنظيم.
| الحدّ | ما يفعله | بدونه |
|---|---|---|
| نطاق الأدوات | يحصر الوكيل في أدوات مهمّته | قد يتصرّف في نظام لم يُمنح صلاحيته |
| سقف الميزانية | يحدّ الخطوات واستدعاءات الأدوات والإنفاق | يعمل الوكيل الدائر في حلقة ساعات |
| الموافقة البشرية | تحجب العمليات غير القابلة للتراجع | يُطبَّق القرار الخاطئ مباشرةً |
| التراجع الحتمي | يُغلق المسار حين لا يستجيب النموذج | يتعطّل الوكيل في حالة غير معرَّفة |
| السجل غير القابل للتعديل | يجعل كل خطوة قابلة لإعادة التشغيل | لا يمكن فحص القرار لاحقًا |
المصادر
- 01OWASP Top 10 for Large Language Model ApplicationsOWASP Foundation · 2025
- 02NIST AI 600-1 — Generative AI ProfileNIST · 2024
- 03Regulation (EU) 2024/1689 — Artificial Intelligence ActAvrupa Birliği Resmî Gazetesi · 2024