تخطَّ إلى المحتوى

البنية

الذكاء الاصطناعي الوكيل في المؤسسات: الحدود والأدوات ومسارات التراجع

في بيئة الإنتاج لم يعد الوكيل يولّد نصًا — بل يتّخذ إجراءً. وهذا يعني أن مركز البنية ليس النموذج، بل تصميم الصلاحيات ومسارات التراجع.

تاريخ النشر: آخر تحديث: 10 دقيقة قراءةNeuros Platform Team · هندسة المنصات

باختصار

ما مقدار الصلاحية التي ينبغي منحها لوكيل الذكاء الاصطناعي؟

يجب أن يعمل وكيل الذكاء الاصطناعي المؤسسي ضمن أربعة حدود: الوصول إلى أدوات مهمّته وحدها، وفحص صلاحيات عند كل استدعاء أداة، وسقوف للخطوات والإنفاق، وموافقة بشرية على العمليات غير القابلة للتراجع. وبدونها لا يكون الوكيل أتمتة بل مخاطرة، لأن للوكيل — بخلاف النموذج — آثارًا جانبية، واستدعاء أداة خاطئ يغيّر البيانات.

أشيع خطأ في بنية الوكلاء هو التعامل معها كمشكلة "نموذج أذكى". أما في الإنتاج فالمشكلة الحقيقية هي ما يحدث في اللحظة التي يخطئ فيها النموذج.

لماذا يُعدّ كتالوج الأدوات حدًّا أمنيًا؟

يجب أن تكون مجموعة أدوات كل وكيل صريحة، وأن تحمل كل أداة نطاق صلاحياتها الخاص. فلا يصحّ أبدًا أن تقع "قراءة فاتورة" و"إلغاء فاتورة" في مستوى الصلاحية نفسه، حتى داخل الوكيل ذاته.

  • افصل أدوات القراءة عن أدوات الكتابة.
  • اجعل كل إجراء غير قابل للتراجع مشروطًا بموافقة بشرية.
  • ضع ميزانية وحدًّا للمعدل لكل استدعاء أداة.
  • تحقّق من مخرجات الأدوات ونقّها قبل عودتها إلى النموذج.

ماذا يحدث حين يعجز الوكيل عن إتمام خطوة؟

ما يفعله الوكيل حين يعجز عن الحل لا يقل أهمية عمّا يفعله حين ينجح. فالمسار الحتمي الذي يعمل عند تجاوز عتبة عدم اليقين هو ما يحدّد موثوقية النظام.

لا تُقاس جودة بنية الوكلاء بجودة النموذج، بل بمدى هدوء النظام حين يخطئ النموذج.

كيف يُفحَص قرار الوكيل بعد وقوعه؟

يجب تسجيل كل خطوة — الاستدلال واستدعاء الأداة والنتيجة والقرار — بصيغة مهيكلة. فإن عجزت بعد ثلاثة أشهر عن تفسير سبب قرار الوكيل، فلن تستطيع تشغيله في بيئة خاضعة للتنظيم.

حدود الوكيل: ما الذي يمنعه كل حدّ
الحدّما يفعلهبدونه
نطاق الأدواتيحصر الوكيل في أدوات مهمّتهقد يتصرّف في نظام لم يُمنح صلاحيته
سقف الميزانيةيحدّ الخطوات واستدعاءات الأدوات والإنفاقيعمل الوكيل الدائر في حلقة ساعات
الموافقة البشريةتحجب العمليات غير القابلة للتراجعيُطبَّق القرار الخاطئ مباشرةً
التراجع الحتمييُغلق المسار حين لا يستجيب النموذجيتعطّل الوكيل في حالة غير معرَّفة
السجل غير القابل للتعديليجعل كل خطوة قابلة لإعادة التشغيللا يمكن فحص القرار لاحقًا

المصادر

  1. 01OWASP Top 10 for Large Language Model ApplicationsOWASP Foundation · 2025
  2. 02NIST AI 600-1 — Generative AI ProfileNIST · 2024
  3. 03Regulation (EU) 2024/1689 — Artificial Intelligence ActAvrupa Birliği Resmî Gazetesi · 2024

الأسئلة الشائعة

أسئلة تتكرّر علينا

يُشتقّ الكتالوج عكسيًا من المهمة المطلوبة: إذ يُكتب لكل خطوة أي أداة تلزم، ولا يُضاف ما لا تحتاجه تلك الخطوة. ويعلن تعريف كل أداة ما تفعله وأي صلاحية تتطلّبها وما تُعيده عند الخطأ. والكتالوج الواسع يجعل الوكيل يجد مسارات غير متوقّعة — وهذه ليست مرونة بل سلوك غير قابل للتدقيق.

لأن موضع نشوء الخطأ لا يُعرف إلا بالرجوع خطوةً خطوة. فالوكيل يبني سلسلة: ماذا استرجع، وأي أداة استدعى، وأي نتيجة وسيطة غيّرت مساره. وإن لم تُسجَّل هذه السلسلة لم يبقَ سوى نتيجة خاطئة ويقوم الإصلاح على التخمين. والسجل لازم للتدقيق أيضًا — إذ لا يمكن إنتاج تبرير القرار بأثر رجعي.

المعيار هو قابلية التراجع لا المبلغ ولا الأهمية. فالعملية القابلة للتراجع — إنشاء مسوّدة أو تحديث سجل — يمكن تركها للوكيل لأن خطوة تعويضية قابلة للتعريف. أما غير القابلة للتراجع — تحويل المال أو توقيع عقد أو حذف سجل أو إرسال رسالة إلى الخارج — فتُربط دائمًا بموافقة. والتمييز يتعلّق بكلفة الخطأ لا بحجمه.

لنناقش هذا مع فريقك

يمكننا عقد جلسة تقنية تترجم أيًا من هذا إلى سياقك الخاص.