يُعيد وكلاء الذكاء الاصطناعي (AI Agents) تشكيل الذكاء الاصطناعي المؤسسي من خلال الانتقال من أنظمة تفاعلية خاضعة للإشراف البشري إلى أنظمة ذاتية قادرة على ربط القرارات وتنفيذ الإجراءات بشكل مستقل. ومع تسارع هذا التحول، تصبح نماذج الحوكمة التقليدية المعروفة بـ“الإنسان في الحلقة” (Human-in-the-Loop) أقل توافقًا مع طبيعة عمل هذه الأنظمة في الزمن الحقيقي. وينتج عن ذلك حاجة متزايدة إلى نماذج حوكمة جديدة توازن بين الاستقلالية والإشراف البشري الموجه، وفقًا لما يراه سيد بهاتيا، نائب الرئيس الإقليمي والمدير العام لمنطقة الشرق الأوسط وتركيا وأفريقيا (META) في شركة Dataiku.

مع تحول مكانة الذكاء الاصطناعي في دولة الإمارات من كونه مخاطرة تجارية إلى ضرورة أساسية للأعمال، حققت المؤسسات تقدمًا كبيرًا في ضبط أنواع الذكاء الاصطناعي المختلفة مثل البيانات الضخمة، والتحليلات التنبؤية، ونماذج اللغة الكبيرة (LLMs). وفي هذه التقنيات، كان نموذج “الإنسان في الحلقة” هو المحور الأساسي للحوكمة، حيث كان بالإمكان تصحيح عدم اليقين عبر المراجعات الدورية، سواء بتعديل النموذج أو بإضافة طبقات إشراف إضافية.

في تدفق عمل ذكاء اصطناعي تقليدي يتكون من “مدخلات، تشغيل نموذج، نتائج، توقف”، كان للإنسان دور واضح، حيث كانت الأنظمة تعمل بشكل تفاعلي مع وجود فترات توقف تسمح بتحليل النتائج وتحديد المخاطر.

لكن الذكاء الاصطناعي الوكيلي لا يتبع هذا النموذج. فالوكلاء المستقلون لا ينتظرون الموافقة، ولا يقدمون النتائج على مراحل للمراجعة. بل إنهم ينفذون الإجراءات، ويربطون القرارات ببعضها البعض، ويعملون عبر حدود الأنظمة المختلفة دون تدخل بشري مباشر في أغلب الأحيان. وبالتالي، فإن إعادة فرض ضوابط “الإنسان في الحلقة” قد يؤدي إلى إبطاء عمل هذه الأنظمة، بل وربما يجعل حوكمتها أكثر تعقيدًا.

لذلك، تظهر الحاجة إلى البحث عن أساليب جديدة لتحقيق الاستقلالية الآمنة، بحيث يتم إشراك الإنسان فقط في النقاط الأكثر تأثيرًا وحساسية في اتخاذ القرار.

لماذا لم يعد نموذج “الإنسان في الحلقة” مناسبًا

حتى أنظمة الذكاء الاصطناعي التوليدي (GenAI) تعمل ضمن حلقة مغلقة، حيث تؤدي المدخلات البشرية إلى استجابات من النموذج يتم من خلالها تقديم النتائج، مما يجعل الإشراف البشري سهل الدمج نسبيًا.

لكن وكلاء الذكاء الاصطناعي (AI Agents) يتجاوزون هذا النموذج، إذ يقومون بإلغاء خطوات كان يتم فيها عادة الرجوع إلى الإنسان، ويتفاعلون مع عدة أدوات ومصادر بيانات بشكل متزامن.

مع مرور الوقت، يمكن أن تتفاقم المخاطر المرتبطة بالوكيل خارج نطاق رؤية المشرفين البشريين، لأن الوكيل قد يتخذ مئات القرارات أثناء سعيه لتحقيق هدف معين، وكل قرار يؤدي إلى إجراء جديد. وبينما يحقق ذلك كفاءة عالية، قد يتردد أصحاب المصلحة في التدخل والمراجعة خشية التأثير على القيمة التشغيلية.

إضافة إلى ذلك، فإن أي محاولة لتقييم المخاطر قبل نشر الوكيل قد تفشل في رصد العديد من المشكلات التي لا تظهر إلا بعد سلسلة من القرارات والإجراءات المتتابعة. وقد يؤدي ذلك إلى ارتفاع التكاليف، وانحراف النماذج، وتراكم التأثيرات بمرور الوقت.

في هذا السياق، تجد فرق العمل نفسها مضطرة للموازنة بين قيمة الأعمال والامتثال، بينما تصبح المسؤولية غير واضحة بين صناع القرار البشريين، والوكلاء، والأدوات، والنماذج.

لذلك، فإن تقييد الاستقلالية لم يعد حلًا فعالًا. بدلًا من ذلك، يجب التركيز على تصميم الوكلاء ونماذج الحوكمة، بحيث يقتصر التدخل البشري على النقاط التي يضيف فيها أعلى قيمة ممكنة.

التدخل المتناسب (Proportional Intervention)

نحتاج إلى نموذج حوكمة مُصمم خصيصًا للأنظمة المستقلة. إن النهج الحذر بشكل مفرط في حوكمة الذكاء الاصطناعي سيحد من خلق القيمة في بيئة الذكاء الاصطناعي الوكيلي، لذلك يجب إدخال الحكم البشري فقط في نقاط التأثير العالية. وعلى المؤسسات أن تستبدل الضوابط الثابتة بمفهوم “التدخل المتناسب” – أي إجراءات مُحددة تتوسع مع مستوى المخاطر. ويشمل ذلك:

1. الأتمتة كخيار افتراضي
تحديد حالات الاستخدام منخفضة المخاطر والمتكررة، والسماح للوكلاء بالعمل ضمن ضوابط مؤتمتة بشكل دائم مثل مراقبة الأداء في الوقت الحقيقي، ومراقبة التكاليف، وتقييم الجودة، أو حدود السياسات. مع إرسال تنبيهات فور حدوث أي انحراف عن المعايير المحددة من قبل الإنسان.

2. التدخل البشري عند نقاط اتخاذ القرار
عند الوصول إلى لحظات لا يمكن فيها الاعتماد على القواعد وحدها لاتخاذ القرار، يجب أن يتدخل الإنسان. قد تتطلب بعض الحالات استثناءات في السياسات، أو اتخاذ قرار بشأن قبول المخاطر الناشئة أو التخفيف منها أو إلغائها. وقد تقرر المؤسسة أن هذه القرارات لا يمكن أن تُتخذ إلا من قبل الإنسان.

3. الرؤية المستمرة
حتى في حالات السماح باستمرار الاستقلالية، يجب أن يكون لدى البشر رؤية كاملة لما يفعله كل وكيل ولماذا يفعل ذلك. يجب أن تتمكن المؤسسات من تتبع المدخلات (prompts) واستخدام الأدوات والنماذج، ومراقبة النتائج بمرور الوقت لاكتشاف أي تغيّر في سلوك الوكلاء.

الاستقلالية الآمنة

لكي ينجح هذا النموذج، يجب أن يتم دمج “الاستقلالية الآمنة” داخل الحوكمة نفسها، وليس إضافتها لاحقًا. تصبح الضوابط جزءًا من عمل الوكلاء، حيث يتم تسجيل كل قرار وكل إجراء، مع فرض حدود يحددها الإنسان. وبالتالي، تصبح إدارة المخاطر عملية مؤتمتة ومستمرّة بدلًا من أن تكون تفاعلية أو لاحقة.

كما يتم تكرار هذا الإشراف عبر منظومة الذكاء الاصطناعي في المؤسسة من خلال رؤية مركزية تشمل الوكلاء والنماذج وسير العمل. وبينما تستمر العمليات منخفضة المخاطر دون عوائق، يتم تمييز نقاط القرار عالية المخاطر لتدخل بشري مدروس.

ضمن هذا النموذج الجديد، وعند مراجعة القرارات أو الإجراءات من قبل الجهات التنظيمية أو المدققين أو التنفيذيين، ستكون سجلات التدقيق متاحة لتقديم دفاع موثوق وواضح. وهذا يعني أن الشركات لا تحتاج إلى التضحية بالأمان عند توسيع استخدام وكلاء الذكاء الاصطناعي.

لقد وضعت دولة الإمارات رؤية طموحة لمستقبلها التكنولوجي، حيث تم بالفعل نشر وكلاء الذكاء الاصطناعي في عدة حالات استخدام صناعية. ومع سعي المؤسسات للحفاظ على أهميتها في قطاعات سريعة التغير، سيصبح الذكاء الاصطناعي الوكيلي شريكًا أساسيًا في هذا التحول.

إن الاستقلالية هي المستقبل، لكن لتقليل مخاطرها، يجب أن يفهم مطبّقوها اختلافها الجوهري عن الأجيال السابقة من الذكاء الاصطناعي. يجب أن تتطور حوكمة “الإنسان في الحلقة” لتواكب عالمًا جديدًا يُسمح فيه للذكاء الاصطناعي بالأتمتة الواسعة، بينما يتدخل الإنسان فقط عند ظهور مخاطر غير متوقعة.

ومن خلال التدخل المتناسب، سنبدأ أخيرًا في رؤية القيمة الحقيقية التي يعد بها وكلاء الذكاء الاصطناعي.

بقلم: سيد بهاتيا – نائب الرئيس الإقليمي والمدير العام لمنطقة الشرق الأوسط وتركيا وأفريقيا (META) في Dataiku

مقالات ذات صلة

عرض الكل