أدخلت OpenAI تحسينات على تقنية التخزين المؤقت للمطالبات Prompt Caching ضمن عائلة GPT-6، بهدف مساعدة الوكلاء المستمرين على إعادة استخدام السياق المشترك عبر طلبات واجهة برمجة التطبيقات API، وتقليل أوقات الاستجابة وتكاليف معالجة المدخلات.

ويستهدف التحديث التطبيقات التي ينفذ فيها الوكلاء مهام معقدة ومتعددة الخطوات على مدى فترات زمنية طويلة، بما في ذلك إعادة هيكلة قواعد البرمجيات، وإعداد الوثائق التي تتطلب أبحاثا مكثفة، وإنشاء العروض التقديمية.

وغالبا ما ترسل هذه التطبيقات طلبات متعددة إلى API مع إعادة استخدام التعليمات نفسها وتعريفات الأدوات والسياق من الجولات السابقة. وأوضحت OpenAI أن نظام التخزين المؤقت لديها يحتفظ بالسياق المشترك المؤهل لإعادة استخدامه في الطلبات اللاحقة.

ومع GPT-6، قدمت OpenAI نظاما محدثا للتخزين المؤقت يهدف إلى تحسين معدلات الاستفادة من التخزين المؤقت بشكل افتراضي. ويمكن أن تحصل البادئات المشتركة المؤهلة على خصومات عند إعادة استخدامها ضمن نافذة زمنية مدتها 30 دقيقة، فيما يمكن للمطورين الحصول على خصومات تصل إلى 90% على رموز الإدخال المخزنة مؤقتا.

كما تضيف OpenAI أدوات تساعد المطورين على مراقبة أداء التخزين المؤقت، وتشخيص حالات عدم الاستفادة من التخزين المؤقت، والتحكم في حجم المطالبة الذي يتم تخزينه مؤقتا.

وقال ماريو رودريغيز، رئيس المنتجات في GitHub، إن نظام التخزين المؤقت لدى OpenAI ساعد GitHub Copilot على خفض حصة رموز المطالبات التي تتطلب معالجة جديدة بأكثر من 50% عبر مليارات الطلبات، مقارنة بخط الأساس السابق. وأضاف أن ذلك ساهم في تعزيز كفاءة بنية الاستدلال وتقليل الوقت اللازم لظهور أول استجابة للمطورين.

ويمكن للمطورين الآن استخدام لوحة معلومات التخزين المؤقت للمطالبات Prompt Caching Dashboard لمراقبة معدلات الاستفادة من التخزين المؤقت بمرور الوقت. كما توفر اللوحة عرضا لتركيبة المدخلات يوضح الرموز المخزنة مؤقتا وتلك غير المخزنة.

وبالتالي، يستطيع المطورون تحديد التغييرات التي تؤثر في أداء التخزين المؤقت والتحقيق في أي انخفاضات غير متوقعة في معدلات الاستفادة منه.

وبالنسبة إلى حالات عدم الاستفادة الفردية من التخزين المؤقت، قدمت OpenAI أداة لتشخيص التخزين المؤقت للمطالبات. وتقارن الأداة الطلب بالاستجابة الأخيرة، وتحدد التغييرات المتعلقة بالنماذج أو الأدوات أو الإعدادات أو المدخلات التي ربما حالت دون إعادة استخدام السياق.

فعلى سبيل المثال، يمكن لمخرجات التشخيص تحديد حدوث تغيير في تعريفات الأدوات وإظهار عدد الرموز القابلة لإعادة الاستخدام التي تأثرت بذلك.

كما تمنح OpenAI المطورين مزيدا من التحكم في تقنية Prompt Caching من خلال نقاط فصل مؤقتة صريحة. ويوضح دليل التخزين المؤقت المحدث للمطالبات كيفية اختيار بادئات المطالبات لإعادة استخدامها، إلى جانب توضيح تأثير التغييرات في الأدوات والمدخلات على أهلية التخزين المؤقت.

إضافة إلى ذلك، يمكن لنماذج GPT-6 الآن تغيير مستوى جهد الاستدلال بين الاستجابات دون كسر التخزين المؤقت. ويمكن للمطورين رفع مستوى جهد الاستدلال للمهام الأكثر تعقيدا أو خفضه للمتابعات الروتينية، من خلال إضافة configuration_update، مع الإبقاء على إعدادات الاستدلال على مستوى الطلب دون تغيير.

وتوصي OpenAI أيضا بالحفاظ على استقرار تعريفات الأدوات والمخططات وترتيبها عند بناء الوكلاء. ويمكن للمطورين استخدام allowed_tools للتحكم في الأدوات التي يمكن استدعاؤها، أو ضبط tool_choice على none عندما لا تكون الأدوات مطلوبة، بدلا من إزالة تعريفات الأدوات من السياق.

علاوة على ذلك، يمكن إضافة رسائل جديدة من المطورين في نهاية السياق لتقديم تعليمات محدثة مع الحفاظ على السياق السابق القابل لإعادة الاستخدام.

كما يمكن للمطورين استخدام ميزة التسخين المسبق للتخزين المؤقت Cache Prewarming لتجهيز سياق معروف قبل أن يرسل المستخدم طلبا. ويمكن أن يشمل ذلك التعليمات المشتركة وتعريفات الأدوات أو المواد المرجعية، ما قد يتيح نقل جزء من وقت المعالجة إلى خارج فترة انتظار المستخدم.

وبشكل عام، تمنح هذه التغييرات المطورين أدوات تحكم إضافية لإدارة السياق القابل لإعادة الاستخدام مع الحفاظ على سلوك التخزين المؤقت الأساسي لنماذج GPT-6. وتهدف قدرات Prompt Caching إلى مساعدة التطبيقات على إدارة زمن الاستجابة وتكاليف معالجة المدخلات عبر سير عمل الوكلاء الممتد.

مقالات ذات صلة

عرض الكل