إطار مفتوح المصدر لتقييم وكلاء الذكاء الاصطناعي وروبوتات المحادثة بمقيّمين جاهزين وإشارات مكافأة.
OpenJudge إطار عمل بلغة Python لقياس جودة تطبيقات الذكاء الاصطناعي. يقدّم مقيّمين (graders) جاهزين، ويستطيع توليد معايير تقييم خاصة بالسيناريو، وتحويل نتائج التقييم إلى إشارات مكافأة لضبط النماذج. ويضمّ المستودع نحو عشرين مهارة بصيغة SKILL.md لأعمال التقييم مثل مراجعة الأبحاث وفحص المراجع والمقارنة على نمط الحلبة وتصميم التقييم. يناسب الفرق التي تبني الوكلاء وتحسّنهم.
تنبيه: التقييم المعتمد على النماذج اللغوية يستهلك رصيد API وينبغي أن يراجع إنسان عيّنات من أحكامه.
الصق هذا الطلب في Claude Code: يقرأ ملف README ويثبّت معك، ويعرض كلّ أمر قبل تنفيذه.
ساعدني على تثبيت «OpenJudge» (https://github.com/agentscope-ai/OpenJudge) على جهازي واستعماله مع Claude Code. - اقرأ ملف README واتّبع طريقة التثبيت فيه. يذكر ملف README هذا الأمر: `pip install py-openjudge`. - تحقّق أوّلًا من المتطلبات (الإصدارات، الحسابات، مفاتيح API). - اشرح كلّ أمر قبل تنفيذه؛ ولمفاتيح API استعمل متغيّرات البيئة ولا تطلب منّي لصقها هنا أبدًا. - في النهاية، أرني كيف أستعمله بمثال أوّل.
بعد التثبيت، جرّب مثلًا:
قيّم إجابات وكيلي على مجموعة الاختبار هذه بالمقيّمين المضمّنين.
ولّد معيار تقييم لتصحيح ردود دعم العملاء.
1.0.0