إطار مفتوح المصدر لتقييم وكلاء الذكاء الاصطناعي وروبوتات المحادثة بمقيّمين جاهزين وإشارات مكافأة.
OpenJudge إطار عمل بلغة Python لقياس جودة تطبيقات الذكاء الاصطناعي. يقدّم مقيّمين (graders) جاهزين، ويستطيع توليد معايير تقييم خاصة بالسيناريو، وتحويل نتائج التقييم إلى إشارات مكافأة لضبط النماذج. ويضمّ المستودع نحو عشرين مهارة بصيغة SKILL.md لأعمال التقييم مثل مراجعة الأبحاث وفحص المراجع والمقارنة على نمط الحلبة وتصميم التقييم. يناسب الفرق التي تبني الوكلاء وتحسّنهم.
تنبيه: التقييم المعتمد على النماذج اللغوية يستهلك رصيد API وينبغي أن يراجع إنسان عيّنات من أحكامه.
Collez ce prompt dans Claude Code : il lit le README et fait l’installation avec vous, en montrant chaque commande avant de la lancer.
Aide-moi à installer « OpenJudge » (https://github.com/agentscope-ai/OpenJudge) sur ma machine et à l'utiliser avec Claude Code. - Lis le README et suis sa méthode d'installation. Le README indique cette commande : `pip install py-openjudge`. - Vérifie d'abord les prérequis (versions, comptes, clés d'API). - Explique chaque commande avant de la lancer ; pour les clés d'API, utilise des variables d'environnement et ne me demande jamais de les coller ici. - À la fin, montre-moi comment m'en servir avec un premier exemple.
Une fois installé, essayez par exemple :
Evaluate my agent's answers on this test set with the built-in graders.
Generate a rubric for grading customer-support replies.
1.0.0