Subscribe
Share
Share
Embed
TraceTrial-Bench قابلیت اطمینان هارنس ایجنت‌های هوش مصنوعی را در هفت بخش می‌سنجد و با ردیابی مسیر اجرا مشخص می‌کند خطا از کدام بخش آمده است. کیفیت هارنس را هم جدا از توان خود مدل اندازه می‌گیرد.
ساخته‌شده با هوش مصنوعی: هر دو گوینده صدای هوش مصنوعی (Google NotebookLM) هستند و گفت‌وگو بر پایه‌ی منابعی است که در پایین آمده‌اند.
در این قسمت درباره‌ی TraceTrial-Bench صحبت می‌کنیم، بنچمارکی تازه برای سنجش قابلیت اطمینان هارنس ایجنت‌های هوش مصنوعی. هارنس همان زیرساختی است که دور مدل زبانی ساخته می‌شود و ابزارها، مراحل کار و روند اجرا را مدیریت می‌کند. این بنچمارک هارنس را در هفت بخش ارزیابی می‌کند. با تسک‌هایی که برای سنجش سازوکارهای مشخص طراحی شده‌اند و با ردیابی مسیر اجرا (trajectory tracing)، طراحی‌های مختلف هارنس را مقایسه می‌کند و نشان می‌دهد خطا از کدام بخش آمده است. هدفش این است که کیفیت هارنس را جدا از توان خام مدل بسنجد.
برای مهندس‌هایی که ایجنت کدنویسی یا سیستم‌های مبتنی بر ابزار می‌سازند، هارنس اغلب به اندازه‌ی خود مدل مهم است. وقتی ایجنت شکست می‌خورد، سؤال اصلی معمولاً این است که مشکل دقیقاً کجا بوده. ابزاری که بخش خراب را نشان بدهد، در طراحی و دیباگ ایجنت‌ها مستقیماً به کار می‌آید.
منابع:
رادیو هوش هر روز داغ‌ترین خبر دنیای هوش مصنوعی را، از مدل‌های تازه و مقاله‌های پژوهشی تا ابزارهای برنامه‌نویسی و تحولات شرکت‌های بزرگ، در یک گفت‌وگوی ۲۰ تا ۴۵ دقیقه‌ای به زبان فارسی بررسی می‌کند. گویندگان این برنامه انسان نیستند؛ صداها با هوش مصنوعی (Google NotebookLM) ساخته شده‌اند و اپیزودها به‌صورت خودکار از منابع عمومی تهیه می‌شوند. نسخهٔ انگلیسی این برنامه با نام Radio Hoosh منتشر می‌شود.