Kimi منبع باز PerceptionBench، دقت 59.7% GPT-5.6-Sol در صدر

Kimi یک معیار ارزیابی توانایی ادراک بصری چندمدلی به نام PerceptionBench را منبع باز کرده است که به منظور ارزیابی مستقل 10 توانایی اتمی در ادراک بصری طراحی شده است. این توانایی‌ها شامل روابط بصری، شمارش، ویژگی‌ها، عمق و 3D، مکان‌یابی، مقایسه، شناسایی دقیق، ادغام زمینه، OCR و شناسایی توهمات می‌باشد. این معیار بر اساس موارد شکست مدل‌ها در 42 مجموعه ارزیابی موجود ساخته شده و شامل 3000 سوال تأیید شده به صورت دستی است که هر سوال تنها یک توانایی بصری را مورد آزمایش قرار می‌دهد و نیازی به استدلال یا دانش خارجی ندارد. نتایج ارزیابی نشان می‌دهد که در میان 16 مدل پیشرفته چندمدلی، هیچ مدلی دقت کلی بیش از 60% نداشته است. GPT-5.6-Sol با دقت 59.7% در رتبه اول قرار دارد و Kimi K3 (58.5%)، Claude-Fable-5 (57.2%)، Gemini-3.1-Pro (56.2%) و GPT-5.5 (55.8%) در پنج رتبه برتر قرار دارند. گزارش اشاره می‌کند که توهمات بصری هنوز ضعیف‌ترین توانایی در عملکرد مدل‌ها است و هنوز فضای قابل توجهی برای بهبود توانایی‌های کلی ادراکی وجود دارد.