10月20日，美團LongCat團隊正式發(fā)布大模型智能體評測基準“VitaBench”。

該基準高度貼近真實生活場景，以外賣點餐、餐廳就餐、旅游出行三大高頻場景為載體，構建了包含66個工具的交互式評測環(huán)境，還進行了跨場景綜合任務設計，如旅游規(guī)劃任務需智能體完成從購票到訂餐廳的全流程。

團隊從深度推理、工具使用與用戶交互三大維度對智能體任務量化拆解，結果顯示，即便當前領先的推理模型，在復雜跨場景任務主榜中的成功率也僅30%，凸顯出現(xiàn)有智能體與真實生活場景應用需求的明顯差距。

目前VitaBench已全面開源，將為智能體在真實場景的研發(fā)應用提供重要基礎設施。（轉自AI普瑞斯）