Import AI· Jack Clark·· 17 天前AI 评分38
Import AI 479:Realtime-Bench 评测低延迟任务、太空战报告与 Genie 4
Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4
AI 导读
多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测模型实时决策能力,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察模型,结果显示前沿模型在低延迟任务上仍明显不足。
来源:Import AI · importai.substack.com