这次更新篇幅比较小,不过我知道大家之前都很希望看到更多测试样例MineBench 最近加了不少新东西,比如一个社区画廊,用户可以把自己写的自定义提示词发上去,其他人能点赞,被认可的还会收进官方评测集里顺便说一句,登录用户现在限时可以用 Gemini 3.7 Flash 无限生成,这是 Google DeepMind 支持的
MineBench 4.0 也发布了:现在上了 iOS App Store;因为几家实验室有兴趣,平台支持对私有模型做 A/B 测试,政策和 LM Arena 一样;另外还有社区画廊
简单说下这项目是干嘛的:它本质是个基准测试,看模型能不能生成类 Minecraft 的 3D 结构模型会拿到一组方块调色板,再根据提示词搭建,比如文里第一个例子是战斗机,模型要返回每个方块的坐标 JSON越聪明的模型,搭出来的东西往往越精细复杂
(说明:这个公开基准是我自己做的,算自荐吧)