围绕OpenAI模型评估指标的讨论正让外界感到些许迷惑。公司方面花费不少精力澄清当前许多基准测试的种种不足,指出部分评测方法并不可靠。然而几乎在同一时期,OpenAI又不惜投入巨资,开发了一个专门用于衡量自主模型能力的高质量评估体系。这种一边拆解旧标尺、一边自建新规范的做法,使得评估领域的商业动机与技术诚意都变得难以简单判断。截至目前,外界仍无法从公开信息中完全理清这两条线索如何统一到OpenAI的整体策略中。
OpenAI基准讨论引困惑:澄清缺陷又砸钱做新标准
围绕OpenAI模型评估指标的讨论正让外界感到些许迷惑。公司方面花费不少精力澄清当前许多基准测试的种种不足,指出部分评测方法并不可靠。然而几乎在同一时期,OpenAI又不惜投入巨资,开发了一个专门用于衡量自主模型能力的高质量评估体系。这种一边拆解旧标尺、一边自建新规范的做法,使得评估领域的商业动机与技术诚意都变得难以简单判断。截至目前,外界仍无法从公开信息中完全理清这两条线索如何统一到OpenAI的整体策略中。
热门跟贴