与以往侧重于考察模型是否能记住信息或遵循固定步骤的测试不同,GeneBench-Pro 更加注重 AI 模型在实际科研场景中的应用能力。它要求模型处理含糊不清、数据不全甚至存在干扰的信息,并在此基础上进行判断和分析以得出结论。
GeneBench-Pro 的测试内容涵盖了基因组学、定量生物学和转化医学等多个领域,共计 129 道题目,这些题目分布在 10 个主要领域和 21 个子领域中。具体研究方向包括统计遗传学、群体遗传学、功能基因组学以及蛋白质组学等。每道题都会为模型提供一个接近真实科研环境的数据集、简要的实验背景介绍和一个与后续决策相关的目标问题。模型需要独立完成数据探索、选择分析方法,并在此过程中不断调整策略,最终给出答案。
为规避传统长流程基准测试中常见的评分误差,OpenAI 在设计 GeneBench-Pro 时采用了合成数据(Synthetic Data)作为主要构建方式。这是因为如果直接使用历史真实数据出题,可能存在多种有效的分析路径,导致模型即使采用了错误的方法也可能偶然获得正确答案。通过使用合成数据,OpenAI 能够完全掌控底层的因果关系和数据生成过程,从而更精确地评估模型是否真正理解了问题,而非仅仅走了“捷径”。
目前,OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示例题目,并提供了交互式界面供外部研究人员试用。未来,官方将开放其中 50 道题目给 Artificial Analysis 进行独立的第三方评测,以检验不同模型在这一基准测试中的实际性能。

资深球迷
凭借其全面的功能和卓越的赛事覆盖,本平台为您提供无与伦比的观赛体验。
回复