随着AI for Science(AI4S)加速发展,AI正在深入参与模型开发、论文复现和科学发现等科研环节。但如何判断科研智能体究竟完成了多少工作、执行过程是否可靠、结果能否支撑科学结论,仍是亟待解决的问题。
近日,中科曙光推出面向AI4S的评测体系——OneScienceBench,将评测深入任务执行过程到产出细节全科研流程,为智能体能力分析和持续优化提供了更细致的依据。
验证科研全过程
针对复杂的科研需求,OneScienceBench围绕生物信息、地球科学、材料化学与流体等领域,设计了两类互补的评测任务。
-
单模型实现任务:覆盖模型训练、推理、二次开发和论文复现等环节,通过程序逐项校验代码与产物,检验科学方法的实现是否正确。
-
真实科研场景任务:面向多阶段的科研流程,从任务理解、推理决策、执行过程、结果验证四个维度进行判定,考察各环节的执行与衔接情况。
科研任务的实现路径往往不止一种,这给统一评测带来了困难。为此,OneScienceBench在任务设计阶段引入“最小充分约束”,只约定必要的输入输出、接口规范、科学参数与运行边界,既保留合理的操作空间,又让任务执行与产出可验证。
目前,OneScienceBench的评测规模已覆盖100余项单模型任务和110余项科学场景任务,并对多个智能体及基座模型组合进行了测试,均取得良好的评测效果。
助力科研持续优化
OneScienceBench不仅关注任务是否完成,还从科学方法、科研流程、结果验证和运行条件四个方面给出可追溯的能力证据。
-
模型代码写得对不对?逐项核对从数据处理、权重加载、模型结构实现到训练及推理,并与标准数值比对确认。
-
各步骤能否顺畅衔接?逐步检查方法选择和环节衔接,能定位到“模型算得对、训练入口却跑不通”这类具体问题。
-
结论是否可靠?排查数据泄漏、数值超出物理常识、比较不公平等隐患,确保结论有证据。
-
外部环境是否存在问题?结合Token用量和失败记录,区分是模型能力不足,还是上下文、输出长度等配置限制所致。
这些检查能够帮助研发团队定位问题、持续改进,也为科研用户选择和使用工具提供依据。
拓展AI4S新生态
从科学模型开发到科研智能体评测,中科曙光在AI4S的布局持续深化。
此前,中科曙光打造科学大模型一站式开发平台OneScience,以“一键式、全流程、自然语言构建”的创新模式,让科研人员可以轻松拥有专属科学模型。此次推出的OneScienceBench则打通了科研智能体验证闭环,推动AI4S发展迈入新阶段。
目前,OneScienceBench已在GitHub开源,采用MIT许可证。科研用户和开发者可下载用例、运行评测,或按仓库说明接入自己的智能体。
人工智能技术网 倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至1851688011@qq.com我们将及时沟通与处理。!:首页 > AI電報 » 从“能执行”到“可验证”,中科曙光推出AI4S评测新工具