本月，我想探讨一下本社区内的一大担忧，即如何评价研究质量。
我在上一篇致辞中提到，对公司而言，这种评价相对容易，浏览财务报表上损益一栏即可。在学术研究中，衡量成功与否的标准更为复杂；要公正地评价科学成果，需要进行多维分析。不幸的是，那些最终拍板研究经费的人不见得是业内专家，而且他们往往主要关注文献计量指标，比如出版物或研究人员的被引次数、研究人员的 H 指数等等。
虽然被引次数可以衡量一篇论文或研究人员在特定领域的影响力，但对于那些近期发表的、还没时间被引用的论文而言，评价则较为困难。在这种情况下，人们习惯使用分析公司Clarivate的期刊影响因子等类似指标，来查看某一期刊既往的被引次数。但退一步说，一篇研究论文的质量与其所发表期刊的长期绩效之间没什么关联。尽管如此，一些资助机构要求项目成果只能发表在影响因子排名前四分之一的期刊上。这不是一个好的发展方向。
11年前，一群编辑和出版商向资助机构、学术机构、期刊、提供指标的组织和个人研究人员提出了建议，这些都体现在《旧金山科研评价宣言》（DORA；sfdora.org）内。过去十年间，165 个国家的 24,000 多人和众多组织（包括 Optica）均签署了该宣言。2023 年 12 月，签署方之一的巴黎索邦大学甚至停止订阅了 Clarivate 提供的文献计量工具（包括 Web of Science）。尽管如此，一些人仍然寻找简单的质量标志——期刊影响因子，作为一个对于单篇论文来说质量标准存疑的指标，仍然在继续使用。
我们一致同意，每篇科学论文都应得到全方位的评审。大多数论文都会经过几次独立评审：同行评审期间由期刊评审一次，由一个或多个资助机构评审一次，由研究委员会评审一次，或许再由其他人评审一次。这种重复似乎效率不高。鉴于学术界一直以来都强烈渴望找到一种便于使用的质量评价指标，可以考虑使用最初的同行评审结果或其他方法来提高效率。许多期刊，包括一些 Optica 的出版物，均提供透明的同行评审，作者和审稿人可以同意将所有同行评审信件作为发表论文的一部分。虽然我们朝着正确的方向迈出了一步，但这并没有提供一个非专业人士也能轻松使用的质量标识。
如何改善这种状况，应该是科研界每个人都关心的话题。
Gerd Leuchs,
Optica 会长