今月は、研究の質はどのように評価されているかという、私たちのコミュニティで多くの方が抱く懸念について取り上げたいと思います。
先号のメッセージでも触れたとおり、企業の場合は損益欄を見ることができるため、そのような評価は比較的簡単です。学術研究の場合は成功の尺度はより複雑で、科学を正当に評価するには多角的な分析が求められます。残念ながら、研究資金の分配を最終的に決める人物は必ずしも専門家であるとは限らず、主として発表論文または研究者の被引用数や研究者のh-indexなどといった計量書誌学的指標に目を向けているケースが多いのです。
被引用数は特定の分野における論文または研究者の影響力を示す指標として何らかの意味があると言えますが、最近発表されたばかりで被引用数を集めるために必要な時間がない論文の場合、評価はより難しくなります。このような場合、クラリベイトのジャーナル・インパクトファクターなどの指標を使用して特定のジャーナルが過去に獲得した被引用数を調べることが習慣化しています。しかし、研究論文の質と、その論文を出版したジャーナルの長期的な業績との関係性は、控えめに言っても非常に間接的です。しかしながら、一部の研究助成機関では、インパクトファクターに基づいて上位１/４に入るジャーナルのみにプロジェクトの成果を発表することを義務付けているところもあります。これはあまり良いことではありません。
11年前、ある編集者や出版者のグループが、研究助成機関、学術機関、ジャーナル、指標を提供している組織、個人研究者に対して提言をまとめました。これらは「研究評価に関するサンフランシスコ宣言（DORA）」としてまとめられています（sfdora.org）。過去10年間で、165ヵ国から24,000人を超える個人や（Opticaを含む）組織がこの宣言に署名してきました。さらに、2023年12月には、署名者の一つであるパリのソルボンヌ大学が、クラリベイトの計量書誌学ツール（Web of Scienceを含む）の定期購読を解約しました。それでもなお、未だに安易な品質評価の指標を求める向きもあり、個別の論文の質の基準としては疑わしい基準であるジャーナル・インパクトファクターが今も使われて続けています。
いずれの科学論文も徹底した審査を受けるべきだという点については、誰もが認めるところです。これはほとんどの論文では複数回にわたり、査読の過程でジャーナルにより、単一または複数の研究助成機関により、研究コミュニティにより、そしてもしかしたら他の方々によっても、それぞれが独立して行われます。このような繰り返しはあまり効率的ではないように思えます。お手軽な質のマークが求められ続けていることを踏まえると、例えば最初の査読プロセスの結果を活用するなど、効率を高める方法を導入するのもよいかもしれません。Opticaの一部の刊行物を含む数々のジャーナルは既に透明性のある査読を提供しており、著者や査読者が出版される論文の一環として査読に関するすべてのやり取りを公開することに同意することができます。正しい方向に向けて前進する一歩であるものの、これは専門家以外の人が簡単に使える質のマークを提供するものではありません。
このような状況をどのように改善できるかは、研究コミュニティに所属するすべての人々にとって興味深いテーマであるはずです。
ゲルト・ロイクス
Optica会長