vol.018 - Toward new methods of evaluating humanities research 人文系研究の評価方法を探る

 

Toward new methods of evaluating humanities research

 

Yuki Konagaya

Executive Director, National Institutes for the Humanities (NIHU)

 

Nowadays, when evaluating the research record of an individual or the research capacity of an organization, surveyors generally rely on bibliometric methods. However, bibliometric method may not produce accurate evaluations when applied to humanities research. What, then, must we do to ensure appropriate evaluations in this field? Providing just such a solution to this major issue is one task before the National Institutes for the Humanities, or NIHU.

 

Our organization is tackling this issue in three ways. First, we are striving to improve the bibliometric methods in use. Second, we are developing new, non-bibliometric methods that can be used in evaluations. And third, we are exploring ways to enhance the reputation of NIHU’s humanities research, with the hope of sharing our best practices with the humanities community beyond NIHU.

 

Humanities research fundamentally takes human society as its subject. For this reason, it must represent a response not just to the concerns of academia, but to society itself as well. The results of the humanities research therefore often appear as books for broader consumption. The focus on producing research output in this format leads to a need for evaluations of the books that are published. When compiling data on the research performance of each of NIHU’s six institutes, (institutional research), we count individual chapters of book-length publications as equivalent to academic papers to ensure equitable comparison with research output in other fields. Researchers serving as coauthors or editors of works also have their contributions counted in this way.

 

In humanities research—particularly in research on Japan—it is frequently considered important to publish in Japanese in the interest of maintaining a high level of specialized expertise. This leads to the need to evaluate research results published in the Japanese language, and therefore to the need for an environment where such results can be made available online. In this connection, in 2015 we built a repository for all publications produced by NIHU’s six institutes. We also plan to obtain digital object identifiers (DOIs) for all publications, thus clarifying the ways in which they are cited by other researchers.

 

The humanities are not a research field whose results are concentrated in bleeding-edge subject areas, but rather one displaying considerable dispersion in its interests and focuses. Furthermore, publications in the humanities are likely to be cited for considerably longer than output in other realms of research. The long-lived nature of this research prompted us to investigate the timeframes involved for citations of papers in the NIHU repository; our findings are shown in the figure below. Compared to papers in the information science field, research in the humanities tends to attract its citations over a span around twice as long. In other words, humanities research has a much longer useful life. We are building on these findings by reporting them to inform discussions on appropriate ways to evaluate humanities research, as well as recommending metrics that can take into account the extended citation period.

 

To evaluate the records of individual researchers, universities generally make use of information on the relative rankings of the journals where their papers are accepted for publication. This approach can, however, downplay the significance of the schools’ own academic bulletins, because these publications will end up being ranked relatively lower compared to academic journals. However, for the humanities in particular—a research realm that rarely pursues the latest trends—academic work that makes steady contributions to the field, such as by adding to the store of available analysis on relevant materials, is also vital. In this connection, universities’ in-house bulletins have a key role to play. This is why we have decided not to rank universities’ in-house bulletins when evaluating NIHU’s research performance.

 

In our development of non-bibliometric methods for research evaluation, we are attempting to sketch out a complete “cosmos” of research results. The Science Map developed by the National Institute of Informatics, is an effort to chart relationships among scientific research papers based on publication titles. In the humanities, however, it can be much more difficult to elucidate similarities among research efforts based solely on titles in this manner. Our approach is to scan the complete content of the academic papers, mechanically judge their degree of closeness to other publications, and produce a two-dimensional map of the relationships thus clarified. (This work is scheduled for completion in March 2018.) Being able to plot the content of humanities research should allow us to discover the diversity, novelty, and confluence of ideas at play in this cosmos.

 

Publishing activities play a vital role in building the reputation of the humanities as a field. We are working together with the publishing industry to explore the best forms for academic texts to take in order to respond to the needs of academia while also supporting the publication of general-readership texts that meet the needs of society. During the 2017 academic year, these efforts are leading to the publication of two new books by Heibonsha Ltd.

 

Moving forward, we aim to invite researchers to come to Japan and experience the research environment here, sharing our output directly with our international counterparts. In this way we also hope to raise the visibility of NIHU’s research among our international colleagues.

 

Figure: Citation Periods for Research in Various Fields

 

 

 

 

人文系研究の評価方法を探る

 

人間文化研究機構 理事 小長谷有紀

 

 個人の研究業績や組織の研究力を評価しようとする際、現在、一般的に用いられているのは書誌学的手法(ビブリオメトリックス手法)である。しかし、人文系研究の場合、この手法では正しく評価できない。それでは、どのようにすれば正当に評価することができるのだろうか。この大きな課題に解決策を提供することが、人間文化研究機構(以下、人文機構)に求められている。そこで、人文機構では以下のような3つの側面に分け、課題別に取り組んでいる。

 第一に、ビブリオメトリックス手法の改善。第二に、非ビブリオメトリックス手法の開発。第三に、世評reputationの創出。

 人文系研究は、そもそも人間社会を研究の対象としているため、その成果は単に学術界のみならず社会と応答すべきである。そのため、成果はしばしば書籍の形をとる。研究成果を書籍にまとめることが重視されているため、著書を評価する必要がある。そこで、人文機構のIRのデータ収集においては、著書の章単位を論文としてカウントすることによって、他分野との比較に備えている。また、共著(分担執筆)や編著もカウントしている。

 人文系研究とりわけ日本を対象とする研究においては、高度な専門性を維持する目的で、日本語で書かれることも重要であるため、日本語論文を評価する必要がある。そのためには、まず何よりも、日本語論文がネット上に公開される環境を整備しなければならない。人文機構では2015年に機構を構成する6機関の刊行物のリポジトリ化を完成した。さらに、すべての論文に識別子(DOI)を付与する予定である。これによって、被引用関係がわかりやすくなるだろう。

 人文系研究は、先端的な課題にのみ集中して成果が累積していくわけではなく、課題がそもそも分散的であることに加えて、その成果は長期にわたり引用される可能性がある。そこで、引用文献の年代幅に着目し、機構リポジトリに収容されている論文を用いて計測した(図1)。被引用期間は情報学等の論文引用に比べて2倍ほど長い。換言すれば、人文系論文の寿命は長いのである。こうした実態について、評価方法に関する議論の場で報告し、被引用期間の長期化を提案している。

 一般に、大学では、個人業績を評価する目的から、学術誌のランキングを必要としている。ところが、それは同時に、自ら刊行している「大学紀要」の意義を否定することになりかねない。とりわけ、人文系研究の場合、流行を追わず、資料分析を蓄積しておくといった地味な研究活動も重要であることから、大学紀要も重要ではある。そのため、人文機構ではいまだ学術誌のランキング作業に着手していない。

 非ビブリオメトリックス手法の開発として、人文機構では、研究業績の宇宙を描こうと試みている。現在、日本で利用されているサイエンスマップは、論文のタイトルから類縁関係を地図化している。人文系研究の場合、タイトルだけから内容の類似性を表現することは困難であり、書かれている内容全文を読み取り、機械的に近さを判定し、二次元で描くというものである(2018年3月公開予定)。研究内容に応じて図示することにより、多様性、新規性、融合性などを示すことができるだろう。

 世評を創出するうえで、大きな役割を担うのが出版である。人文機構は、出版業界と協力し、学会との応答を果たす学術書のあり方について討論したり、社会との応答を果たす一般書の出版を支援している。例えば、平凡社との連携により、2017年度には2冊の新書が出版される。今後は、海外から研究者を招聘し、研究の現場や成果を直接共有してもらうことによって、国際基準での人文系研究への世評の創出方法を検討したい。

 

図1 論文の被引用期間の長さ