この記事によると、影響力のある会議/ジャーナルのリスト集が更新されたらしい。
ここに掲載されているものが、今現在は2019年から2023年に発表された中で最も影響力のあった論文一覧ということで、めちゃくちゃ面白い。
自分はもう研究はとうに離れた（そもそも大してやったことがない）のだが、2019年から2023年という時期がちょうど自分が研究やっていた頃にオーバーラップしているし、やはり研究には未練タラタラなのでついつい色々見てしまった。
自然言語処理の分野だと ACL と EMNLP が100位以内に入っている。
ACLはBARTが一位。そうなんだ。BARTの事前学習はとにかく技巧的で、Token Masking、Sentence Permutation、Document Rotation、Token Deletion、Text Infillingの5種類も登場してわけがわからない。この時代のAutoEncoder系モデルのカオスさはやはり面白いものがあった。
二位はXLM-RoBERTaで、多言語のAutoEncoder系モデルでは強いベンチマークだし、ME5のような多言語文埋め込みの初期化では今でも使うから納得。
三位はTransformer-XLで、LongFormer系のモデルが出てくるのはなかなか渋いなと思う。
その他は、Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks のようなドメイン特化の原点みたいな論文があったり、いわゆるBERTologyと呼ばれる領域の論文がちらほらあったり。胸が熱い。
続いてEMNLPだが、なんと一位はSentence-BERT。Sentence-BERTって、今見るとこれでEMNLP通せるの！？っていう本当に単純なモデルだと個人的には思うのだが、やっぱり素のBERTの[CLS]トークンとかを文埋め込みとしてそのまま使うのはよろしくないよねっていう指摘をする時には個人的にも未だに引用するし、なんか色褪せない強さがある。ただまぁ、文埋め込みのスコア的なベースラインは SimCSE に譲ったかなと思う。ちなみにその SimCSE は Sentence-BERT の2年後の研究だが、もう五位にランクインしていた。
二位は huggingface/transformers の論文で、これは笑った。使われるツールを作ることは、新しい発見をすることと同等に重要な時代である。
三位は学術ドメインの言語モデルの元祖 SciBERT で、修士課程で SciBERT を死ぬほど使い倒していた自分にとっては嬉しい。日本で学生をやっていると、学術ドメインNLPは傍流だなぁという気持ちがなんとなくあったのだが、世界的にはかなり影響力の強い方だったようだ。
そのほか、Dense Passage Retrieval for Open-Domain Question Answering は Retriever の研究なので LLM 時代の今にも生きる研究である。Language Models as Knowledge Bases? は言語モデルの知識を調べる系の初期の研究だが、LLM 時代になってこんなにも人々がモデルに知識を問う時代になるとは思ってもいなかった。
さて、数年後、この論文リストはどうなっているのだろうか...。