「AIの作文はなぜつまらないのか？（謎解き統計学 | サトマイ）」という動画を観た。これはChatGPTのようなアシスタントが書いた文章を読んでも私たちは面白さを感じないというトピックについて１５分ぐらいで解説する投稿。この動画でのサトマイさんの主張は、面白さを知覚する人間側の仕組み、予測とのズレ、共感できる体験、文章内の変化をAIは持たないというもの。全体的にはよく言われているLLMの生成物は平均化された１つの答えを予測するプロセスがあり、くわえて安全性のアライメントもあるのでノイズをあえていれるように矯正するのは至難の業という我々のユーザーの共通認識どうりだと思う。とはいえ「人々はGPT-4oとの会話を楽しんでいた」にあるようにユーザーが好む文章を書いている面もあるので、この「つまらない文章」の対象はコンテンツとして読む創造性のあるテキストということだと思われる。動画では面白さを作り出せない要因としてAIに身体性がないからという説明をもちいているけどここに思想が出ていると思う。この動画の前提は書き出されたテキスト単体を材料におもしろさの欠如を指摘するスタイルなので、身体性のなさという生成過程の話に立ち入っているのは趣旨から飛躍しているが、たしかにそういう流派はいると思う。我々の感じるTransformモデルの前提ではなくSF作品の人工知能から想像したらそうなりそうだけどそういう率直な視点が求められるときもあるので一概に否定し難い。
思考実験的に生成AIが人間の面白ライターAさんと同じ原稿を書けたとしたらAIがおもしろい文章をかけたことになるだろうか。AIが書いたと言ってから読むと評価が変わってしまうんだろうか。猿がタイプライターを叩いてシェイクスピアを書くようなたとえだけど、これはそのうち訪れると思う。今でも出回っている記事がどこからどこまでAIが書いたものかわからない（がAIが参入しとるな、というのはなんとなくわかる）
この手のテキストからダメなポイントを指摘する話で、印象に残っているのはnomolkブログのAIの書いた文章をリライトする記事で具体的で良いと思う。
私の感想としてはAIの書いた文章は分量に対する情報量が少ない、というもので。人間が書いたときに発生する文体というか個性と認識されているのも私はノイズ情報として捉えている。繰り返しの単調な表現と羅列が続くとかAI特有の文章も情報が少ないと感じる。あと文体の退屈さと内容の退屈さ（安全さ）という着目点もある。つまり文章の質を高めるにはノイズを複雑なリズムで入れてテキストの質を上げる必要があるが、今のAIの作文は能力が足りないという評価だ。質の問題なので今後高まることが容易に考えられる。AIが作ったスカスカな文章が202X年産の記事にありがち、と後から観測されるとか。
別の投稿だけどAndrej Karpathyが今朝「AIが繰り返し検証できる答えのある仕事から高度に自動化されてゆくーー」というポストをしていた（まとめると普通の発言だけど原文のレトリックではSoftware 2.0の文脈がある）。
これになぞらえると、面白いテキストは人間が読んで面白いと思うかどうかすべてなので検証する仕組みがほとんどない。評価の高い文章をトレーニングに入れてこれを真似するようにと調整しても、全データの中の要素を踏襲した平均的な結果をTemperatureやTop_kなどを使って出す作業なので、真似できたかどうかぐらいしか指標が自動化できない。
なのでAIの作文はなぜつまらないのか？については、想像的作文には検証可能な強化学習する環境がないことと、１つの答えを常に出さないといけないことから始まっているのではないかと思う。この仮説をGPT5にきいてみたら「人間ができないのならAIエージェントたちの価値観でおもしろいを評価する仕組みを自動化しましょうか？」となんかカジュアルディストピアみたいな案件を安請け合いしていた。
最後に、無理やりこのテーマに入れるけど先日Anthropicブログで「AIの作る量産的なウェブデザインをどうやってSkillsで改善するか？」というネタが投稿されていた。
これはSkillsが呼び出されるエントリーポイントで毎回「紫グラデやめろ。意外性を出せ」のようなネガティブプロンプトを注入して注意をそらすというもの。だけど正直私程度のデザインリテラシーしかないユーザーだとBefore/Afterを見ても「うーんアメリカン」ぐらいの感想しかなった。専門家の人にチェックしてみてほしい。この変更後イメージもGPTにみてもらったら「生出力として、あえてAIっぽいところを残した研究記事だね」と評価していた。ほんとかよ。あいつは適当に主人を丸め込む癖がある。
追記：EQBenchにCreative Writingというテストがあるのに気づいた。次はこれを読む